Lecture3 min

Le cadre du cours

Ce que le chapitre établit : le même calcul, pour un réseau d'autant de couches qu'on veut.

Un réseau qui apprend déplace ses poids d'un rien, dans le sens qui fait baisser son erreur, et il lui faut pour chacun d'eux un nombre qui dise de combien et dans quel sens. Que faut-il connaître d'un réseau pour savoir de combien bouger chacun de ses poids ?

Une chaîne horizontale. À gauche, un carré gris marqué x, de valeur un. Suivent trois ronds cerclés d'encre, étiquetés a exposant un, a exposant deux et a exposant trois, avec ReLU écrit sous les deux premiers et sigma sous le troisième. Une flèche relie chaque objet au suivant et porte au-dessus le poids de sa couche, w exposant un vaut zéro virgule huit, w exposant deux un virgule cinq, w exposant trois deux, et au-dessous son biais, b exposant un vaut zéro virgule deux, b exposant deux moins zéro virgule quatre, b exposant trois moins zéro virgule cinq. À droite, un carré marqué la perte ell reçoit la dernière flèche, et un carré gris marqué y, de valeur un, pointe vers lui par en dessous. — Chaque quantité de ce réseau est un nombre, et non un vecteur. Les valeurs sont figées, et sortent de `cours/lecon5/mesures.py`, réseau minuscule.

Ce réseau porte six paramètres, et chacun a son nombre : de combien la perte varie quand ce paramètre seul bouge d'un cheveu. Ces six nombres se calculent exactement, sans réévaluer le réseau une fois par paramètre, et le procédé qui les donne ne dépend ni du nombre de couches ni de l'activation choisie.

Prérequis

01
Le chapitre 4 en entier : le signal d'erreur $\boldsymbol{\delta}^{[l]}$ , les trois voies, le produit de Hadamard, la transposée au retour.
02
La sigmoïde $\sigma$ et sa dérivée $\sigma'=\sigma(1-\sigma)\leq 1/4$ , démontrée au chapitre 2, page 9, ainsi que l'entropie croisée, posée à la page 6 du même chapitre.
03
La dérivée partielle et la différence finie centrée $\big[C(\boldsymbol{\theta}+\varepsilon\mathbf{e}_{i})-C(\boldsymbol{\theta}-\varepsilon\mathbf{e}_{i})\big]/(2\varepsilon)$ , où $\mathbf{e}_{i}$ dit de quelle composante de $\boldsymbol{\theta}$ on parle, définies au chapitre 3, page 8.
04
Le produit matriciel et sa règle de dimensions : $(m\times n)(n\times q)\rightarrow m\times q$ .

Objectifs

01
Énoncer la règle de la chaîne dans ses deux formes, et donner le critère qui dit laquelle s'applique.
02
Construire l'arbre des dépendances d'un réseau à un neurone par couche, et y lire la décomposition d'une dérivée.
03
Établir les trois dérivées constitutives $\partial z/\partial w$ , $\partial a/\partial z$ et $\partial\ell/\partial a$ , chacune à partir de l'équation dont elle sort.
04
Démontrer par récurrence que $\delta^{[l]}=\delta^{[l+1]}\,w^{[l+1]}\,\varphi'(z^{[l]})$ , avec son initialisation et son hérédité séparées.
05
Écrire $\partial\ell/\partial w^{[1]}$ comme un produit de poids et de dérivées d'activation, et en tirer la décroissance géométrique du gradient avec la profondeur.
06
Démontrer qu'avec plusieurs neurones par couche un seul terme change de nature, et que c'est de lui que vient la transposée.
07
Définir la jacobienne, la distinguer du gradient, et démontrer que celle de $\mathbf{a}^{[l]}$ par rapport à $\mathbf{z}^{[l]}$ est diagonale.
08
Majorer le coût de l'algorithme par trois propagations avant, et confronter cette majoration à une mesure.
09
Vérifier chaque identité par différences finies, sur le réseau minuscule puis sur un réseau à cinq couches.

Prérequis

Le chapitre 4 en entier : le signal d'erreur $\boldsymbol{\delta}^{[l]}$ , les trois voies, le produit de Hadamard, la transposée au retour.

La sigmoïde $\sigma$ et sa dérivée $\sigma'=\sigma(1-\sigma)\leq 1/4$ , démontrée au chapitre 2, page 9, ainsi que l'entropie croisée, posée à la page 6 du même chapitre.

La dérivée partielle et la différence finie centrée $\big[C(\boldsymbol{\theta}+\varepsilon\mathbf{e}_{i})-C(\boldsymbol{\theta}-\varepsilon\mathbf{e}_{i})\big]/(2\varepsilon)$ , où $\mathbf{e}_{i}$ dit de quelle composante de $\boldsymbol{\theta}$ on parle, définies au chapitre 3, page 8.

Le produit matriciel et sa règle de dimensions : $(m\times n)(n\times q)\rightarrow m\times q$ .

Objectifs

Énoncer la règle de la chaîne dans ses deux formes, et donner le critère qui dit laquelle s'applique.

Construire l'arbre des dépendances d'un réseau à un neurone par couche, et y lire la décomposition d'une dérivée.

Établir les trois dérivées constitutives $\partial z/\partial w$ , $\partial a/\partial z$ et $\partial\ell/\partial a$ , chacune à partir de l'équation dont elle sort.

Démontrer par récurrence que $\delta^{[l]}=\delta^{[l+1]}\,w^{[l+1]}\,\varphi'(z^{[l]})$ , avec son initialisation et son hérédité séparées.

Écrire $\partial\ell/\partial w^{[1]}$ comme un produit de poids et de dérivées d'activation, et en tirer la décroissance géométrique du gradient avec la profondeur.

Démontrer qu'avec plusieurs neurones par couche un seul terme change de nature, et que c'est de lui que vient la transposée.

Définir la jacobienne, la distinguer du gradient, et démontrer que celle de $\mathbf{a}^{[l]}$ par rapport à $\mathbf{z}^{[l]}$ est diagonale.

Majorer le coût de l'algorithme par trois propagations avant, et confronter cette majoration à une mesure.

Vérifier chaque identité par différences finies, sur le réseau minuscule puis sur un réseau à cinq couches.