Démonstration11 min

Un seul exemple, et ce que sa sortie réclame

On suit une seule image, et on lit sur des nombres ce que sa sortie réclame.

Tout ce qui suit se joue sur une seule image, et il faut la choisir sans tricher. Le réseau ne l'a jamais vue et il n'a rien appris de personne, mais il va tout de même rendre ses dix nombres. Que lit-on sur ces dix nombres, et sur lesquels peut-on agir ?

À gauche, l'image d'entraînement numéro cinq, un deux manuscrit noir et gris sur fond blanc, dessinée en cases pleines dans une grille de vingt-huit sur vingt-huit dont les bords sont cotés un et vingt-huit. À droite, un relevé : l'indice de l'exemple vaut cinq, l'étiquette deux, les pixels non nuls cent quatre-vingt-huit sur sept cent quatre-vingt-quatre, les neurones cachés allumés cinquante-sept sur cent vingt-huit et les éteints soixante et onze. Plus bas, le nombre de coefficients du gradient de la première matrice exactement nuls sur cette image : quatre-vingt-neuf mille six cent trente-six sur cent mille trois cent cinquante-deux, soit quatre-vingt-neuf virgule trente-deux pour cent. En pied, la mention réseau non entraîné, graine zéro. — L'exemple est désigné par un critère, jamais tiré au sort.

C'est la première image de classe $2$ du jeu d'entraînement, celle d'indice $n=5$ , et le réseau qui la reçoit porte les poids de son initialisation, graine $0$ .

Le dernier chiffre du relevé se laisse déjà lire comme un indice : près de neuf dixièmes du gradient de la première matrice sont exactement nuls sur cette image.

Ce que le réseau répond

L'exemple de travail · cours/lecon4/mesures.py, mesure 1

  critère            première image de classe 2 du jeu d'entraînement
  indice retenu      n = 5
  étiquette          c = 2

  -- La sortie du réseau non entraîné --------------------------------------
      k    a_k         delta_k
      0    0.1366      +0.1366
      1    0.1098      +0.1098
      2    0.2445      -0.7555
      3    0.0911      +0.0911
      4    0.0796      +0.0796
      5    0.1308      +0.1308
      6    0.0478      +0.0478
      7    0.0574      +0.0574
      8    0.0563      +0.0563
      9    0.0462      +0.0462

  perte de cet exemple            1.408379
  perte du hasard, ln 10          2.302585
  classe prédite                  2
  la plus grande activation       0.2445   (classe 2)

  -- La couche cachée ------------------------------------------------------
  neurones cachés allumés         57 sur 128
  neurones cachés éteints         71 sur 128
  pixels non nuls de l'image      188 sur 784

Lecture

Les dix activations viennent d'un tirage, et l'ordre dans lequel elles tombent n'apprend rien sur l'image : c'est exactement ce qu'on attend d'un réseau non entraîné.
La plus grande est pourtant celle de la classe $2$ , à $0{,}2445$ : ce réseau, qui ne sait rien, classe cette image correctement, par accident, et sa perte de $1{,}408$ est même meilleure que celle du hasard, $\ln 10=2{,}303$ .
Un réseau non entraîné ne se trompe pas systématiquement ; il répond n'importe quoi, et n'importe quoi tombe juste environ une fois sur dix. La mesure 4 donne la précision de ce réseau sur le jeu de test avant ses deux cents pas : $0{,}1314$ .
$57$ neurones cachés sur $128$ sont allumés, et ce nombre n'est pas anodin : les $71$ autres sont éteints, et un neurone éteint ne fait rien passer, ni à l'aller ni au retour.

Dix barres verticales, une par classe, numérotées de zéro à neuf et toutes de hauteurs voisines. La plus haute, celle de la classe deux, est en brique et porte sa valeur, zéro virgule deux quatre quatre cinq ; les neuf autres sont grises et ne portent pas de valeur. Une ligne en pointillé marque la hauteur zéro virgule un, celle de dix classes équiprobables. En pied, la perte de cet exemple, un virgule quatre cent huit mille trois cent soixante-dix-neuf, est comparée à celle du hasard, deux virgule trois cent deux mille cinq cent quatre-vingt-cinq, et deux mentions disent que la plus haute est la classe deux et que c'est la bonne, par accident. — Un réseau non entraîné ne se trompe pas systématiquement : il répond n'importe quoi, et n'importe quoi tombe juste une fois sur dix.

L'image n° 5, de classe

2

, traverse le réseau non entraîné : les dix sorties s'allument à leur valeur mesurée.

0:00 / 0:12

Le signal d'erreur, et pourquoi il dérive par rapport à $\mathbf{z}$

Signal d'erreur d'une coucheerror signal, delta: $\boldsymbol{\delta}^{[l]}:=\mathrm{grad}_{\mathbf{z}^{[l]}}\,\ell\in\mathbb{R}^{d_{l}}$ , vecteur colonne de même dimension que $\mathbf{z}^{[l]}$ . Sa $k$ -ième composante est $\partial\ell/\partial z_{k}^{[l]}$ , un scalaire. Il y a un signal d'erreur par couche : $\boldsymbol{\delta}^{[2]}\in\mathbb{R}^{10}$ , $\boldsymbol{\delta}^{[1]}\in\mathbb{R}^{128}$ .

On dérive par rapport à $\mathbf{z}^{[l]}$ et non par rapport à $\mathbf{a}^{[l]}$ parce que $\mathbf{z}^{[l]}$ est l'endroit où les paramètres entrent : $\mathbf{z}^{[l]}=W^{[l]}\mathbf{a}^{[l-1]}+\mathbf{b}^{[l]}$ . Une fois $\boldsymbol{\delta}^{[l]}$ connu, les gradients de $W^{[l]}$ et de $\mathbf{b}^{[l]}$ s'en déduisent sans autre calcul.

Ce que $\boldsymbol{\delta}^{[2]}$ demande porte sur $\mathbf{z}^{[2]}$ , et $\mathbf{z}^{[2]}$ n'est pas modifiable, puisque c'est une valeur calculée. Les seules quantités qu'on puisse modifier sont les poids et les biais : l'image est une donnée, et les activations sont des résultats.

\boldsymbol{\delta}^{[2]}=\mathrm{grad}_{\mathbf{z}^{[2]}}\,\ell=\mathbf{a}^{[2]}-\mathbf{y}\ \in\mathbb{R}^{10},\qquad \mathbf{y}=\mathrm{onehot}(c)

(4.2)

Le chapitre 2, page 6, pose le softmax et la perte d'entropie croisée, et n'en dérive aucun gradient. Cette identité est donc admise, comme la règle de la chaîne, et la mesure 2 confronte l'algorithme entier aux différences finies.

Les deux formes de la règle de la chaîne

g:\mathbb{R}\rightarrow\mathbb{R},\ f:\mathbb{R}\rightarrow\mathbb{R}\ \text{dérivables}\quad\Longrightarrow\quad (f\circ g)'(t)=f'\big(g(t)\big)\cdot g'(t)

(4.3)

u\ \text{influence}\ C\ \text{à travers}\ v_{1},\ldots,v_{m}\quad\Longrightarrow\quad \frac{\partial C}{\partial u}=\sum_{k=1}^{m}\frac{\partial C}{\partial v_{k}}\,\frac{\partial v_{k}}{\partial u}

(4.4)

Un biais influence la perte par un seul chemin, une activation cachée par dix.

On somme dans la seconde forme parce que chaque chemin d'influence apporte sa contribution au premier ordre, et que des contributions au premier ordre s'ajoutent. Ce n'est pas une commodité de calcul.

Une seule composante est négative

DérivationSeule la composante de la vraie classe est strictement négative (proposition 1)

Hypothèses

$\mathbf{a}^{[2]}=\mathrm{softmax}(\mathbf{z}^{[2]})\in\Delta^{\circ}_{9}$ , l'intérieur du simplexe : $0<a_{k}<1$ pour tout $k$ , et $\sum_{k}a_{k}=1$ .
$\mathbf{y}=\mathrm{onehot}(c)$ : $y_{c}=1$ et $y_{k}=0$ pour $k\neq c$ .
$\boldsymbol{\delta}^{[2]}=\mathbf{a}^{[2]}-\mathbf{y}$ , formule (4.2), admise.

Propriétés utilisées

L'image de $\mathrm{softmax}$ est incluse dans l'intérieur du simplexe : aucune coordonnée n'atteint $0$ ni $1$
Soustraction composante par composante

Étapes

La composante de la vraie classe. $\delta_{c}=a_{c}-y_{c}=a_{c}-1$ , et $a_{c}<1$ strictement, donc $\delta_{c}<0$ .
Les neuf autres. Pour $k\neq c$ , $\delta_{k}=a_{k}-0=a_{k}$ , et $a_{k}>0$ strictement, donc $\delta_{k}>0$ .
$\delta_{c}=a_{c}-1<0\qquad\text{et}\qquad \delta_{k}=a_{k}>0\quad\text{pour tout }k\neq c$
Les deux inégalités sont strictes parce que le softmax n'atteint jamais les bords du simplexe.

Résultat

\#\{k\ :\ \delta_{k}<0\}=1,\qquad \#\{k\ :\ \delta_{k}>0\}=9

Interprétation

$\delta_{c}=\partial\ell/\partial z_{c}<0$ signifie qu'augmenter $z_{c}$ fait baisser la perte, et pour les neuf autres $\partial\ell/\partial z_{k}>0$ signifie que les baisser la fait baisser aussi. C'est cela, et rien d'autre, que veut dire « le neurone de la bonne classe doit monter et les neuf autres descendre ».

Ce que ce résultat ne dit pas

L'énoncé porte sur les signes et non sur les tailles : il ne dit pas de combien pousser, et il ne dit rien de ce qui arrive après un pas.
Il vaut pour la sortie d'un softmax avec entropie croisée, et avec un autre coût le point de départ change, la proposition avec lui.

Dix barres verticales de part et d'autre d'un axe horizontal marqué zéro, une par classe, numérotées de zéro à neuf sous le cadre. Neuf montent au-dessus de l'axe, en brique. Une seule descend sous l'axe, en ardoise, bien plus longue que les autres : celle de la classe deux. À droite du cadre, deux mentions : un delta positif fait descendre l'activation, un delta négatif la fait monter. En pied, la valeur de la composante négative, moins zéro virgule sept cent cinquante-cinq mille quatre cent soixante et un, et la mention que sa valeur absolue égale la somme des neuf autres. — La vraie classe pèse exactement autant que les neuf autres réunies.

Le signal d'erreur de sortie en dix barres signées, neuf vers le haut et une vers le bas, à l'échelle mesurée.

0:00 / 0:12

La somme est nulle, et la vraie classe pèse autant que les neuf autres

DérivationLa somme des dix composantes est nulle, et

|\delta_{c}|=\sum_{k\neq c}|\delta_{k}|

(proposition 2)

Hypothèses

Les hypothèses de la proposition 1.
$\sum_{k}a_{k}=1$ et $\sum_{k}y_{k}=1$ .

Propriétés utilisées

Linéarité de la somme
Proposition 1 : $\delta_{k}>0$ pour $k\neq c$ , donc $|\delta_{k}|=\delta_{k}$

Étapes

$\sum_{k=0}^{9}\delta_{k}=\sum_{k=0}^{9}a_{k}-\sum_{k=0}^{9}y_{k}=1-1=0$
Les deux vecteurs sont des lois de probabilité sur dix classes : leurs coordonnées somment à un.
On isole la composante de la vraie classe. De $\delta_{c}+\sum_{k\neq c}\delta_{k}=0$ on tire $-\delta_{c}=\sum_{k\neq c}\delta_{k}$ .
Par la proposition 1, $\delta_{c}<0$ donc $-\delta_{c}=|\delta_{c}|$ , et $\delta_{k}>0$ donc $\delta_{k}=|\delta_{k}|$ pour $k\neq c$ .
$|\delta_{c}|=1-a_{c}=\sum_{k\neq c}a_{k}=\sum_{k\neq c}|\delta_{k}|$

Résultat

\sum_{k}\delta_{k}=0\qquad\text{et}\qquad |\delta_{c}|=1-a_{c}=\sum_{k\neq c}|\delta_{k}|

Interprétation

La correction portée sur le neurone de la vraie classe pèse exactement autant que les neuf autres réunies, et $|\delta_{c}|=1-a_{c}$ : plus le réseau se trompe, plus $a_{c}$ est petit, plus cette correction est grande. C'est le sens précis qu'il faut donner à l'idée que les corrections sont proportionnelles à l'écart, où la proportionnalité porte sur $1-a_{c}$ et non sur une notion vague de distance.

Ce que ce résultat ne dit pas

L'égalité porte sur les valeurs absolues, donc sur des tailles. Elle ne dit pas que la correction du neurone $c$ produit sur la perte autant d'effet que celle des neuf autres.

La proposition 2 sur les nombres mesurés · cours/lecon4/mesures.py, mesure 1

  -- Contrôle de la proposition 2 sur ces nombres --------------------------
  somme des dix composantes       +8.327e-17
  |delta_2|                       0.755461
  somme des neuf autres           0.755461
  écart entre les deux            1.110e-16

Lecture

La somme des dix composantes vaut $8{,}3\cdot 10^{-17}$ , c'est-à-dire zéro à la précision machine, l'erreur d'arrondi d'une somme de dix flottants.
$|\delta_{2}|=0{,}755461$ et la somme des neuf autres vaut $0{,}755461$ à $1{,}1\cdot 10^{-16}$ près, donc l'égalité de la proposition 2 est vérifiée jusqu'au dernier chiffre représentable.
$|\delta_{2}|=1-a_{2}=1-0{,}2445=0{,}7555$ , qui est la lecture directe de la formule.

Vérification rapide n° 35

Les dix composantes de $\boldsymbol{\delta}^{[2]}$ sont données par la mesure 1 : $+0{,}1366$ , $+0{,}1098$ , $-0{,}7555$ , $+0{,}0911$ , $+0{,}0796$ , $+0{,}1308$ , $+0{,}0478$ , $+0{,}0574$ , $+0{,}0563$ , $+0{,}0462$ .

a
Vérifier à la main que leur somme est nulle, et que $|\delta_{2}|$ égale la somme des neuf autres, à l'arrondi de l'affichage près.
b
Que vaudrait $|\delta_{2}|$ si le réseau accordait $0{,}9$ à la classe $2$  ?
c
Vers quelle valeur $|\delta_{2}|$ tend-il quand $a_{2}$ s'approche de $1$ , et la proposition 1 permet-elle de l'atteindre ?

Aucune réponse à cliquer : il y a un calcul à faire.

Démonstration11 min

Un seul exemple, et ce que sa sortie réclame

On suit une seule image, et on lit sur des nombres ce que sa sortie réclame.

C'est la première image de classe $2$ du jeu d'entraînement, celle d'indice $n=5$ , et le réseau qui la reçoit porte les poids de son initialisation, graine $0$ .

Le dernier chiffre du relevé se laisse déjà lire comme un indice : près de neuf dixièmes du gradient de la première matrice sont exactement nuls sur cette image.

Ce que le réseau répond

L'exemple de travail · cours/lecon4/mesures.py, mesure 1

  critère            première image de classe 2 du jeu d'entraînement
  indice retenu      n = 5
  étiquette          c = 2

  -- La sortie du réseau non entraîné --------------------------------------
      k    a_k         delta_k
      0    0.1366      +0.1366
      1    0.1098      +0.1098
      2    0.2445      -0.7555
      3    0.0911      +0.0911
      4    0.0796      +0.0796
      5    0.1308      +0.1308
      6    0.0478      +0.0478
      7    0.0574      +0.0574
      8    0.0563      +0.0563
      9    0.0462      +0.0462

  perte de cet exemple            1.408379
  perte du hasard, ln 10          2.302585
  classe prédite                  2
  la plus grande activation       0.2445   (classe 2)

  -- La couche cachée ------------------------------------------------------
  neurones cachés allumés         57 sur 128
  neurones cachés éteints         71 sur 128
  pixels non nuls de l'image      188 sur 784

Lecture

Les dix activations viennent d'un tirage, et l'ordre dans lequel elles tombent n'apprend rien sur l'image : c'est exactement ce qu'on attend d'un réseau non entraîné.
La plus grande est pourtant celle de la classe $2$ , à $0{,}2445$ : ce réseau, qui ne sait rien, classe cette image correctement, par accident, et sa perte de $1{,}408$ est même meilleure que celle du hasard, $\ln 10=2{,}303$ .
Un réseau non entraîné ne se trompe pas systématiquement ; il répond n'importe quoi, et n'importe quoi tombe juste environ une fois sur dix. La mesure 4 donne la précision de ce réseau sur le jeu de test avant ses deux cents pas : $0{,}1314$ .
$57$ neurones cachés sur $128$ sont allumés, et ce nombre n'est pas anodin : les $71$ autres sont éteints, et un neurone éteint ne fait rien passer, ni à l'aller ni au retour.

L'image n° 5, de classe

2

, traverse le réseau non entraîné : les dix sorties s'allument à leur valeur mesurée.

0:00 / 0:12

Le signal d'erreur, et pourquoi il dérive par rapport à $\mathbf{z}$

Signal d'erreur d'une coucheerror signal, delta: $\boldsymbol{\delta}^{[l]}:=\mathrm{grad}_{\mathbf{z}^{[l]}}\,\ell\in\mathbb{R}^{d_{l}}$ , vecteur colonne de même dimension que $\mathbf{z}^{[l]}$ . Sa $k$ -ième composante est $\partial\ell/\partial z_{k}^{[l]}$ , un scalaire. Il y a un signal d'erreur par couche : $\boldsymbol{\delta}^{[2]}\in\mathbb{R}^{10}$ , $\boldsymbol{\delta}^{[1]}\in\mathbb{R}^{128}$ .

\boldsymbol{\delta}^{[2]}=\mathrm{grad}_{\mathbf{z}^{[2]}}\,\ell=\mathbf{a}^{[2]}-\mathbf{y}\ \in\mathbb{R}^{10},\qquad \mathbf{y}=\mathrm{onehot}(c)

(4.2)

Les deux formes de la règle de la chaîne

g:\mathbb{R}\rightarrow\mathbb{R},\ f:\mathbb{R}\rightarrow\mathbb{R}\ \text{dérivables}\quad\Longrightarrow\quad (f\circ g)'(t)=f'\big(g(t)\big)\cdot g'(t)

(4.3)

u\ \text{influence}\ C\ \text{à travers}\ v_{1},\ldots,v_{m}\quad\Longrightarrow\quad \frac{\partial C}{\partial u}=\sum_{k=1}^{m}\frac{\partial C}{\partial v_{k}}\,\frac{\partial v_{k}}{\partial u}

(4.4)

Un biais influence la perte par un seul chemin, une activation cachée par dix.

Une seule composante est négative

DérivationSeule la composante de la vraie classe est strictement négative (proposition 1)

Hypothèses

$\mathbf{a}^{[2]}=\mathrm{softmax}(\mathbf{z}^{[2]})\in\Delta^{\circ}_{9}$ , l'intérieur du simplexe : $0<a_{k}<1$ pour tout $k$ , et $\sum_{k}a_{k}=1$ .
$\mathbf{y}=\mathrm{onehot}(c)$ : $y_{c}=1$ et $y_{k}=0$ pour $k\neq c$ .
$\boldsymbol{\delta}^{[2]}=\mathbf{a}^{[2]}-\mathbf{y}$ , formule (4.2), admise.

Propriétés utilisées

L'image de $\mathrm{softmax}$ est incluse dans l'intérieur du simplexe : aucune coordonnée n'atteint $0$ ni $1$
Soustraction composante par composante

Étapes

La composante de la vraie classe. $\delta_{c}=a_{c}-y_{c}=a_{c}-1$ , et $a_{c}<1$ strictement, donc $\delta_{c}<0$ .
Les neuf autres. Pour $k\neq c$ , $\delta_{k}=a_{k}-0=a_{k}$ , et $a_{k}>0$ strictement, donc $\delta_{k}>0$ .
$\delta_{c}=a_{c}-1<0\qquad\text{et}\qquad \delta_{k}=a_{k}>0\quad\text{pour tout }k\neq c$
Les deux inégalités sont strictes parce que le softmax n'atteint jamais les bords du simplexe.

Résultat

\#\{k\ :\ \delta_{k}<0\}=1,\qquad \#\{k\ :\ \delta_{k}>0\}=9

Interprétation

Ce que ce résultat ne dit pas

L'énoncé porte sur les signes et non sur les tailles : il ne dit pas de combien pousser, et il ne dit rien de ce qui arrive après un pas.
Il vaut pour la sortie d'un softmax avec entropie croisée, et avec un autre coût le point de départ change, la proposition avec lui.

Le signal d'erreur de sortie en dix barres signées, neuf vers le haut et une vers le bas, à l'échelle mesurée.

0:00 / 0:12

La somme est nulle, et la vraie classe pèse autant que les neuf autres

DérivationLa somme des dix composantes est nulle, et

|\delta_{c}|=\sum_{k\neq c}|\delta_{k}|

(proposition 2)

Hypothèses

Les hypothèses de la proposition 1.
$\sum_{k}a_{k}=1$ et $\sum_{k}y_{k}=1$ .

Propriétés utilisées

Linéarité de la somme
Proposition 1 : $\delta_{k}>0$ pour $k\neq c$ , donc $|\delta_{k}|=\delta_{k}$

Étapes

$\sum_{k=0}^{9}\delta_{k}=\sum_{k=0}^{9}a_{k}-\sum_{k=0}^{9}y_{k}=1-1=0$
Les deux vecteurs sont des lois de probabilité sur dix classes : leurs coordonnées somment à un.
On isole la composante de la vraie classe. De $\delta_{c}+\sum_{k\neq c}\delta_{k}=0$ on tire $-\delta_{c}=\sum_{k\neq c}\delta_{k}$ .
Par la proposition 1, $\delta_{c}<0$ donc $-\delta_{c}=|\delta_{c}|$ , et $\delta_{k}>0$ donc $\delta_{k}=|\delta_{k}|$ pour $k\neq c$ .
$|\delta_{c}|=1-a_{c}=\sum_{k\neq c}a_{k}=\sum_{k\neq c}|\delta_{k}|$

Résultat

\sum_{k}\delta_{k}=0\qquad\text{et}\qquad |\delta_{c}|=1-a_{c}=\sum_{k\neq c}|\delta_{k}|

Interprétation

Ce que ce résultat ne dit pas

L'égalité porte sur les valeurs absolues, donc sur des tailles. Elle ne dit pas que la correction du neurone $c$ produit sur la perte autant d'effet que celle des neuf autres.

La proposition 2 sur les nombres mesurés · cours/lecon4/mesures.py, mesure 1

  -- Contrôle de la proposition 2 sur ces nombres --------------------------
  somme des dix composantes       +8.327e-17
  |delta_2|                       0.755461
  somme des neuf autres           0.755461
  écart entre les deux            1.110e-16

Lecture

La somme des dix composantes vaut $8{,}3\cdot 10^{-17}$ , c'est-à-dire zéro à la précision machine, l'erreur d'arrondi d'une somme de dix flottants.
$|\delta_{2}|=0{,}755461$ et la somme des neuf autres vaut $0{,}755461$ à $1{,}1\cdot 10^{-16}$ près, donc l'égalité de la proposition 2 est vérifiée jusqu'au dernier chiffre représentable.
$|\delta_{2}|=1-a_{2}=1-0{,}2445=0{,}7555$ , qui est la lecture directe de la formule.

Vérification rapide n° 35

a
Vérifier à la main que leur somme est nulle, et que $|\delta_{2}|$ égale la somme des neuf autres, à l'arrondi de l'affichage près.
b
Que vaudrait $|\delta_{2}|$ si le réseau accordait $0{,}9$ à la classe $2$  ?
c
Vers quelle valeur $|\delta_{2}|$ tend-il quand $a_{2}$ s'approche de $1$ , et la proposition 1 permet-elle de l'atteindre ?

Aucune réponse à cliquer : il y a un calcul à faire.

Ce que le réseau répond

Le signal d'erreur, et pourquoi il dérive par rapport à z\mathbf{z}z

Les deux formes de la règle de la chaîne

Une seule composante est négative

La somme est nulle, et la vraie classe pèse autant que les neuf autres

Ce que le réseau répond

Le signal d'erreur, et pourquoi il dérive par rapport à z\mathbf{z}z

Les deux formes de la règle de la chaîne

Une seule composante est négative

La somme est nulle, et la vraie classe pèse autant que les neuf autres

Le signal d'erreur, et pourquoi il dérive par rapport à $\mathbf{z}$

Le signal d'erreur, et pourquoi il dérive par rapport à $\mathbf{z}$