Démonstration8 min

Remonter d'une couche

Le dernier pas en arrière : la porte ReLU, et les gradients de la première couche.

La demande est arrivée sur les activations cachées, et ce ne sont toujours pas des réglages. Sur cette image, soixante et onze des cent vingt-huit neurones cachés sont éteints : que devient la part de demande qui leur revient ?

Quatre cadres en file, reliés par des flèches : le signal d'erreur de sortie et ses dix composantes ; la demande reçue, transposée de la seconde matrice appliquée à ce signal, et ses cent vingt-huit composantes ; la porte ReLU, en brique, qui en annule soixante et onze ; et le signal d'erreur caché, dont cinquante-sept composantes restent non nulles. Dessous, un tableau de deux lignes compare un neurone allumé et un neurone éteint : le quatre-vingt-douzième, de préactivation plus un virgule cinq neuf zéro trois, reçoit plus zéro virgule zéro zéro six mille quatre cent deux et transmet la même valeur ; le neurone zéro, de préactivation moins zéro virgule deux quatre cinq cinq, reçoit moins zéro virgule zéro zéro neuf mille trois cent trente-cinq et transmet zéro. En pied, deux mentions : un neurone éteint ne transmet rien, et la porte se ferme dans les deux sens. — La porte se ferme dans les deux sens, et c'est la même qu'à l'aller.

Les deux lignes du bas comparent un neurone allumé et un neurone éteint qui reçoivent tous les deux une demande non nulle. Le premier la transmet sans qu'un seul chiffre change, le second ne transmet rien.

La page démontre cette différence, et en tire le compte des zéros de la première matrice.

De l'activation à la somme pondérée

Il reste à passer de $\mathrm{grad}_{\mathbf{a}^{[1]}}\,\ell$ à $\mathrm{grad}_{\mathbf{z}^{[1]}}\,\ell$ , et ce pas est le plus simple de tous parce que $a_{j}^{[1]}=\mathrm{ReLU}(z_{j}^{[1]})$ ne dépend que de $z_{j}^{[1]}$ : il n'y a qu'un seul chemin, et la règle de la chaîne à plusieurs chemins se réduit à sa forme simple.

\delta_{j}^{[1]}=\frac{\partial\ell}{\partial z_{j}^{[1]}}=\frac{\partial\ell}{\partial a_{j}^{[1]}}\cdot\frac{\partial a_{j}^{[1]}}{\partial z_{j}^{[1]}}=\Big[\big(W^{[2]}\big)^{\mathsf{T}}\boldsymbol{\delta}^{[2]}\Big]_{j}\cdot\mathrm{ReLU}'\big(z_{j}^{[1]}\big)

(4.8)

Un produit composante par composante : la

j

-ième composante de l'un multipliée par la

j

-ième de l'autre, sans aucune somme et sans mélange entre indices.

Produit de HadamardHadamard product, element-wise product: Pour $\mathbf{u},\mathbf{v}\in\mathbb{R}^{m}$ , le vecteur $\mathbf{u}\odot\mathbf{v}=(u_{1}v_{1},\ldots,u_{m}v_{m})^{\mathsf{T}}\in\mathbb{R}^{m}$ . Il ne change pas la dimension et ne fait aucune somme : c'est le produit ordinaire de $\mathbb{R}$ , appliqué $m$ fois en parallèle.

\boxed{\ \boldsymbol{\delta}^{[1]}=\Big[\big(W^{[2]}\big)^{\mathsf{T}}\boldsymbol{\delta}^{[2]}\Big]\odot\mathrm{ReLU}'\big(\mathbf{z}^{[1]}\big)\ }\qquad\in\mathbb{R}^{128}

(4.9)

Dimensions :

(128\times 10)(10\times 1)=128\times 1

, puis un produit de Hadamard avec un vecteur de

\mathbb{R}^{128}

, qui rend un vecteur de

\mathbb{R}^{128}

Ce que la porte fait

$\mathrm{ReLU}'(\mathbf{z}^{[1]})$ est un vecteur de $0$ et de $1$ , et c'est ce vecteur qu'on appellera la porte : le produit de Hadamard laisse passer certaines composantes sans les modifier et annule les autres. Sur l'exemple de travail, $57$ passent et $71$ sont annulées.

Un neurone allumé, un neurone éteint · cours/lecon4/mesures.py, mesure 3

  a^[1]_92 = 1.5903, neurone ALLUMÉ (z^[1]_92 = +1.5903)
  composante 92 de (W^[2])^T delta^[2]            +0.006402
  composante 92 de delta^[1], après la porte ReLU  +0.006402

  pour comparaison, le neurone ÉTEINT j = 0 (z^[1]_0 = -0.2455)
      demande reçue,  (W^[2])^T delta^[2] en 0    -0.009335
      composante 0 de delta^[1]                  -0.000000

Lecture

Le neurone $92$ est allumé, sa demande traverse la porte sans changer d'un chiffre, et la porte ne rééchelonne donc rien : elle laisse passer, ou elle coupe.
Le neurone $0$ est éteint et reçoit pourtant une demande non nulle, $-0{,}009335$ , que la porte annule : les dix neurones de sortie lui adressent bien quelque chose.
Un neurone éteint ne transmet rien parce qu'il n'a rien envoyé. Son activation valait $0$ à l'aller, il n'a donc contribué à aucune des dix sommes pondérées, et changer un peu sa somme pondérée ne changerait toujours rien puisqu'elle resterait négative. La perte n'en dépend pas, et sa dérivée est nulle.

La porte ReLU sur les

128

composantes : elle en laisse passer

57

et en coupe

71

0:00 / 0:12

Les gradients de la première couche

Les propositions 3 et 4 n'ont rien de particulier à la couche de sortie, puisqu'elles dérivent $z_{k}=\sum_{j}W_{kj}a_{j}+b_{k}$ , ce qui est vrai de toute couche. On les applique donc telles quelles une couche plus bas, avec $\mathbf{x}$ à la place de $\mathbf{a}^{[1]}$ , l'entrée jouant le rôle d'activation de la couche précédente.

\mathrm{grad}_{\mathbf{b}^{[1]}}\,\ell=\boldsymbol{\delta}^{[1]}\in\mathbb{R}^{128},\qquad \mathrm{grad}_{W^{[1]}}\,\ell=\boldsymbol{\delta}^{[1]}\mathbf{x}^{\mathsf{T}}\in\mathcal{M}_{128,784}(\mathbb{R})

(4.10)

Dimensions :

(128\times 1)(1\times 784)=128\times 784

, la forme de

W^{[1]}

. Les quatre blocs du gradient sont maintenant écrits.

Combien des $128\times 784=100\,352$ coefficients sont nuls ?

La formule (4.10) permet de prédire ce compte avant de le faire, car le coefficient $(j,i)$ de $\mathrm{grad}_{W^{[1]}}\,\ell$ vaut $\delta_{j}^{[1]}x_{i}$ et il est nul dès que l'un des deux facteurs l'est. Or $\delta_{j}^{[1]}=0$ pour les $71$ neurones éteints, et $x_{i}=0$ pour les pixels du fond, ceux que l'encre n'a pas touchés, dont la mesure 1 dit qu'il y en a $784-188=596$ .

Le compte des non nuls demande en outre qu'aucun des $57\times 188$ produits restants ne s'annule par accident, ce que la prédiction suppose et que la mesure constate.

\#\{\text{non nuls}\}=57\times 188=10\,716,\qquad \#\{\text{nuls}\}=100\,352-10\,716=89\,636

(4.11)

Prédiction faite avant le comptage, à partir des seuls nombres de la mesure 1.

Les zéros de $\mathrm{grad}_{W^{[1]}}\,\ell$ · cours/lecon4/mesures.py, mesure 8

  -- La mesure -------------------------------------------------------------
  coefficients exactement nuls                   89636
  écart à la prédiction                          0

  nuls parce que le pixel d'entrée est nul       596 x 128 = 76288
  nuls parce que le neurone caché est éteint     71 x 188 = 13348
  somme des deux causes                          89636
  lignes de grad_W1 entièrement nulles           71 sur 128
  colonnes de grad_W1 entièrement nulles         596 sur 784
  part de coefficients nuls                      89.32 %

Lecture

La prédiction tombe juste, écart zéro, et c'est le contrôle le plus économique du chapitre puisqu'il ne demande aucun calcul de dérivée, seulement la structure de la formule (4.10).
Les deux causes se partagent les $89\,636$ , et ce partage est un choix : $596\times 128$ compte les coefficients des colonnes entièrement nulles, puis $71\times 188$ ceux des lignes nulles parmi les colonnes qui restent. Compté dans l'autre ordre, $71\times 784$ puis $596\times 57$ , le total est le même.
$89{,}32\,\%$ du gradient de la première couche est exactement nul sur cet exemple, et le procédé par différences finies aurait dépensé deux propagations avant pour chacun de ces $89\,636$ zéros.

Vérification rapide n° 45

Pour l'image de travail, $57$ neurones cachés sur $128$ sont allumés, et l'image compte $188$ pixels non nuls sur $784$ .

a
Combien de lignes de $\mathrm{grad}_{W^{[1]}}\,\ell$ sont entièrement nulles, et combien de colonnes ? Justifier par la formule (4.10).
b
Le même compte pour $\mathrm{grad}_{W^{[2]}}\,\ell$ : combien de ses $1\,280$ coefficients sont nuls, et pour quelle raison ?

Aucune réponse à cliquer : il y a un calcul à faire.

De l'activation à la somme pondérée

\delta_{j}^{[1]}=\frac{\partial\ell}{\partial z_{j}^{[1]}}=\frac{\partial\ell}{\partial a_{j}^{[1]}}\cdot\frac{\partial a_{j}^{[1]}}{\partial z_{j}^{[1]}}=\Big[\big(W^{[2]}\big)^{\mathsf{T}}\boldsymbol{\delta}^{[2]}\Big]_{j}\cdot\mathrm{ReLU}'\big(z_{j}^{[1]}\big)

(4.8)

Un produit composante par composante : la

j

-ième composante de l'un multipliée par la

j

-ième de l'autre, sans aucune somme et sans mélange entre indices.

Produit de HadamardHadamard product, element-wise product

Pour $\mathbf{u},\mathbf{v}\in\mathbb{R}^{m}$ , le vecteur $\mathbf{u}\odot\mathbf{v}=(u_{1}v_{1},\ldots,u_{m}v_{m})^{\mathsf{T}}\in\mathbb{R}^{m}$ . Il ne change pas la dimension et ne fait aucune somme : c'est le produit ordinaire de $\mathbb{R}$ , appliqué $m$ fois en parallèle.

\boxed{\ \boldsymbol{\delta}^{[1]}=\Big[\big(W^{[2]}\big)^{\mathsf{T}}\boldsymbol{\delta}^{[2]}\Big]\odot\mathrm{ReLU}'\big(\mathbf{z}^{[1]}\big)\ }\qquad\in\mathbb{R}^{128}

(4.9)

Dimensions :

(128\times 10)(10\times 1)=128\times 1

, puis un produit de Hadamard avec un vecteur de

\mathbb{R}^{128}

, qui rend un vecteur de

\mathbb{R}^{128}

Ce que la porte fait

Un neurone allumé, un neurone éteint · cours/lecon4/mesures.py, mesure 3

  a^[1]_92 = 1.5903, neurone ALLUMÉ (z^[1]_92 = +1.5903)
  composante 92 de (W^[2])^T delta^[2]            +0.006402
  composante 92 de delta^[1], après la porte ReLU  +0.006402

  pour comparaison, le neurone ÉTEINT j = 0 (z^[1]_0 = -0.2455)
      demande reçue,  (W^[2])^T delta^[2] en 0    -0.009335
      composante 0 de delta^[1]                  -0.000000

Lecture

Le neurone $92$ est allumé, sa demande traverse la porte sans changer d'un chiffre, et la porte ne rééchelonne donc rien : elle laisse passer, ou elle coupe.
Le neurone $0$ est éteint et reçoit pourtant une demande non nulle, $-0{,}009335$ , que la porte annule : les dix neurones de sortie lui adressent bien quelque chose.
Un neurone éteint ne transmet rien parce qu'il n'a rien envoyé. Son activation valait $0$ à l'aller, il n'a donc contribué à aucune des dix sommes pondérées, et changer un peu sa somme pondérée ne changerait toujours rien puisqu'elle resterait négative. La perte n'en dépend pas, et sa dérivée est nulle.

La porte ReLU sur les

128

composantes : elle en laisse passer

57

et en coupe

71

0:00 / 0:12

Les gradients de la première couche

\mathrm{grad}_{\mathbf{b}^{[1]}}\,\ell=\boldsymbol{\delta}^{[1]}\in\mathbb{R}^{128},\qquad \mathrm{grad}_{W^{[1]}}\,\ell=\boldsymbol{\delta}^{[1]}\mathbf{x}^{\mathsf{T}}\in\mathcal{M}_{128,784}(\mathbb{R})

(4.10)

Dimensions :

(128\times 1)(1\times 784)=128\times 784

, la forme de

W^{[1]}

. Les quatre blocs du gradient sont maintenant écrits.

Combien des

128\times 784=100\,352

coefficients sont nuls ?

Le compte des non nuls demande en outre qu'aucun des $57\times 188$ produits restants ne s'annule par accident, ce que la prédiction suppose et que la mesure constate.

\#\{\text{non nuls}\}=57\times 188=10\,716,\qquad \#\{\text{nuls}\}=100\,352-10\,716=89\,636

(4.11)

Prédiction faite avant le comptage, à partir des seuls nombres de la mesure 1.

Les zéros de $\mathrm{grad}_{W^{[1]}}\,\ell$ · cours/lecon4/mesures.py, mesure 8

  -- La mesure -------------------------------------------------------------
  coefficients exactement nuls                   89636
  écart à la prédiction                          0

  nuls parce que le pixel d'entrée est nul       596 x 128 = 76288
  nuls parce que le neurone caché est éteint     71 x 188 = 13348
  somme des deux causes                          89636
  lignes de grad_W1 entièrement nulles           71 sur 128
  colonnes de grad_W1 entièrement nulles         596 sur 784
  part de coefficients nuls                      89.32 %

Lecture

La prédiction tombe juste, écart zéro, et c'est le contrôle le plus économique du chapitre puisqu'il ne demande aucun calcul de dérivée, seulement la structure de la formule (4.10).
Les deux causes se partagent les $89\,636$ , et ce partage est un choix : $596\times 128$ compte les coefficients des colonnes entièrement nulles, puis $71\times 188$ ceux des lignes nulles parmi les colonnes qui restent. Compté dans l'autre ordre, $71\times 784$ puis $596\times 57$ , le total est le même.
$89{,}32\,\%$ du gradient de la première couche est exactement nul sur cet exemple, et le procédé par différences finies aurait dépensé deux propagations avant pour chacun de ces $89\,636$ zéros.

Vérification rapide n° 45

Pour l'image de travail, $57$ neurones cachés sur $128$ sont allumés, et l'image compte $188$ pixels non nuls sur $784$ .

a
Combien de lignes de $\mathrm{grad}_{W^{[1]}}\,\ell$ sont entièrement nulles, et combien de colonnes ? Justifier par la formule (4.10).
b
Le même compte pour $\mathrm{grad}_{W^{[2]}}\,\ell$ : combien de ses $1\,280$ coefficients sont nuls, et pour quelle raison ?

Aucune réponse à cliquer : il y a un calcul à faire.

De l'activation à la somme pondérée

Ce que la porte fait

Les gradients de la première couche

Combien des 128×784=100 352128\times 784=100\,352128×784=100352 coefficients sont nuls ?

De l'activation à la somme pondérée

Ce que la porte fait

Les gradients de la première couche

Combien des 128×784=100 352128\times 784=100\,352128×784=100352 coefficients sont nuls ?

Combien des $128\times 784=100\,352$ coefficients sont nuls ?

Combien des $128\times 784=100\,352$ coefficients sont nuls ?