Démonstration7 min

La deuxième voie : les poids

Corriger un poids : la correction est proportionnelle à l'activation qui l'alimente.

Un neurone de sortie reçoit cent vingt-huit traits, et chacun porte un nombre à corriger. Deux de ces traits partent de deux neurones cachés dont l'un est très actif et l'autre presque éteint : leurs deux poids reçoivent-ils la même correction ?

Un tableau de quatre lignes, une par neurone caché retenu, avec pour chacune son indice, son activation, la dérivée de la perte par rapport au poids qui en part, et le quotient des deux. Le neurone quatre-vingt-douze a une activation de un virgule cinq neuf zéro trois et une dérivée de moins un virgule deux cent un mille quatre cent neuf ; le treize, un virgule quatre neuf huit un et moins un virgule cent trente et un mille sept cent soixante ; le soixante et un, un virgule trois neuf cinq zéro et moins un virgule zéro cinquante-trois mille huit cent trente-sept ; le soixante-deux, zéro virgule zéro zéro sept zéro et moins zéro virgule zéro zéro cinq mille deux cent cinquante-cinq. Le quotient vaut moins zéro virgule sept cent cinquante-cinq mille quatre cent soixante et un sur les quatre lignes. Deux barres accompagnent chaque ligne, l'une pour la dérivée, l'autre pour l'activation, et les deux profils sont identiques. En pied, la valeur du signal d'erreur de la classe deux et l'identité qui donne la dérivée. — Le quotient de la correction par l'activation ne dépend pas du neurone.

Les quatre neurones sont désignés par un critère, les trois plus actifs et le moins actif parmi ceux qui sont allumés, et non choisis à la main. La colonne de droite est la même sur les quatre lignes, jusqu'à la sixième décimale.

Cette constance n'est pas un hasard de mesure : elle est forcée, et le calcul le montre.

Le produit extérieur

Produit extérieurouter product: Pour $\mathbf{u}\in\mathbb{R}^{m}$ et $\mathbf{v}\in\mathbb{R}^{n}$ , la matrice $\mathbf{u}\mathbf{v}^{\mathsf{T}}\in\mathcal{M}_{m,n}(\mathbb{R})$ de coefficient général $(\mathbf{u}\mathbf{v}^{\mathsf{T}})_{ij}=u_{i}v_{j}$ . C'est le produit matriciel ordinaire d'une colonne par une ligne : $(m\times 1)(1\times n)\rightarrow m\times n$ .

\mathbf{u}\mathbf{v}^{\mathsf{T}}=\begin{pmatrix}u_{1}v_{1}&\cdots&u_{1}v_{n}\\ \vdots&&\vdots\\ u_{m}v_{1}&\cdots&u_{m}v_{n}\end{pmatrix}\in\mathcal{M}_{m,n}(\mathbb{R}),\qquad (\mathbf{u}\mathbf{v}^{\mathsf{T}})_{ij}=u_{i}v_{j}

(4.6)

À ne pas confondre avec $\mathbf{u}^{\mathsf{T}}\mathbf{v}$ , qui est un scalaire quand

m=n

: l'ordre des facteurs décide de la nature du résultat.

La dérivée par rapport à un poids de sortie

DérivationLa dérivée par rapport à un poids est le signal d'erreur multiplié par l'activation d'entrée (proposition 4)

Hypothèses

$z_{m}^{[2]}=\sum_{j}W_{mj}^{[2]}a_{j}^{[1]}+b_{m}^{[2]}$ .
$\mathbf{a}^{[1]}$ est fixé : il ne dépend pas de $W^{[2]}$ , puisqu'il est produit avant.
$\boldsymbol{\delta}^{[2]}=\mathrm{grad}_{\mathbf{z}^{[2]}}\,\ell$ .

Chaîne de dépendances

W_{kj}^{[2]} → z_k^{[2]} → a^{[2]} → ℓ

Propriétés utilisées

Règle de la chaîne à plusieurs chemins, formule (4.4)
Le poids $W_{kj}^{[2]}$ n'apparaît que dans la ligne $k$ de la somme pondérée

Étapes

$\frac{\partial z_{k}^{[2]}}{\partial W_{kj}^{[2]}}=a_{j}^{[1]},\qquad \frac{\partial z_{m}^{[2]}}{\partial W_{kj}^{[2]}}=0\ \ \text{pour}\ m\neq k$
Dans la somme $\sum_{j'}W_{kj'}a_{j'}$ , un seul terme contient $W_{kj}$ , et son facteur est $a_{j}$ .
$\frac{\partial\ell}{\partial W_{kj}^{[2]}}=\sum_{m=0}^{9}\frac{\partial\ell}{\partial z_{m}^{[2]}}\,\frac{\partial z_{m}^{[2]}}{\partial W_{kj}^{[2]}}=\delta_{k}^{[2]}\,a_{j}^{[1]}$
On rassemble les $10\times 128$ égalités en une seule. Le coefficient $(k,j)$ de la matrice recherchée est le produit de la $k$ -ième composante de $\boldsymbol{\delta}^{[2]}$ par la $j$ -ième composante de $\mathbf{a}^{[1]}$ , ce qui est la définition du produit extérieur.
$\mathrm{grad}_{W^{[2]}}\,\ell=\boldsymbol{\delta}^{[2]}\big(\mathbf{a}^{[1]}\big)^{\mathsf{T}},\qquad (10\times 1)(1\times 128)=10\times 128$
Vérification des dimensions : le résultat a exactement la forme de $W^{[2]}$ , ce qui est nécessaire pour que $W^{[2]}-\eta\,\mathrm{grad}_{W^{[2]}}\,\ell$ ait un sens.

Résultat

\mathrm{grad}_{W^{[2]}}\,\ell=\boldsymbol{\delta}^{[2]}\big(\mathbf{a}^{[1]}\big)^{\mathsf{T}}\ \in\mathcal{M}_{10,128}(\mathbb{R})

Interprétation

À ligne $k$ fixée, $\partial\ell/\partial W_{kj}$ est exactement proportionnel à $a_{j}$ , de coefficient $\delta_{k}$ , et le rapport entre deux coefficients d'une même ligne vaut donc exactement le rapport des deux activations correspondantes. « Ajuster les poids proportionnellement aux activations » n'est pas une heuristique qu'on adopterait par analogie : c'est ce que dit l'identité, et la mesure 3 le vérifie à la sixième décimale.

Ce que ce résultat ne dit pas

La proportionnalité vaut à ligne fixée : entre deux lignes différentes le coefficient $\delta_{k}$ change, et les tailles ne se comparent plus par les seules activations.
L'identité ne dit rien du meilleur rendement d'un ajustement, c'est-à-dire de la baisse de perte obtenue par unité de déplacement, une notion du chapitre 3, page 10, qui n'est pas redéveloppée ici.

La proportionnalité, sur les nombres

Quatre poids d'une même ligne · cours/lecon4/mesures.py, mesure 3

  -- Proportionnalité à l'activation, ligne k = 2 (delta_k < 0) ------------
      j       a_j        d l / d W_kj      quotient
      92      1.5903     -1.201409       -0.755461
      13      1.4981     -1.131760       -0.755461
      61      1.3950     -1.053837       -0.755461
      62      0.0070     -0.005255       -0.755461

  delta_2                                      -0.755461
  rapport de la plus grande à la plus petite    228.6

Lecture

Le quotient $\big(\partial\ell/\partial W_{2j}\big)/a_{j}$ vaut $-0{,}755461$ pour les quatre neurones, à la sixième décimale : c'est $\delta_{2}$ , et c'est la proposition 4 lue de droite à gauche.
Le poids qui part du neurone le plus actif reçoit une correction $228{,}6$ fois plus grande que celui du neurone le moins actif, et ce rapport est celui de leurs deux activations, et rien d'autre.

Les traits qui arrivent sur le neurone de sortie

2

s'épaississent en proportion de l'activation d'où ils partent.

0:00 / 0:11

La même ligne, pour un neurone qui n'est pas celui de la classe · mesure 3

  -- Le même tableau pour une ligne k = 0 (delta_k > 0) --------------------
      j       a_j        d l / d W_kj      quotient
      92      1.5903     +0.217237       +0.136601
      13      1.4981     +0.204643       +0.136601
      61      1.3950     +0.190553       +0.136601
      62      0.0070     +0.000950       +0.136601

  delta_0                                      +0.136601

Lecture

Tous les signes sont inversés, et une seule quantité a changé : $\delta_{0}=+0{,}1366$ au lieu de $\delta_{2}=-0{,}7555$ .
Le quotient reste constant sur les quatre lignes et vaut $\delta_{0}$ , donc la structure de la proposition 4 ne dépend pas du signe.
Les corrections de cette ligne sont cinq fois et demie plus petites que celles de la ligne $2$ , dans le rapport $0{,}1366/0{,}7555$ : ce sont les mêmes activations, avec un autre signal d'erreur.

Vérification rapide n° 38

Deux neurones cachés ont pour activations $2{,}0$ et $0{,}25$ , et sont reliés au même neurone de sortie $k$ .

a
Quel est le rapport des corrections apportées aux deux poids ? Justifier par la proposition 4, sans calculer les dérivées.
b
Ce rapport change-t-il si l'on remplace le neurone de sortie $k$ par un autre ?

Aucune réponse à cliquer : il y a un calcul à faire.

Vérification rapide n° 39

Un neurone caché $j$ est éteint pour l'exemple courant : $z_{j}^{[1]}\leq 0$ , donc $a_{j}^{[1]}=0$ .

a
Que valent les dix dérivées $\partial\ell/\partial W_{kj}^{[2]}$ , $k\in[\![0,9]\!]$ , et pourquoi ?
b
Le corollaire dit que $710$ coefficients de $\mathrm{grad}_{W^{[2]}}\,\ell$ sont nuls sur l'exemple de travail. Retrouver ce nombre à partir de la mesure 1.

Aucune réponse à cliquer : il y a un calcul à faire.

Le produit extérieur

Produit extérieurouter product

Pour $\mathbf{u}\in\mathbb{R}^{m}$ et $\mathbf{v}\in\mathbb{R}^{n}$ , la matrice $\mathbf{u}\mathbf{v}^{\mathsf{T}}\in\mathcal{M}_{m,n}(\mathbb{R})$ de coefficient général $(\mathbf{u}\mathbf{v}^{\mathsf{T}})_{ij}=u_{i}v_{j}$ . C'est le produit matriciel ordinaire d'une colonne par une ligne : $(m\times 1)(1\times n)\rightarrow m\times n$ .

\mathbf{u}\mathbf{v}^{\mathsf{T}}=\begin{pmatrix}u_{1}v_{1}&\cdots&u_{1}v_{n}\\ \vdots&&\vdots\\ u_{m}v_{1}&\cdots&u_{m}v_{n}\end{pmatrix}\in\mathcal{M}_{m,n}(\mathbb{R}),\qquad (\mathbf{u}\mathbf{v}^{\mathsf{T}})_{ij}=u_{i}v_{j}

(4.6)

À ne pas confondre avec $\mathbf{u}^{\mathsf{T}}\mathbf{v}$ , qui est un scalaire quand

m=n

: l'ordre des facteurs décide de la nature du résultat.

La dérivée par rapport à un poids de sortie

DérivationLa dérivée par rapport à un poids est le signal d'erreur multiplié par l'activation d'entrée (proposition 4)

Hypothèses

$z_{m}^{[2]}=\sum_{j}W_{mj}^{[2]}a_{j}^{[1]}+b_{m}^{[2]}$ .
$\mathbf{a}^{[1]}$ est fixé : il ne dépend pas de $W^{[2]}$ , puisqu'il est produit avant.
$\boldsymbol{\delta}^{[2]}=\mathrm{grad}_{\mathbf{z}^{[2]}}\,\ell$ .

Chaîne de dépendances

W_{kj}^{[2]} → z_k^{[2]} → a^{[2]} → ℓ

Propriétés utilisées

Règle de la chaîne à plusieurs chemins, formule (4.4)
Le poids $W_{kj}^{[2]}$ n'apparaît que dans la ligne $k$ de la somme pondérée

Étapes

$\frac{\partial z_{k}^{[2]}}{\partial W_{kj}^{[2]}}=a_{j}^{[1]},\qquad \frac{\partial z_{m}^{[2]}}{\partial W_{kj}^{[2]}}=0\ \ \text{pour}\ m\neq k$
Dans la somme $\sum_{j'}W_{kj'}a_{j'}$ , un seul terme contient $W_{kj}$ , et son facteur est $a_{j}$ .
$\frac{\partial\ell}{\partial W_{kj}^{[2]}}=\sum_{m=0}^{9}\frac{\partial\ell}{\partial z_{m}^{[2]}}\,\frac{\partial z_{m}^{[2]}}{\partial W_{kj}^{[2]}}=\delta_{k}^{[2]}\,a_{j}^{[1]}$
On rassemble les $10\times 128$ égalités en une seule. Le coefficient $(k,j)$ de la matrice recherchée est le produit de la $k$ -ième composante de $\boldsymbol{\delta}^{[2]}$ par la $j$ -ième composante de $\mathbf{a}^{[1]}$ , ce qui est la définition du produit extérieur.
$\mathrm{grad}_{W^{[2]}}\,\ell=\boldsymbol{\delta}^{[2]}\big(\mathbf{a}^{[1]}\big)^{\mathsf{T}},\qquad (10\times 1)(1\times 128)=10\times 128$
Vérification des dimensions : le résultat a exactement la forme de $W^{[2]}$ , ce qui est nécessaire pour que $W^{[2]}-\eta\,\mathrm{grad}_{W^{[2]}}\,\ell$ ait un sens.

Résultat

\mathrm{grad}_{W^{[2]}}\,\ell=\boldsymbol{\delta}^{[2]}\big(\mathbf{a}^{[1]}\big)^{\mathsf{T}}\ \in\mathcal{M}_{10,128}(\mathbb{R})

Interprétation

Ce que ce résultat ne dit pas

La proportionnalité vaut à ligne fixée : entre deux lignes différentes le coefficient $\delta_{k}$ change, et les tailles ne se comparent plus par les seules activations.
L'identité ne dit rien du meilleur rendement d'un ajustement, c'est-à-dire de la baisse de perte obtenue par unité de déplacement, une notion du chapitre 3, page 10, qui n'est pas redéveloppée ici.

La proportionnalité, sur les nombres

Quatre poids d'une même ligne · cours/lecon4/mesures.py, mesure 3

  -- Proportionnalité à l'activation, ligne k = 2 (delta_k < 0) ------------
      j       a_j        d l / d W_kj      quotient
      92      1.5903     -1.201409       -0.755461
      13      1.4981     -1.131760       -0.755461
      61      1.3950     -1.053837       -0.755461
      62      0.0070     -0.005255       -0.755461

  delta_2                                      -0.755461
  rapport de la plus grande à la plus petite    228.6

Lecture

Le quotient $\big(\partial\ell/\partial W_{2j}\big)/a_{j}$ vaut $-0{,}755461$ pour les quatre neurones, à la sixième décimale : c'est $\delta_{2}$ , et c'est la proposition 4 lue de droite à gauche.
Le poids qui part du neurone le plus actif reçoit une correction $228{,}6$ fois plus grande que celui du neurone le moins actif, et ce rapport est celui de leurs deux activations, et rien d'autre.

Les traits qui arrivent sur le neurone de sortie

2

s'épaississent en proportion de l'activation d'où ils partent.

0:00 / 0:11

La même ligne, pour un neurone qui n'est pas celui de la classe · mesure 3

  -- Le même tableau pour une ligne k = 0 (delta_k > 0) --------------------
      j       a_j        d l / d W_kj      quotient
      92      1.5903     +0.217237       +0.136601
      13      1.4981     +0.204643       +0.136601
      61      1.3950     +0.190553       +0.136601
      62      0.0070     +0.000950       +0.136601

  delta_0                                      +0.136601

Lecture

Tous les signes sont inversés, et une seule quantité a changé : $\delta_{0}=+0{,}1366$ au lieu de $\delta_{2}=-0{,}7555$ .
Le quotient reste constant sur les quatre lignes et vaut $\delta_{0}$ , donc la structure de la proposition 4 ne dépend pas du signe.
Les corrections de cette ligne sont cinq fois et demie plus petites que celles de la ligne $2$ , dans le rapport $0{,}1366/0{,}7555$ : ce sont les mêmes activations, avec un autre signal d'erreur.

Vérification rapide n° 38

Deux neurones cachés ont pour activations $2{,}0$ et $0{,}25$ , et sont reliés au même neurone de sortie $k$ .

a
Quel est le rapport des corrections apportées aux deux poids ? Justifier par la proposition 4, sans calculer les dérivées.
b
Ce rapport change-t-il si l'on remplace le neurone de sortie $k$ par un autre ?

Aucune réponse à cliquer : il y a un calcul à faire.

Vérification rapide n° 39

Un neurone caché $j$ est éteint pour l'exemple courant : $z_{j}^{[1]}\leq 0$ , donc $a_{j}^{[1]}=0$ .

a
Que valent les dix dérivées $\partial\ell/\partial W_{kj}^{[2]}$ , $k\in[\![0,9]\!]$ , et pourquoi ?
b
Le corollaire dit que $710$ coefficients de $\mathrm{grad}_{W^{[2]}}\,\ell$ sont nuls sur l'exemple de travail. Retrouver ce nombre à partir de la mesure 1.

Aucune réponse à cliquer : il y a un calcul à faire.