Lecture7 min

La première voie : le biais

Corriger un biais : la plus simple des trois corrections, parce que son effet ne passe par rien.

La sortie dit dans quel sens chacune de ses dix sommes pondérées doit bouger, et aucune de ces dix sommes ne se règle, puisque ce sont des résultats. Sur quoi pose-t-on la main pour les faire bouger tout de même ?

Trois cadres empilés à gauche, chacun relié par une flèche à un même rond posé à droite, qui porte la somme pondérée du neurone de sortie de la classe deux. Le premier cadre, en brique, porte le biais de ce neurone et la valeur de la dérivée de la perte par rapport à lui, moins zéro virgule sept cent cinquante-cinq mille quatre cent soixante et un. Le deuxième, en brique aussi, porte le poids venant du quatre-vingt-douzième neurone caché et la valeur de sa dérivée, moins un virgule deux cent un mille quatre cent neuf. Le troisième, en gris, porte l'activation précédente et la valeur de sa dérivée, plus zéro virgule zéro zéro six mille quatre cent deux. En pied, deux mentions : les deux premières se règlent, la troisième ne se règle pas. — Deux des trois prises sont des paramètres ; la troisième est un résultat.

Trois sortes de quantités entrent dans la somme pondérée d'un neurone de sortie, et le cadre en montre une de chaque, avec la valeur mesurée de sa dérivée.

Chacune des trois se démontre à son tour. Les deux premières s'appliquent ; la troisième se lit, mais on n'a rien à quoi l'appliquer, et c'est d'elle que naît tout le reste du chapitre.

Trois voies vers une somme pondérée

z_{k}^{[2]}=\sum_{j=1}^{128}W_{kj}^{[2]}\,a_{j}^{[1]}+b_{k}^{[2]}

(4.5)

Trois sortes de quantités y figurent : un biais, cent vingt-huit poids, cent vingt-huit activations.

Voie	Statut	Effet sur $z_{k}$ d'une variation de $1$
$b_{k}^{[2]}$	Paramètre	$1$ , quelles que soient les activations
$W_{kj}^{[2]}$	Paramètre	$a_{j}^{[1]}$ , qui dépend de l'exemple
$a_{j}^{[1]}$	Pas un paramètre	$W_{kj}^{[2]}$ , mais rien ne permet de la faire varier directement

Le biais vient en premier parce que son effet ne passe par rien : il s'ajoute à la somme, et le facteur qui le multiplie vaut $1$ . Les poids viennent ensuite parce que leur effet passe par une activation, et les activations en dernier parce qu'elles ne sont pas des paramètres.

La dérivée par rapport à un biais de sortie

DérivationLa dérivée par rapport à un biais de sortie est le signal d'erreur lui-même (proposition 3)

Hypothèses

$z_{m}^{[2]}=\sum_{j}W_{mj}^{[2]}a_{j}^{[1]}+b_{m}^{[2]}$ pour tout $m\in[\![0,9]\!]$ .
$\boldsymbol{\delta}^{[2]}=\mathrm{grad}_{\mathbf{z}^{[2]}}\,\ell$ , définition page 3.
$\ell$ ne dépend de $b_{k}^{[2]}$ qu'à travers $\mathbf{z}^{[2]}$ .

Chaîne de dépendances

b_k^{[2]} → z^{[2]} → a^{[2]} → ℓ

Propriétés utilisées

Règle de la chaîne à plusieurs chemins, formule (4.4)
Dérivation d'une somme dont un seul terme dépend de la variable

Étapes

On dérive la somme pondérée. Dans $z_{m}^{[2]}$ , le biais $b_{k}^{[2]}$ n'apparaît que si $m=k$ , et il y apparaît avec le coefficient $1$ .
$\frac{\partial z_{k}^{[2]}}{\partial b_{k}^{[2]}}=1,\qquad \frac{\partial z_{m}^{[2]}}{\partial b_{k}^{[2]}}=0\ \ \text{pour}\ m\neq k$
On applique la règle de la chaîne à plusieurs chemins. $b_{k}^{[2]}$ pourrait a priori influencer $\ell$ à travers les dix composantes de $\mathbf{z}^{[2]}$ , et la ligne précédente montre que neuf de ces dix chemins ont une dérivée nulle.
$\frac{\partial\ell}{\partial b_{k}^{[2]}}=\sum_{m=0}^{9}\frac{\partial\ell}{\partial z_{m}^{[2]}}\,\frac{\partial z_{m}^{[2]}}{\partial b_{k}^{[2]}}=\frac{\partial\ell}{\partial z_{k}^{[2]}}\cdot 1=\delta_{k}^{[2]}$
Neuf des dix chemins portent un facteur nul ; il ne reste que le chemin $m=k$ , de facteur $1$ .

Résultat

\mathrm{grad}_{\mathbf{b}^{[2]}}\,\ell=\boldsymbol{\delta}^{[2]}\ \in\mathbb{R}^{10}

Interprétation

Cette dérivée ne dépend d'aucune activation, et c'est en ce sens précis que le biais est la voie la plus simple : son effet sur la somme pondérée est constant, il ne passe par rien, et il est le même pour tous les exemples à signal d'erreur égal. Le gradient des biais de sortie n'est pas seulement calculable à partir de $\boldsymbol{\delta}^{[2]}$ , il est $\boldsymbol{\delta}^{[2]}$ .

Ce que ce résultat ne dit pas

La proposition porte sur les biais de la couche de sortie. Pour $\mathbf{b}^{[1]}$ le même argument s'applique, mais avec $\boldsymbol{\delta}^{[1]}$ , qu'on ne sait pas encore calculer.

La dérivée par rapport au biais, mesurée · cours/lecon4/mesures.py, mesure 3

  -- Le biais, et un poids -------------------------------------------------
  dérivée par rapport au biais b^[2]_2          -0.755461
  dérivée par rapport au poids W^[2]_(2,92)       -1.201409
  activation a^[1]_92                          1.5903
  contrôle de l'identité delta_2 x a_92         -1.201409
  écart entre la dérivée et le produit          0.000e+00

Lecture

$\partial\ell/\partial b_{2}^{[2]}=-0{,}755461$ , c'est-à-dire exactement le $\delta_{2}^{[2]}$ lu à la mesure 1, et la proposition 3 se lit ainsi sur une seule ligne.
Le nombre est négatif, donc augmenter le biais du neurone de la classe $2$ fait baisser la perte, et le pas de descente $-\eta\,\partial\ell/\partial b_{2}$ est positif, ce qui fait monter le biais.
Pour les neuf autres neurones $\delta_{k}>0$ , la dérivée est positive, le pas est négatif et le biais descend. Aucune intuition n'est nécessaire : le signe suffit.

Le biais du neurone de sortie

2

est poussé, et la sortie suit — de la même quantité, sans facteur.

0:00 / 0:09

Vérification rapide n° 36

La mesure 1 donne $\delta_{2}=-0{,}7555$ et $\delta_{k}>0$ pour les neuf autres classes. Le pas de descente s'écrit $b_{k}\leftarrow b_{k}-\eta\,\partial\ell/\partial b_{k}$ avec $\eta>0$ .

a
Dans quel sens le biais du neurone de la vraie classe est-il poussé, et dans quel sens ceux des neuf autres ? Justifier par le signe de la dérivée, non par l'intuition.
b
De combien le biais $b_{2}^{[2]}$ bouge-t-il pour $\eta=0{,}5$  ?

Aucune réponse à cliquer : il y a un calcul à faire.

Vérification rapide n° 37

La proposition 3 donne $\partial\ell/\partial b_{k}^{[2]}=\delta_{k}^{[2]}$ , sans qu'aucune activation n'apparaisse.

a
Pourquoi la dérivée par rapport à un biais ne dépend-elle d'aucune activation, alors que celle par rapport à un poids en dépend ? Répondre en dérivant la formule (4.5).
b
Deux exemples différents donnent-ils la même dérivée par rapport à $b_{2}^{[2]}$  ? Et par rapport à $W_{2,92}^{[2]}$  ?

Aucune réponse à cliquer : il y a un calcul à faire.

Trois voies vers une somme pondérée

z_{k}^{[2]}=\sum_{j=1}^{128}W_{kj}^{[2]}\,a_{j}^{[1]}+b_{k}^{[2]}

(4.5)

Trois sortes de quantités y figurent : un biais, cent vingt-huit poids, cent vingt-huit activations.

Voie	Statut	Effet sur $z_{k}$ d'une variation de $1$
$b_{k}^{[2]}$	Paramètre	$1$ , quelles que soient les activations
$W_{kj}^{[2]}$	Paramètre	$a_{j}^{[1]}$ , qui dépend de l'exemple
$a_{j}^{[1]}$	Pas un paramètre	$W_{kj}^{[2]}$ , mais rien ne permet de la faire varier directement

La dérivée par rapport à un biais de sortie

DérivationLa dérivée par rapport à un biais de sortie est le signal d'erreur lui-même (proposition 3)

Hypothèses

$z_{m}^{[2]}=\sum_{j}W_{mj}^{[2]}a_{j}^{[1]}+b_{m}^{[2]}$ pour tout $m\in[\![0,9]\!]$ .
$\boldsymbol{\delta}^{[2]}=\mathrm{grad}_{\mathbf{z}^{[2]}}\,\ell$ , définition page 3.
$\ell$ ne dépend de $b_{k}^{[2]}$ qu'à travers $\mathbf{z}^{[2]}$ .

Chaîne de dépendances

b_k^{[2]} → z^{[2]} → a^{[2]} → ℓ

Propriétés utilisées

Règle de la chaîne à plusieurs chemins, formule (4.4)
Dérivation d'une somme dont un seul terme dépend de la variable

Étapes

On dérive la somme pondérée. Dans $z_{m}^{[2]}$ , le biais $b_{k}^{[2]}$ n'apparaît que si $m=k$ , et il y apparaît avec le coefficient $1$ .
$\frac{\partial z_{k}^{[2]}}{\partial b_{k}^{[2]}}=1,\qquad \frac{\partial z_{m}^{[2]}}{\partial b_{k}^{[2]}}=0\ \ \text{pour}\ m\neq k$
On applique la règle de la chaîne à plusieurs chemins. $b_{k}^{[2]}$ pourrait a priori influencer $\ell$ à travers les dix composantes de $\mathbf{z}^{[2]}$ , et la ligne précédente montre que neuf de ces dix chemins ont une dérivée nulle.
$\frac{\partial\ell}{\partial b_{k}^{[2]}}=\sum_{m=0}^{9}\frac{\partial\ell}{\partial z_{m}^{[2]}}\,\frac{\partial z_{m}^{[2]}}{\partial b_{k}^{[2]}}=\frac{\partial\ell}{\partial z_{k}^{[2]}}\cdot 1=\delta_{k}^{[2]}$
Neuf des dix chemins portent un facteur nul ; il ne reste que le chemin $m=k$ , de facteur $1$ .

Résultat

\mathrm{grad}_{\mathbf{b}^{[2]}}\,\ell=\boldsymbol{\delta}^{[2]}\ \in\mathbb{R}^{10}

Interprétation

Ce que ce résultat ne dit pas

La proposition porte sur les biais de la couche de sortie. Pour $\mathbf{b}^{[1]}$ le même argument s'applique, mais avec $\boldsymbol{\delta}^{[1]}$ , qu'on ne sait pas encore calculer.

La dérivée par rapport au biais, mesurée · cours/lecon4/mesures.py, mesure 3

  -- Le biais, et un poids -------------------------------------------------
  dérivée par rapport au biais b^[2]_2          -0.755461
  dérivée par rapport au poids W^[2]_(2,92)       -1.201409
  activation a^[1]_92                          1.5903
  contrôle de l'identité delta_2 x a_92         -1.201409
  écart entre la dérivée et le produit          0.000e+00

Lecture

$\partial\ell/\partial b_{2}^{[2]}=-0{,}755461$ , c'est-à-dire exactement le $\delta_{2}^{[2]}$ lu à la mesure 1, et la proposition 3 se lit ainsi sur une seule ligne.
Le nombre est négatif, donc augmenter le biais du neurone de la classe $2$ fait baisser la perte, et le pas de descente $-\eta\,\partial\ell/\partial b_{2}$ est positif, ce qui fait monter le biais.
Pour les neuf autres neurones $\delta_{k}>0$ , la dérivée est positive, le pas est négatif et le biais descend. Aucune intuition n'est nécessaire : le signe suffit.

Le biais du neurone de sortie

2

est poussé, et la sortie suit — de la même quantité, sans facteur.

0:00 / 0:09

Vérification rapide n° 36

La mesure 1 donne $\delta_{2}=-0{,}7555$ et $\delta_{k}>0$ pour les neuf autres classes. Le pas de descente s'écrit $b_{k}\leftarrow b_{k}-\eta\,\partial\ell/\partial b_{k}$ avec $\eta>0$ .

a
Dans quel sens le biais du neurone de la vraie classe est-il poussé, et dans quel sens ceux des neuf autres ? Justifier par le signe de la dérivée, non par l'intuition.
b
De combien le biais $b_{2}^{[2]}$ bouge-t-il pour $\eta=0{,}5$  ?

Aucune réponse à cliquer : il y a un calcul à faire.

Vérification rapide n° 37

La proposition 3 donne $\partial\ell/\partial b_{k}^{[2]}=\delta_{k}^{[2]}$ , sans qu'aucune activation n'apparaisse.

a
Pourquoi la dérivée par rapport à un biais ne dépend-elle d'aucune activation, alors que celle par rapport à un poids en dépend ? Répondre en dérivant la formule (4.5).
b
Deux exemples différents donnent-ils la même dérivée par rapport à $b_{2}^{[2]}$  ? Et par rapport à $W_{2,92}^{[2]}$  ?

Aucune réponse à cliquer : il y a un calcul à faire.