Démonstration7 min

La forme vectorielle

Les mêmes équations écrites sans indices, en quatre lignes.

Peut-on écrire tout cela sans un seul indice ?

Une grille carrée de cases, entre crochets, autant de lignes que de colonnes. Chaque case de la diagonale porte phi prime évaluée en la composante de même rang de la somme pondérée de la couche l. Toutes les autres cases portent un zéro, écrit case par case. Les numéros de ligne courent le long du bord gauche de la grille, et les numéros de colonne au-dessus. — Là où la case porte un zéro, pousser une composante de la somme pondérée ne bouge pas l'activation d'en face.

Les identités du retour se sont écrites jusqu'ici avec deux indices et une somme sur les chemins, et elles s'écrivent aussi bien avec des matrices et des vecteurs seuls. Le passage réclame un objet de plus, la jacobienne, et une propriété à démontrer : celle de l'activation par la somme pondérée ne porte que des zéros hors de sa diagonale.

La jacobienne

JacobienneJacobian matrix: Pour $f:\mathbb{R}^{n}\rightarrow\mathbb{R}^{m}$ différentiable en $\mathbf{u}$ , la matrice $J_{f}(\mathbf{u})\in\mathcal{M}_{m,n}(\mathbb{R})$ dont le coefficient de la ligne $i$ et de la colonne $j$ est $\partial f_{i}/\partial u_{j}$ , évaluée en $\mathbf{u}$ .

Objet	Pour quelle fonction	Type
Dérivée partielle $\partial f_{i}/\partial u_{j}$	Une composante, une variable	Un scalaire
Gradient $\mathrm{grad}_{\mathbf{u}}\,f$	$f:\mathbb{R}^{n}\rightarrow\mathbb{R}$	Un vecteur colonne de $\mathbb{R}^{n}$
Jacobienne $J_{f}(\mathbf{u})$	$f:\mathbb{R}^{n}\rightarrow\mathbb{R}^{m}$	Une matrice $m\times n$

Quand

m=1

, la jacobienne est une matrice à une ligne, et le gradient en est la transposée.

Le retour ne demande que deux jacobiennes, et la seconde s'écrit avec la notation $\mathrm{diag}(\mathbf{u})$ : la matrice carrée dont la diagonale porte les composantes de $\mathbf{u}$ et dont tous les autres coefficients sont nuls.

J_{\mathbf{z}^{[l]}}\big(\mathbf{a}^{[l-1]}\big)=W^{[l]},\qquad J_{\mathbf{a}^{[l]}}\big(\mathbf{z}^{[l]}\big)=\mathrm{diag}\big(\varphi'(\mathbf{z}^{[l]})\big)

(5.11)

Pourquoi la seconde est diagonale

DérivationLe retour, écrit sans indices

Hypothèses

$\varphi$ s'applique composante par composante : $a^{[l]}_{i}=\varphi(z^{[l]}_{i})$ , définition page 5.
$\mathrm{grad}_{\mathbf{a}^{[l]}}\,\ell=\big(W^{[l+1]}\big)^{\mathsf{T}}\boldsymbol{\delta}^{[l+1]}$ , la somme sur les chemins de la page 9 écrite au rang $l+1$ plutôt qu'au rang $l$ .

Propriétés utilisées

Définition de la jacobienne
$D\mathbf{v}=\mathbf{u}\odot\mathbf{v}$ pour $D=\mathrm{diag}(\mathbf{u})$

Étapes

La jacobienne de l'activation est diagonale. $a^{[l]}_{i}=\varphi(z^{[l]}_{i})$ ne dépend que de $z^{[l]}_{i}$ : sa dérivée par rapport à $z^{[l]}_{j}$ est nulle dès que $j\neq i$ .
$\big(J_{\mathbf{a}^{[l]}}\big)_{ij}=\frac{\partial a^{[l]}_{i}}{\partial z^{[l]}_{j}}=\begin{cases}\varphi'\big(z^{[l]}_{i}\big) & j=i\\[2pt] 0 & j\neq i\end{cases}$
Une matrice diagonale multiplie composante par composante. Pour $D=\mathrm{diag}(\mathbf{u})$ , la $i$ -ième composante de $D\mathbf{v}$ vaut $u_{i}v_{i}$ : c'est la définition du produit de Hadamard.
$\mathrm{diag}(\mathbf{u})\,\mathbf{v}=\mathbf{u}\odot\mathbf{v}$
On compose. La somme sur les chemins a donné $\mathrm{grad}_{\mathbf{a}^{[l]}}\,\ell=(W^{[l+1]})^{\mathsf{T}}\boldsymbol{\delta}^{[l+1]}$ , et il reste à traverser l'activation.
$\boldsymbol{\delta}^{[l]}=\mathrm{diag}\big(\varphi'(\mathbf{z}^{[l]})\big)\,\big(W^{[l+1]}\big)^{\mathsf{T}}\boldsymbol{\delta}^{[l+1]}=\big[\big(W^{[l+1]}\big)^{\mathsf{T}}\boldsymbol{\delta}^{[l+1]}\big]\odot\varphi'\big(\mathbf{z}^{[l]}\big)$
Dimensions : $(d_{l}\times d_{l})\,(d_{l}\times d_{l+1})\,(d_{l+1}\times 1)\rightarrow d_{l}\times 1$ .

Résultat

\boldsymbol{\delta}^{[l]}=\big[\big(W^{[l+1]}\big)^{\mathsf{T}}\boldsymbol{\delta}^{[l+1]}\big]\odot\varphi'\big(\mathbf{z}^{[l]}\big),\qquad \mathrm{grad}_{W^{[l]}}\,\ell=\boldsymbol{\delta}^{[l]}\big(\mathbf{a}^{[l-1]}\big)^{\mathsf{T}},\qquad \mathrm{grad}_{\mathbf{b}^{[l]}}\,\ell=\boldsymbol{\delta}^{[l]}

Interprétation

Le produit de Hadamard du chapitre 4 n'était pas une commodité d'écriture : c'est ce que devient un produit matriciel quand la matrice est diagonale, et elle est diagonale parce que l'activation s'applique composante par composante.

Ce que ce résultat ne dit pas

Le softmax, lui, n'a pas une jacobienne diagonale : chacune de ses composantes dépend de toutes les composantes de $\mathbf{z}^{[L]}$ .

Le contrôle, et son contre-exemple

Mesure 6 · la jacobienne d'une couche cachée, par différences finies, 20 indices

  -- relu · couche cachee 3, indices 1 a 20 --------------------------------
    coefficients hors diagonale       380
    hors diagonale non nuls           0
    module maximal hors diagonale     0.000e+00
    module minimal sur la diagonale   0.000e+00

  -- sigmoide · couche cachee 3, indices 1 a 20 ----------------------------
    coefficients hors diagonale       380
    hors diagonale non nuls           0
    module maximal hors diagonale     0.000e+00
    module minimal sur la diagonale   1.465e-01

Lecture

$20\times 20=400$ coefficients, dont $380$ hors diagonale.
Aucun coefficient hors diagonale n'est non nul, pour les deux activations, et c'est bien ce que la diagonalité annonçait.
Le module minimal sur la diagonale vaut $0$ pour $\mathrm{ReLU}$ , dont la porte est fermée dès que la préactivation est négative, et $0{,}1465$ pour la sigmoïde, dont la dérivée ne s'annule jamais.

Mesure 7 · la même jacobienne pour le softmax de sortie

    couche de sortie, les 10 indices
    coefficients hors diagonale       90
    hors diagonale non nuls           90
    module maximal hors diagonale     2.597e-02
    somme de chaque colonne           4.857e-11

Lecture

$10\times 10=100$ coefficients, dont $90$ hors diagonale, et les $90$ sont non nuls.
Le plus grand d'entre eux vaut $2{,}597\cdot 10^{-2}$ : ce n'est pas du bruit d'arrondi.
Chaque colonne somme à zéro, à $4{,}857\cdot 10^{-11}$ près : pousser une préactivation redistribue de la probabilité entre les classes sans en créer.

La même grille carrée de cases entre crochets, cette fois pour le softmax de la couche de sortie. Chaque case de la diagonale porte la dérivée d'une composante de la sortie par sa propre somme pondérée, et chaque case hors de la diagonale porte la dérivée d'une composante de la sortie par la somme pondérée d'une autre composante. Aucune case ne porte de zéro. — C'est pourquoi la dernière couche est appariée à l'entropie croisée, qui donne $\boldsymbol{\delta}^{[L]}=\mathbf{a}^{[L]}-\mathbf{y}$ sans traverser cette matrice.

Un tableau de

400

coefficients se vide de ses

380

cases hors diagonale, qui sont toutes nulles.

0:00 / 0:10

Le même contrôle sur le softmax :

90

coefficients hors diagonale,

90

non nuls, et des colonnes qui somment à zéro.

0:00 / 0:14

Les équations, sans indices

\begin{aligned}\boldsymbol{\delta}^{[L]}&=\mathbf{a}^{[L]}-\mathbf{y}\\ \boldsymbol{\delta}^{[l]}&=\big[\big(W^{[l+1]}\big)^{\mathsf{T}}\boldsymbol{\delta}^{[l+1]}\big]\odot\varphi'\big(\mathbf{z}^{[l]}\big)\\ \mathrm{grad}_{W^{[l]}}\,\ell&=\boldsymbol{\delta}^{[l]}\big(\mathbf{a}^{[l-1]}\big)^{\mathsf{T}}\\ \mathrm{grad}_{\mathbf{b}^{[l]}}\,\ell&=\boldsymbol{\delta}^{[l]}\end{aligned}

(5.12)

Quatre lignes, aucun indice de neurone.

Une colonne et une ligne se croisent, et leur croisement remplit case par case le tableau du gradient de la matrice de poids.

0:00 / 0:15

Expression	Dimensions des facteurs	Résultat
$\big(W^{[l+1]}\big)^{\mathsf{T}}\boldsymbol{\delta}^{[l+1]}$	$(d_{l}\times d_{l+1})(d_{l+1}\times 1)$	$d_{l}\times 1$
$\big[\cdot\big]\odot\varphi'(\mathbf{z}^{[l]})$	$(d_{l}\times 1)\odot(d_{l}\times 1)$	$d_{l}\times 1$
$\boldsymbol{\delta}^{[l]}\big(\mathbf{a}^{[l-1]}\big)^{\mathsf{T}}$	$(d_{l}\times 1)(1\times d_{l-1})$	$d_{l}\times d_{l-1}$

La troisième ligne a bien la forme de

W^{[l]}

, ce que le gradient doit avoir.

Une bibliothèque d'apprentissage écrit ces quatre lignes une fois pour toutes, et ce qui reste à savoir faire est de lire une chaîne de dépendances et de dire, à chaque nœud, si elle se ramifie.

Vérification rapide n° 60

La jacobienne $J_{\mathbf{a}^{[l]}}(\mathbf{z}^{[l]})$ est diagonale, mesures 6 et 7.

a
Pourquoi cette jacobienne est-elle diagonale ?
b
Qu'est-ce qui cesserait d'être vrai dans la récurrence du signal d'erreur si l'activation mélangeait les composantes ?

Aucune réponse à cliquer : il y a un calcul à faire.

Démonstration7 min

La forme vectorielle

Les mêmes équations écrites sans indices, en quatre lignes.

Peut-on écrire tout cela sans un seul indice ?

La jacobienne

JacobienneJacobian matrix: Pour $f:\mathbb{R}^{n}\rightarrow\mathbb{R}^{m}$ différentiable en $\mathbf{u}$ , la matrice $J_{f}(\mathbf{u})\in\mathcal{M}_{m,n}(\mathbb{R})$ dont le coefficient de la ligne $i$ et de la colonne $j$ est $\partial f_{i}/\partial u_{j}$ , évaluée en $\mathbf{u}$ .

Objet	Pour quelle fonction	Type
Dérivée partielle $\partial f_{i}/\partial u_{j}$	Une composante, une variable	Un scalaire
Gradient $\mathrm{grad}_{\mathbf{u}}\,f$	$f:\mathbb{R}^{n}\rightarrow\mathbb{R}$	Un vecteur colonne de $\mathbb{R}^{n}$
Jacobienne $J_{f}(\mathbf{u})$	$f:\mathbb{R}^{n}\rightarrow\mathbb{R}^{m}$	Une matrice $m\times n$

Quand

m=1

, la jacobienne est une matrice à une ligne, et le gradient en est la transposée.

J_{\mathbf{z}^{[l]}}\big(\mathbf{a}^{[l-1]}\big)=W^{[l]},\qquad J_{\mathbf{a}^{[l]}}\big(\mathbf{z}^{[l]}\big)=\mathrm{diag}\big(\varphi'(\mathbf{z}^{[l]})\big)

(5.11)

Pourquoi la seconde est diagonale

DérivationLe retour, écrit sans indices

Hypothèses

$\varphi$ s'applique composante par composante : $a^{[l]}_{i}=\varphi(z^{[l]}_{i})$ , définition page 5.
$\mathrm{grad}_{\mathbf{a}^{[l]}}\,\ell=\big(W^{[l+1]}\big)^{\mathsf{T}}\boldsymbol{\delta}^{[l+1]}$ , la somme sur les chemins de la page 9 écrite au rang $l+1$ plutôt qu'au rang $l$ .

Propriétés utilisées

Définition de la jacobienne
$D\mathbf{v}=\mathbf{u}\odot\mathbf{v}$ pour $D=\mathrm{diag}(\mathbf{u})$

Étapes

La jacobienne de l'activation est diagonale. $a^{[l]}_{i}=\varphi(z^{[l]}_{i})$ ne dépend que de $z^{[l]}_{i}$ : sa dérivée par rapport à $z^{[l]}_{j}$ est nulle dès que $j\neq i$ .
$\big(J_{\mathbf{a}^{[l]}}\big)_{ij}=\frac{\partial a^{[l]}_{i}}{\partial z^{[l]}_{j}}=\begin{cases}\varphi'\big(z^{[l]}_{i}\big) & j=i\\[2pt] 0 & j\neq i\end{cases}$
Une matrice diagonale multiplie composante par composante. Pour $D=\mathrm{diag}(\mathbf{u})$ , la $i$ -ième composante de $D\mathbf{v}$ vaut $u_{i}v_{i}$ : c'est la définition du produit de Hadamard.
$\mathrm{diag}(\mathbf{u})\,\mathbf{v}=\mathbf{u}\odot\mathbf{v}$
On compose. La somme sur les chemins a donné $\mathrm{grad}_{\mathbf{a}^{[l]}}\,\ell=(W^{[l+1]})^{\mathsf{T}}\boldsymbol{\delta}^{[l+1]}$ , et il reste à traverser l'activation.
$\boldsymbol{\delta}^{[l]}=\mathrm{diag}\big(\varphi'(\mathbf{z}^{[l]})\big)\,\big(W^{[l+1]}\big)^{\mathsf{T}}\boldsymbol{\delta}^{[l+1]}=\big[\big(W^{[l+1]}\big)^{\mathsf{T}}\boldsymbol{\delta}^{[l+1]}\big]\odot\varphi'\big(\mathbf{z}^{[l]}\big)$
Dimensions : $(d_{l}\times d_{l})\,(d_{l}\times d_{l+1})\,(d_{l+1}\times 1)\rightarrow d_{l}\times 1$ .

Résultat

\boldsymbol{\delta}^{[l]}=\big[\big(W^{[l+1]}\big)^{\mathsf{T}}\boldsymbol{\delta}^{[l+1]}\big]\odot\varphi'\big(\mathbf{z}^{[l]}\big),\qquad \mathrm{grad}_{W^{[l]}}\,\ell=\boldsymbol{\delta}^{[l]}\big(\mathbf{a}^{[l-1]}\big)^{\mathsf{T}},\qquad \mathrm{grad}_{\mathbf{b}^{[l]}}\,\ell=\boldsymbol{\delta}^{[l]}

Interprétation

Ce que ce résultat ne dit pas

Le softmax, lui, n'a pas une jacobienne diagonale : chacune de ses composantes dépend de toutes les composantes de $\mathbf{z}^{[L]}$ .

Le contrôle, et son contre-exemple

Mesure 6 · la jacobienne d'une couche cachée, par différences finies, 20 indices

  -- relu · couche cachee 3, indices 1 a 20 --------------------------------
    coefficients hors diagonale       380
    hors diagonale non nuls           0
    module maximal hors diagonale     0.000e+00
    module minimal sur la diagonale   0.000e+00

  -- sigmoide · couche cachee 3, indices 1 a 20 ----------------------------
    coefficients hors diagonale       380
    hors diagonale non nuls           0
    module maximal hors diagonale     0.000e+00
    module minimal sur la diagonale   1.465e-01

Lecture

$20\times 20=400$ coefficients, dont $380$ hors diagonale.
Aucun coefficient hors diagonale n'est non nul, pour les deux activations, et c'est bien ce que la diagonalité annonçait.
Le module minimal sur la diagonale vaut $0$ pour $\mathrm{ReLU}$ , dont la porte est fermée dès que la préactivation est négative, et $0{,}1465$ pour la sigmoïde, dont la dérivée ne s'annule jamais.

Mesure 7 · la même jacobienne pour le softmax de sortie

    couche de sortie, les 10 indices
    coefficients hors diagonale       90
    hors diagonale non nuls           90
    module maximal hors diagonale     2.597e-02
    somme de chaque colonne           4.857e-11

Lecture

$10\times 10=100$ coefficients, dont $90$ hors diagonale, et les $90$ sont non nuls.
Le plus grand d'entre eux vaut $2{,}597\cdot 10^{-2}$ : ce n'est pas du bruit d'arrondi.
Chaque colonne somme à zéro, à $4{,}857\cdot 10^{-11}$ près : pousser une préactivation redistribue de la probabilité entre les classes sans en créer.

Un tableau de

400

coefficients se vide de ses

380

cases hors diagonale, qui sont toutes nulles.

0:00 / 0:10

Le même contrôle sur le softmax :

90

coefficients hors diagonale,

90

non nuls, et des colonnes qui somment à zéro.

0:00 / 0:14

Les équations, sans indices

\begin{aligned}\boldsymbol{\delta}^{[L]}&=\mathbf{a}^{[L]}-\mathbf{y}\\ \boldsymbol{\delta}^{[l]}&=\big[\big(W^{[l+1]}\big)^{\mathsf{T}}\boldsymbol{\delta}^{[l+1]}\big]\odot\varphi'\big(\mathbf{z}^{[l]}\big)\\ \mathrm{grad}_{W^{[l]}}\,\ell&=\boldsymbol{\delta}^{[l]}\big(\mathbf{a}^{[l-1]}\big)^{\mathsf{T}}\\ \mathrm{grad}_{\mathbf{b}^{[l]}}\,\ell&=\boldsymbol{\delta}^{[l]}\end{aligned}

(5.12)

Quatre lignes, aucun indice de neurone.

Une colonne et une ligne se croisent, et leur croisement remplit case par case le tableau du gradient de la matrice de poids.

0:00 / 0:15

Expression	Dimensions des facteurs	Résultat
$\big(W^{[l+1]}\big)^{\mathsf{T}}\boldsymbol{\delta}^{[l+1]}$	$(d_{l}\times d_{l+1})(d_{l+1}\times 1)$	$d_{l}\times 1$
$\big[\cdot\big]\odot\varphi'(\mathbf{z}^{[l]})$	$(d_{l}\times 1)\odot(d_{l}\times 1)$	$d_{l}\times 1$
$\boldsymbol{\delta}^{[l]}\big(\mathbf{a}^{[l-1]}\big)^{\mathsf{T}}$	$(d_{l}\times 1)(1\times d_{l-1})$	$d_{l}\times d_{l-1}$

La troisième ligne a bien la forme de

W^{[l]}

, ce que le gradient doit avoir.

Vérification rapide n° 60

La jacobienne $J_{\mathbf{a}^{[l]}}(\mathbf{z}^{[l]})$ est diagonale, mesures 6 et 7.

a
Pourquoi cette jacobienne est-elle diagonale ?
b
Qu'est-ce qui cesserait d'être vrai dans la récurrence du signal d'erreur si l'activation mélangeait les composantes ?

Aucune réponse à cliquer : il y a un calcul à faire.