Lecture6 min

La règle de la chaîne, dans ses deux formes

Les deux formes de la règle de la chaîne, et le critère qui dit laquelle s'applique.

Un poids de la première couche agit sur la perte en traversant tout le réseau, et rien ne dit d'avance qu'il n'y parvienne que par une seule route. Quand une quantité en influence une autre par plusieurs chemins à la fois, comment additionne-t-on leurs effets ?

Deux schémas côte à côte, qui relient tous deux la même quantité de départ u au coût C. À gauche, une chaîne sans embranchement : trois ronds, u, puis v, puis C, reliés par deux flèches, et une seule route mène de l'un à l'autre. À droite, quatre flèches partent de u vers quatre ronds rangés en colonne, v indice un, v indice deux, v indice trois et v indice quatre, et de chacun de ces quatre ronds repart une flèche vers C, si bien que quatre routes distinctes vont de u à C et s'y rejoignent. Un trait de brique repasse sur les routes comptées, une seule à gauche, les quatre à droite. — La forme à plusieurs chemins couvre les deux dessins ; la forme simple ne couvre que celui de gauche, où la somme n'a qu'un terme.

La règle de la chaîne répond aux deux cas sous deux formes : un produit de dérivées quand la route est unique, une somme de tels produits quand il y en a plusieurs. Savoir laquelle employer ne demande pas de regarder les fonctions posées le long des routes, mais seulement la structure des dépendances, et celle du réseau à un neurone par couche se pose ici avec ses six paramètres.

La forme simple

Règle de la chaîne, forme simplechain rule: Si $t\mapsto u(t)$ et $u\mapsto v(u)$ sont dérivables, alors $v\circ u$ est dérivable et sa dérivée est le produit des deux dérivées, chacune évaluée au bon point.

\frac{\mathrm{d}(v\circ u)}{\mathrm{d}t}(t)=\frac{\mathrm{d}v}{\mathrm{d}u}\big(u(t)\big)\cdot\frac{\mathrm{d}u}{\mathrm{d}t}(t)

(5.2)

La forme à plusieurs chemins

Règle de la chaîne, forme à plusieurs cheminsmultivariable chain rule: Si $u$ influence $C$ à travers $m$ quantités intermédiaires $v_{1},\dots,v_{m}$ , la dérivée de $C$ par rapport à $u$ est la somme, sur les $m$ chemins, du produit des dérivées le long du chemin.

\frac{\partial C}{\partial u}=\sum_{k=1}^{m}\frac{\partial C}{\partial v_{k}}\,\frac{\partial v_{k}}{\partial u}

(5.3)

Laquelle s'applique

Le critère porte sur la structure des dépendances et non sur la difficulté du calcul : la forme simple vaut tant que la quantité dérivée n'atteint sa cible que par une route, et la forme à plusieurs chemins dès qu'il en existe une seconde.

Structure	Forme applicable	Ce qui la produit dans un réseau
$u\rightarrow v\rightarrow C$ , un seul trajet	Simple, formule (5.2)	Une couche qui n'a qu'un seul neurone
$u$ atteint $C$ par $m$ trajets	Plusieurs chemins, formule (5.3)	Une couche qui en compte plusieurs, un trajet par neurone

Le réseau du calcul à la main

Trois couches, un neurone par couche, une entrée $x$ et une cible $y$ : chaque couche calcule d'abord une somme pondérée, puis lui applique une activation.

\begin{aligned}z^{[1]}&=w^{[1]}x+b^{[1]}, & a^{[1]}&=\varphi(z^{[1]})\\ z^{[2]}&=w^{[2]}a^{[1]}+b^{[2]}, & a^{[2]}&=\varphi(z^{[2]})\\ z^{[3]}&=w^{[3]}a^{[2]}+b^{[3]}, & a^{[3]}&=\sigma(z^{[3]})\end{aligned}

(5.4)

\varphi=\mathrm{ReLU}

sur les deux couches cachées, et

\sigma

en sortie.

Entropie croisée binairebinary cross-entropy: Pour une sortie $a\in\,]0,1[$ et une cible $y\in\{0,1\}$ , $\ell=-\big[y\ln a+(1-y)\ln(1-a)\big]$ . Un seul des deux termes survit selon la cible, $-\ln a$ quand $y=1$ et $-\ln(1-a)$ quand $y=0$ , si bien que la perte croît sans borne à mesure que la sortie s'éloigne de la cible. La cible est ici un nombre et non un vecteur, parce que le réseau n'a qu'une sortie ; la forme à $K$ classes, avec sa cible encodée en one-hot, est celle du chapitre 2, page 6, et elle revient avec le réseau général.

Quantité	Combien	Statut
$w^{[1]},w^{[2]},w^{[3]}$	$3$	Paramètres
$b^{[1]},b^{[2]},b^{[3]}$	$3$	Paramètres
$z^{[1]},z^{[2]},z^{[3]}$	$3$	Calculées
$a^{[1]},a^{[2]},a^{[3]}$	$3$	Calculées
$x$ , $y$	$2$	Données

Six paramètres : le gradient de ce réseau a six composantes.

Vérification rapide n° 49

Le critère qui sépare les deux formes de la règle de la chaîne porte sur la structure des dépendances.

a
Dans quel cas la forme simple s'applique-t-elle, et dans quel cas faut-il l'autre ? Donner le critère, non un exemple.
b
La forme (5.3) redonne-t-elle la forme (5.2) dans un cas particulier ? Lequel ?

Aucune réponse à cliquer : il y a un calcul à faire.

Décomposer une dérivée de ce réseau demande donc de connaître d'abord la structure de ses dépendances, et cette structure se lit sur un arbre où chaque quantité est reliée à celles qui la déterminent directement.

La forme simple

Règle de la chaîne, forme simplechain rule

Si $t\mapsto u(t)$ et $u\mapsto v(u)$ sont dérivables, alors $v\circ u$ est dérivable et sa dérivée est le produit des deux dérivées, chacune évaluée au bon point.

\frac{\mathrm{d}(v\circ u)}{\mathrm{d}t}(t)=\frac{\mathrm{d}v}{\mathrm{d}u}\big(u(t)\big)\cdot\frac{\mathrm{d}u}{\mathrm{d}t}(t)

(5.2)

La forme à plusieurs chemins

Règle de la chaîne, forme à plusieurs cheminsmultivariable chain rule

Si $u$ influence $C$ à travers $m$ quantités intermédiaires $v_{1},\dots,v_{m}$ , la dérivée de $C$ par rapport à $u$ est la somme, sur les $m$ chemins, du produit des dérivées le long du chemin.

\frac{\partial C}{\partial u}=\sum_{k=1}^{m}\frac{\partial C}{\partial v_{k}}\,\frac{\partial v_{k}}{\partial u}

(5.3)

Laquelle s'applique

Structure	Forme applicable	Ce qui la produit dans un réseau
$u\rightarrow v\rightarrow C$ , un seul trajet	Simple, formule (5.2)	Une couche qui n'a qu'un seul neurone
$u$ atteint $C$ par $m$ trajets	Plusieurs chemins, formule (5.3)	Une couche qui en compte plusieurs, un trajet par neurone

Le réseau du calcul à la main

Trois couches, un neurone par couche, une entrée $x$ et une cible $y$ : chaque couche calcule d'abord une somme pondérée, puis lui applique une activation.

\begin{aligned}z^{[1]}&=w^{[1]}x+b^{[1]}, & a^{[1]}&=\varphi(z^{[1]})\\ z^{[2]}&=w^{[2]}a^{[1]}+b^{[2]}, & a^{[2]}&=\varphi(z^{[2]})\\ z^{[3]}&=w^{[3]}a^{[2]}+b^{[3]}, & a^{[3]}&=\sigma(z^{[3]})\end{aligned}

(5.4)

\varphi=\mathrm{ReLU}

sur les deux couches cachées, et

\sigma

en sortie.

Entropie croisée binairebinary cross-entropy

Pour une sortie $a\in\,]0,1[$ et une cible $y\in\{0,1\}$ , $\ell=-\big[y\ln a+(1-y)\ln(1-a)\big]$ . Un seul des deux termes survit selon la cible, $-\ln a$ quand $y=1$ et $-\ln(1-a)$ quand $y=0$ , si bien que la perte croît sans borne à mesure que la sortie s'éloigne de la cible. La cible est ici un nombre et non un vecteur, parce que le réseau n'a qu'une sortie ; la forme à $K$ classes, avec sa cible encodée en one-hot, est celle du chapitre 2, page 6, et elle revient avec le réseau général.

Quantité	Combien	Statut
$w^{[1]},w^{[2]},w^{[3]}$	$3$	Paramètres
$b^{[1]},b^{[2]},b^{[3]}$	$3$	Paramètres
$z^{[1]},z^{[2]},z^{[3]}$	$3$	Calculées
$a^{[1]},a^{[2]},a^{[3]}$	$3$	Calculées
$x$ , $y$	$2$	Données

Six paramètres : le gradient de ce réseau a six composantes.

Vérification rapide n° 49

Le critère qui sépare les deux formes de la règle de la chaîne porte sur la structure des dépendances.

a
Dans quel cas la forme simple s'applique-t-elle, et dans quel cas faut-il l'autre ? Donner le critère, non un exemple.
b
La forme (5.3) redonne-t-elle la forme (5.2) dans un cas particulier ? Lequel ?

Aucune réponse à cliquer : il y a un calcul à faire.