Lecture3 min

Ce qu'il reste à établir

Ce que le chapitre 4 a laissé ouvert, et par où on s'y prend pour le fermer.

Deux couches ou dix, une image entre par un bout et une réponse sort par l'autre, et le trajet aller se déroule de la même façon à chaque couche. Rien ne garantit que le trajet du retour, celui qui distribue la correction, ait la même régularité. Un calcul qui marche sur deux couches marche-t-il sur dix ?

Deux réseaux côte à côte, tracés de la même façon, en ronds reliés de gauche à droite par des flèches. À gauche, un réseau de deux couches, dont la couche cachée porte ReLU. À droite, un réseau de L couches, dont les couches du milieu sont remplacées par trois points de suspension et dont chaque couche cachée porte phi. — Le trajet est le même des deux côtés. Seuls changent le nombre de couches et le nom de l'activation.

Passer de deux couches à $L$ ne consiste pas à recopier le même calcul plus souvent : il y faut une écriture qui ne suppose rien du nombre de couches, et un argument qui vaille pour toutes à la fois. Le même écart sépare $\mathrm{ReLU}$ d'une activation $\varphi$ quelconque.

Le gradient d'un coût est le vecteur de ses dérivées partielles par rapport à tous les poids et biais, défini au chapitre 3, page 8 ; sur le réseau $784\rightarrow 128\rightarrow 10$ , il compte $101\,770$ composantes. La rétropropagation est l'algorithme qui les produit toutes.

\mathrm{grad}_{\boldsymbol{\theta}}\,C_{\mathcal{D}}=\Big(\frac{\partial C_{\mathcal{D}}}{\partial\theta_{1}},\ \dots,\ \frac{\partial C_{\mathcal{D}}}{\partial\theta_{p}}\Big)^{\mathsf{T}}\in\mathbb{R}^{p}

(5.1)

Chapitre 3, page 8.

C_{\mathcal{D}}

est le coût moyen sur le jeu de données

\mathcal{D}

p

le nombre de paramètres du réseau : une composante par paramètre, sans exception.

Quand la profondeur et l'activation ne sont plus fixées

Ce dont le résultat dépend	Deux couches et ReLU	Profondeur et activation quelconques
Nombre de couches	$2$	$L$ quelconque, $L\geq 2$
Activation cachée	$\mathrm{ReLU}$	$\varphi$ quelconque, dérivable sauf en un nombre fini de points
Statut des identités	Vérifiées sur ce cas	Démontrées, par récurrence sur $l$
Coût de l'algorithme	Chronométré	Compté en multiplications

Vérifier une identité sur un cas ne la démontre pas, et une durée d'horloge n'est pas un compte d'opérations.

Combien d'indices porte une dérivée

Une dérivée $\partial\ell/\partial W^{[l]}_{ij}$ porte trois indices : la couche, la ligne et la colonne. Sur un réseau qui n'a qu'un neurone par couche il n'en reste qu'un, celui de la couche, parce que chaque quantité y est un nombre et non une matrice, et que la règle de la chaîne s'y réduit à un produit de nombres.

Le même calcul, dans trois écritures

Réseau	Ce qui s'écrit	Indices de neurone
$1\rightarrow 1\rightarrow 1\rightarrow 1$	$w^{[l]}$ , $z^{[l]}$ , $a^{[l]}$	Aucun
$d_{0}\rightarrow\dots\rightarrow d_{L}$	$W^{[l]}_{ij}$ , $z^{[l]}_{i}$ , $a^{[l-1]}_{j}$	Deux
$d_{0}\rightarrow\dots\rightarrow d_{L}$	$W^{[l]}$ , $\mathbf{z}^{[l]}$ , $\boldsymbol{\delta}^{[l]}$	Aucun

i

numérote le neurone de la couche

l

j

celui de la couche

l-1

, qui fournit l'activation. Les deux dernières lignes portent sur le même réseau : ranger les composantes dans des vecteurs et des matrices fait disparaître les indices, sans rien changer au calcul.

\boldsymbol{\delta}^{[l]}

est le signal d'erreur de la couche

l

, posé au chapitre 4.

Les chapitres 3 et 4 emploient la règle de la chaîne sans l'énoncer, et sous deux formes différentes qu'il faut savoir distinguer.

Quand la profondeur et l'activation ne sont plus fixées

Ce dont le résultat dépend	Deux couches et ReLU	Profondeur et activation quelconques
Nombre de couches	$2$	$L$ quelconque, $L\geq 2$
Activation cachée	$\mathrm{ReLU}$	$\varphi$ quelconque, dérivable sauf en un nombre fini de points
Statut des identités	Vérifiées sur ce cas	Démontrées, par récurrence sur $l$
Coût de l'algorithme	Chronométré	Compté en multiplications

Vérifier une identité sur un cas ne la démontre pas, et une durée d'horloge n'est pas un compte d'opérations.

Combien d'indices porte une dérivée

Le même calcul, dans trois écritures

Réseau	Ce qui s'écrit	Indices de neurone
$1\rightarrow 1\rightarrow 1\rightarrow 1$	$w^{[l]}$ , $z^{[l]}$ , $a^{[l]}$	Aucun
$d_{0}\rightarrow\dots\rightarrow d_{L}$	$W^{[l]}_{ij}$ , $z^{[l]}_{i}$ , $a^{[l-1]}_{j}$	Deux
$d_{0}\rightarrow\dots\rightarrow d_{L}$	$W^{[l]}$ , $\mathbf{z}^{[l]}$ , $\boldsymbol{\delta}^{[l]}$	Aucun

i

numérote le neurone de la couche

l

j

celui de la couche

l-1

\boldsymbol{\delta}^{[l]}

est le signal d'erreur de la couche

l

, posé au chapitre 4.

Les chapitres 3 et 4 emploient la règle de la chaîne sans l'énoncer, et sous deux formes différentes qu'il faut savoir distinguer.