Démonstration14 min

Dix neurones

Passer d'un neurone à dix, transformer leurs scores en probabilités, et mesurer ce que ça vaut.

Une pièce de calcul ne rend qu'un seul nombre, quand la tâche en réclame dix, un par chiffre possible, puis une réponse unique. Dix nombres sans échelle commune ne se comparent pourtant à rien, et il faudra les ramener sur une échelle où la somme des dix vaut un. Comment passe-t-on d'une brique isolée à un modèle qui tranche entre dix chiffres ?

Dix ronds alignés, étiquetés de zéro à neuf. Au-dessus de chacun, sa préactivation, sous le nom z : moins zéro virgule sept zéro trois huit pour le zéro, moins quinze virgule sept six trois zéro pour le un, plus zéro virgule six deux zéro huit pour le deux, plus huit virgule six un trois sept pour le trois, moins deux virgule quatre huit cinq huit pour le quatre, plus un virgule six six six huit pour le cinq, moins douze virgule quatre zéro huit quatre pour le six, plus quatorze virgule quatre un neuf huit pour le sept, plus un virgule six six zéro cinq pour le huit, et plus quatre virgule trois sept neuf quatre pour le neuf. Neuf ronds sont blancs ; celui du sept est noir et cerclé de brique. Sous chacun, son activation, sous le nom a : zéro virgule zéro zéro trois zéro zéro zéro sous le trois, zéro virgule neuf neuf six neuf cinq zéro sous le sept, et sous les huit autres des valeurs inférieures à un dix-millième. En pied, la somme des dix coordonnées vaut un, le second choix est le trois avec zéro virgule zéro zéro trois zéro zéro zéro, et la classe prédite est sept. — Les écarts entre les $z$ sont larges ; après le softmax il ne reste qu'un seul neurone qui parle.

Dix neurones au lieu d'un

Dix neurones qui lisent tous la même chose et rendent chacun leur nombre forment ce qu'on appelle une couche, et c'est l'objet de cette page.

On prend donc dix neurones indépendants, un par chiffre, et le neurone $k$ a son propre vecteur de poids $\mathbf{w}_{k}\in\mathbb{R}^{784}$ ainsi que son propre biais $b_{k}$ . Empiler les dix $\mathbf{w}_{k}^{\mathsf{T}}$ en lignes donne une matrice, et les dix $b_{k}$ un vecteur.

Ce que l'indice bas désigne ici

Deux emplois de l'indice bas se croisent ici, et c'est la graisse qui les sépare. En maigre, $w_{k}$ désigne comme à la page 4 le poids du pixel de rang $k$ , donc un nombre. En gras, $\mathbf{w}_{k}$ désigne le vecteur des $784$ poids du neurone qui note le chiffre $k-1$ , donc une ligne entière de $W$ . Là où la graisse ne se voit pas, c'est la phrase qui dit lequel des deux est en jeu. Le $b_{k}$ reste, lui, la $k$ -ième coordonnée de $\mathbf{b}$ , un nombre.

De la même façon, $z$ était un nombre à la page 4 et $\mathbf{z}$ est ici le vecteur des dix.

K=10,\quad W\in\mathcal{M}_{10,784}(\mathbb{R}),\quad \mathbf{b}\in\mathbb{R}^{10},\qquad \mathbf{z}=W\mathbf{x}+\mathbf{b}\in\mathbb{R}^{10}

(6.1)

Vérification des dimensions : $(10\times 784)(784\times 1)=10\times 1$ , auquel $\mathbf{b}$ de dimension $10\times 1$ s'ajoute. La ligne $k$ de $W$ étant $\mathbf{w}_{k}^{\mathsf{T}}$ , la coordonnée $z_{k}=\mathbf{w}_{k}^{\mathsf{T}}\mathbf{x}+b_{k}$ est exactement la préactivation $(4.1)$ du $k$ -ième neurone, si bien que rien de neuf n'a été introduit et que dix copies du même objet ont seulement été rangées.

Les

784

pixels et les

784

colonnes de

W

se réordonnent ensemble. Les dix scores ne changent pas d'un chiffre : ce modèle n'a jamais su que deux pixels étaient voisins. C'est la proposition 1 de la page 3, sur la matrice qu'on vient de poser.

0:00 / 0:27

Les objets de la couche, typés

Symbole	Type	Ensemble	Dimension	Rôle
$W$	Matrice	$\mathcal{M}_{10,784}(\mathbb{R})$	$10\times 784$	Paramètre appris
$\mathbf{b}$	Vecteur	$\mathbb{R}^{10}$	$10\times 1$	Paramètre appris
$\mathbf{z}$	Vecteur	$\mathbb{R}^{10}$	$10\times 1$	Calculé
$\mathbf{a}$	Vecteur	$\Delta^{\circ}_{9}$ , défini en $(6.2)$	$10\times 1$	Calculé, de somme $1$
$\mathbf{y}$	Vecteur	$\{0,1\}^{10}$	$10\times 1$	Donnée, tirée de $c$ par $(6.4)$
$c$	Scalaire entier	$[\![0,9]\!]$	$1\times 1$	Donnée. Un code, pas une quantité
$\boldsymbol{\theta}$	Couple	$\mathcal{M}_{10,784}(\mathbb{R})\times\mathbb{R}^{10}$	$p=7\,850$	L'ensemble des paramètres

$\boldsymbol{\theta}=(W,\mathbf{b})$ est un couple d'objets de types différents, et on l'identifie à un vecteur de $\mathbb{R}^{p}$ en rangeant chaque bloc bout à bout, avec $p=10\times 784+10=7\,850$ . C'est le procédé de la page 3, où $\mathrm{vec}$ rangeait une grille $28\times 28$ en colonne, employé ici sur des blocs de taille quelconque et sur des paramètres au lieu d'une image.

Dix grilles de vingt-huit sur vingt-huit, rangées en deux rangées de cinq et étiquetées de zéro à neuf. Chaque grille colore les sept cent quatre-vingt-quatre poids de la ligne correspondante de W : le rouge brique marque les poids positifs, le bleu ardoise les négatifs, le blanc le zéro. Les dix partagent une seule échelle, graduée en bas, symétrique autour d'un zéro central. Certains gabarits laissent deviner la forme du chiffre qu'ils notent, d'autres pas du tout. — Les dix gabarits côte à côte, sur une seule échelle : leurs amplitudes se comparent d'un coup d'œil.

De dix scores à une loi de probabilité

$\mathbf{z}$ est un vecteur de dix réels quelconques : rien n'y est positif, rien n'y somme à $1$ , et deux valeurs de $\boldsymbol{\theta}$ donnent des échelles incomparables. On veut une réponse et une confiance, donc un objet d'un ensemble plus petit.

Simplexe ouvertopen probability simplex

L'ensemble $\Delta^{\circ}_{K-1}$ des vecteurs de $\mathbb{R}^{K}$ à coordonnées strictement positives et de somme $1$ . Ses éléments sont exactement les lois de probabilité sur $K$ classes qui n'excluent aucune classe.

Le petit rond en exposant note cette exclusion du bord : une coordonnée peut s'approcher de $0$ autant qu'on veut sans jamais l'atteindre, et c'est ce que veut dire ouvert.

\Delta^{\circ}_{K-1}=\Big\{\mathbf{a}\in\mathbb{R}^{K}\ :\ a_{k}>0\ \ \forall k\in[\![1,K]\!],\ \ \textstyle\sum_{k=1}^{K}a_{k}=1\Big\}

(6.2)

L'indice $K-1$ est la dimension de cet ensemble, pas son nombre de coordonnées. Un élément a bien $K$ coordonnées, mais la contrainte $\sum_{k}a_{k}=1$ en retire une : dès que $a_{1},\ldots,a_{K-1}$ sont donnés, $a_{K}=1-\sum_{k<K}a_{k}$ est forcé. Il reste $K-1$ degrés de liberté. Pour $K=10$ , on écrit donc $\Delta^{\circ}_{9}$ .

Softmax: L'application $\mathrm{softmax}:\mathbb{R}^{K}\rightarrow\Delta^{\circ}_{K-1}$ qui exponentie chaque coordonnée puis divise par la somme. L'exponentielle rend tout strictement positif, la division normalise.

\mathrm{softmax}:\mathbb{R}^{K}\rightarrow\Delta^{\circ}_{K-1},\qquad \big(\mathrm{softmax}(\mathbf{z})\big)_{k}=\frac{e^{z_{k}}}{\sum_{j=1}^{K} e^{z_{j}}}

(6.3)

L'ensemble d'arrivée se vérifie : le numérateur est strictement positif, le dénominateur est une somme de termes strictement positifs, et la somme des

K

quotients vaut

\sum_{k}e^{z_{k}}/\sum_{j}e^{z_{j}}=1

Les deux morceaux se recollent, et le modèle de cette page s'écrit d'un trait : $\mathbf{a}=f_{\boldsymbol{\theta}}(\mathbf{x})=\mathrm{softmax}(W\mathbf{x}+\mathbf{b})$ . C'est la boîte de la page 1 dans sa première version, celle qui ne fait qu'un calcul entre l'image et la réponse.

DérivationLe softmax n'agit pas coordonnée par coordonnée, et il se réduit à deux classes en une fonction d'une variable (proposition 5)

Hypothèses

$\mathrm{softmax}$ est défini par $(6.3)$ , avec $K\geq 2$ .
$\mathbf{1}_{K}=(1,\ldots,1)^{\mathsf{T}}\in\mathbb{R}^{K}$ est le vecteur de uns.
$\sigma:\mathbb{R}\rightarrow(0,1)$ , $\sigma(u)=1/(1+e^{-u})$ . Cette fonction ne sert ici qu'à nommer le résultat du cas $K=2$  ; la page 9 l'étudie pour elle-même.

Propriétés utilisées

$e^{u+v}=e^{u}e^{v}$
$e^{u}>0$ pour tout réel $u$ , donc toute division par une somme d'exponentielles est licite

Étapes

(i) Invariance par translation. Pour tout $t\in\mathbb{R}$ et tout $k$ :
$\big(\mathrm{softmax}(\mathbf{z}+t\mathbf{1}_{K})\big)_{k}=\frac{e^{z_{k}+t}}{\sum_{j} e^{z_{j}+t}}=\frac{e^{t}\,e^{z_{k}}}{e^{t}\sum_{j} e^{z_{j}}}=\frac{e^{z_{k}}}{\sum_{j} e^{z_{j}}}=\big(\mathrm{softmax}(\mathbf{z})\big)_{k}$
$e^{z+t}=e^{t}e^{z}$ , et $e^{t}\neq 0$ autorise la simplification.
$\mathrm{softmax}$ n'est donc pas injective : toute la droite $\mathbf{z}+\mathbb{R}\mathbf{1}_{K}$ a la même image.
Conséquence : ce n'est pas une application composante par composante. Si elle l'était, il existerait $\varphi:\mathbb{R}\rightarrow\mathbb{R}$ telle que la coordonnée $k$ de l'image ne dépende que de $z_{k}$ . Ajoutons alors $t$ à la seule coordonnée $j\neq k$ : la coordonnée $k$ de l'image serait inchangée, puisque $z_{k}$ ne bouge pas. Or elle change, car le dénominateur augmente de $e^{z_{j}}(e^{t}-1)\neq 0$ pour $t\neq 0$ . Contradiction.
L'argument porte sur une modification d'une seule coordonnée, alors que (i) en modifiait toutes : les deux ne se contredisent pas.
(ii) Le cas $K=2$ . On calcule la première coordonnée :
$\big(\mathrm{softmax}(\mathbf{z})\big)_{1}=\frac{e^{z_{1}}}{e^{z_{1}}+e^{z_{2}}}=\frac{1}{1+e^{z_{2}-z_{1}}}=\frac{1}{1+e^{-(z_{1}-z_{2})}}=\sigma(z_{1}-z_{2})$
Division du numérateur et du dénominateur par $e^{z_{1}}$ , strictement positif.

Résultat

\mathrm{softmax}(\mathbf{z}+t\mathbf{1}_{K})=\mathrm{softmax}(\mathbf{z})\quad\text{et}\quad \big(\mathrm{softmax}(z_{1},z_{2})\big)_{1}=\sigma(z_{1}-z_{2})

Interprétation

Chaque coordonnée de la sortie dépend de toutes les coordonnées de $\mathbf{z}$ , par le dénominateur. Un score n'a donc aucun sens seul : seuls les écarts entre scores en ont un. Et ce que le cas binaire appelle « le » score est en réalité l'écart entre deux scores, dont l'un est implicitement fixé à zéro. La sigmoïde n'est pas une fonction différente du softmax : c'en est le cas particulier à deux classes.

Ce que ce résultat ne dit pas

L'invariance par translation a une conséquence pratique immédiate : on peut retrancher $\max_{j} z_{j}$ à toutes les coordonnées sans changer le résultat, et c'est exactement ce que fait le programme de mesures pour que $e^{z_{k}}$ ne déborde jamais.
Elle a aussi une conséquence sur les paramètres : ajouter une même constante aux dix biais ne change rien à la sortie. Le modèle a donc un degré de liberté inutile.

Comparer la sortie à la vérité

\mathrm{onehot}:[\![0,K-1]\!]\rightarrow\{0,1\}^{K},\qquad \mathrm{onehot}(c)=\mathbf{e}_{c+1}

(6.4)

\mathbf{e}_{k}\in\mathbb{R}^{K}

est le

k

-ième vecteur de la base canonique : sa

k

-ième coordonnée vaut

1

, les autres

0

. Le décalage

c+1

vient de ce que les classes sont numérotées à partir de

0

et les coordonnées à partir de

1

 ; il est écrit à chaque fois plutôt que sous-entendu.

\ell:\Delta^{\circ}_{K-1}\times[\![0,K-1]\!]\rightarrow\mathbb{R}_{\geq 0},\qquad \ell(\mathbf{a},c)=-\ln a_{c+1}

(6.5)

La perte ne regarde qu'une coordonnée, celle de la bonne classe, et le logarithme la fait croître sans borne quand cette coordonnée tend vers

0

: se tromper avec assurance coûte arbitrairement cher, ce qu'un écart comme

1-a_{c+1}

ne ferait pas. Sélectionner la coordonnée

c+1

revient à prendre

-\mathbf{y}^{\mathsf{T}}\,\ln \mathbf{a}

avec

\mathbf{y}=\mathrm{onehot}(c)

, écrit autrement. L'ensemble d'arrivée est bien

\mathbb{R}_{\geq 0}

, puisque

a_{c+1}\leq 1

donne

\ln a_{c+1}\leq 0

, et la perte ne s'annule que si

a_{c+1}=1

, ce qui n'arrive jamais sur

\Delta^{\circ}_{K-1}

, où toutes les coordonnées sont strictement positives.

Prédiction, et le cas des ex æquo: La classe prédite est $\widehat{c}(\mathbf{a})=\big(\arg\max_{k\in[\![1,K]\!]} a_{k}\big)-1$ . $\arg\max$ n'est pas défini sur $\Delta^{\circ}_{K-1}$ tout entier : sur l'ensemble $E$ des $\mathbf{a}$ dont le maximum est atteint par au moins deux coordonnées, il ne désigne aucun indice unique. $\widehat{c}$ est donc définie sur $\Delta^{\circ}_{K-1}\setminus E$ . Cet ensemble $E$ est réuni par les égalités $a_{k}=a_{j}$ , chacune retirant un degré de liberté : il est donc d'épaisseur nulle dans $\Delta^{\circ}_{K-1}$ , et deux coordonnées calculées en virgule flottante n'y tombent pas. La convention retenue par le programme, en cas d'égalité, est de prendre le plus petit indice.

\text{précision}=\frac{1}{N}\sum_{n=1}^{N}\mathbb{1}\big\{\widehat{c}(\mathbf{a}^{(n)})=c^{(n)}\big\}\ \in[0,1]

(6.6)

C'est une définition, pas une notion supposée connue : la part des exemples sur lesquels la classe prédite tombe juste. Elle ignore complètement la confiance.

Ce que ce modèle compte, et ce qu'il vaut

p=\underbrace{10\times 784}_{W}\ +\ \underbrace{10}_{\mathbf{b}}\ =\ 7\,840+10=7\,850

(6.7)

Parmi ces $7\,850$ nombres, $10\times 67=670$ sont attachés aux pixels que la page 2 a trouvés blancs sur les $60\,000$ images à la fois. Quelle que soit leur valeur, ils ne déplacent aucun score, puisqu'ils sont toujours multipliés par zéro.

Trois réglages apparaissent dans la sortie qui suit, et le chapitre 3 seul dira comment on les choisit. Une époque est un passage complet sur les $60\,000$ images d'entraînement. Le pas $\eta$ règle l'ampleur de chaque correction apportée aux paramètres. L'initialisation dit de quelles valeurs on part, ici de zéro partout, ce qui donne dix scores nuls et dix probabilités égales sur la première image. Les corrections, elles, ne sont pas nulles pour autant, et le chapitre 3 dira pourquoi.

Le modèle $784\rightarrow 10$ entraîné · cours/lecon2/mesures.py, section 4

    p                                       7850 parametres
    initialisation                          zero
    eta                                     0.5
    epoques                                 30

    PRECISION DE TEST                       0.9193
    ERREURS                                 807 sur 10 000
    perte de test                           0.2931

      epoque   acc_test
           1     0.9172
           2     0.9066
           3     0.9211
           5     0.9176
          10     0.9193
          15     0.9251
          20     0.9235
          25     0.9221
          30     0.9193

Lecture

$0{,}9193$ contre un seuil de $11{,}35\,\%$ : le modèle a appris quelque chose, et beaucoup.
L'essentiel du score est acquis dès la première époque, à $0{,}9172$ , et les vingt-neuf suivantes ne font plus que le faire osciller : entre les époques $5$ et $30$ il va et vient entre $0{,}9176$ et $0{,}9251$ , sans jamais s'écarter d'un point. Le chiffre retenu, $0{,}9193$ , est celui de la dernière époque et non le meilleur des neuf, parce que choisir le meilleur reviendrait à régler le modèle sur le jeu de test.
La perte de test, $0{,}2931$ , est la moyenne de $(6.5)$ sur les $10\,000$ images, et non la perte d'une image particulière.
$807$ erreurs sur $10\,000$ , et la page 7 démontre que ce plafond n'est pas un défaut de réglage.

Une sortie complète, sur l'image de test n°0

      classe :         0         1         2         3         4         5         6         7         8         9
      a_k    :    0.0000    0.0000    0.0000    0.0030    0.0000    0.0000    0.0000    0.9969    0.0000    0.0000
      predit 7 avec 0.996950   second choix 3 avec 0.003000
      somme des dix coordonnees : 1.0000000000

Lecture

Les dix coordonnées somment à $1$ à la précision d'affichage : $\mathbf{a}$ est bien dans $\Delta^{\circ}_{9}$ .
Aucune coordonnée n'est exactement nulle : les zéros affichés sont des arrondis. C'est le sens du mot « ouvert » dans $(6.2)$ .
$\widehat{c}(\mathbf{a})=7$ , et l'étiquette vraie est $7$ .

Vérification rapide n° 12

La sortie ci-dessus se lit sans le programme qui l'a produite.

a
Quelle classe le réseau prédit-il, et quelle confiance accorde-t-il à son second choix ?
b
Que vaut $\ell(\mathbf{a},7)$ pour cette sortie, à trois décimales ?
c
Si l'on ajoutait $100$ à chacune des dix préactivations $z_{k}$ , que deviendrait $\mathbf{a}$  ? Justifier par la proposition 5.

Aucune réponse à cliquer : il y a un calcul à faire.

Vérification rapide n° 13

Le compte des paramètres se fait sans instancier d'abord.

a
Pour $K$ classes et $d$ entrées, donner l'ensemble d'appartenance de $W$ , celui de $\mathbf{b}$ , et l'expression de $p$ .
b
Instancier pour $K=10$ et $d=784$ .
c
Quelle part de $p$ est occupée par les biais ? Cette part grandit-elle ou diminue-t-elle quand $d$ augmente ?

Aucune réponse à cliquer : il y a un calcul à faire.

Démonstration14 min

Dix neurones

Passer d'un neurone à dix, transformer leurs scores en probabilités, et mesurer ce que ça vaut.

Dix neurones au lieu d'un

Dix neurones qui lisent tous la même chose et rendent chacun leur nombre forment ce qu'on appelle une couche, et c'est l'objet de cette page.

Ce que l'indice bas désigne ici

De la même façon, $z$ était un nombre à la page 4 et $\mathbf{z}$ est ici le vecteur des dix.

K=10,\quad W\in\mathcal{M}_{10,784}(\mathbb{R}),\quad \mathbf{b}\in\mathbb{R}^{10},\qquad \mathbf{z}=W\mathbf{x}+\mathbf{b}\in\mathbb{R}^{10}

(6.1)

Les

784

pixels et les

784

colonnes de

W

0:00 / 0:27

Les objets de la couche, typés

Symbole	Type	Ensemble	Dimension	Rôle
$W$	Matrice	$\mathcal{M}_{10,784}(\mathbb{R})$	$10\times 784$	Paramètre appris
$\mathbf{b}$	Vecteur	$\mathbb{R}^{10}$	$10\times 1$	Paramètre appris
$\mathbf{z}$	Vecteur	$\mathbb{R}^{10}$	$10\times 1$	Calculé
$\mathbf{a}$	Vecteur	$\Delta^{\circ}_{9}$ , défini en $(6.2)$	$10\times 1$	Calculé, de somme $1$
$\mathbf{y}$	Vecteur	$\{0,1\}^{10}$	$10\times 1$	Donnée, tirée de $c$ par $(6.4)$
$c$	Scalaire entier	$[\![0,9]\!]$	$1\times 1$	Donnée. Un code, pas une quantité
$\boldsymbol{\theta}$	Couple	$\mathcal{M}_{10,784}(\mathbb{R})\times\mathbb{R}^{10}$	$p=7\,850$	L'ensemble des paramètres

De dix scores à une loi de probabilité

Simplexe ouvertopen probability simplex

Le petit rond en exposant note cette exclusion du bord : une coordonnée peut s'approcher de $0$ autant qu'on veut sans jamais l'atteindre, et c'est ce que veut dire ouvert.

\Delta^{\circ}_{K-1}=\Big\{\mathbf{a}\in\mathbb{R}^{K}\ :\ a_{k}>0\ \ \forall k\in[\![1,K]\!],\ \ \textstyle\sum_{k=1}^{K}a_{k}=1\Big\}

(6.2)

Softmax: L'application $\mathrm{softmax}:\mathbb{R}^{K}\rightarrow\Delta^{\circ}_{K-1}$ qui exponentie chaque coordonnée puis divise par la somme. L'exponentielle rend tout strictement positif, la division normalise.

\mathrm{softmax}:\mathbb{R}^{K}\rightarrow\Delta^{\circ}_{K-1},\qquad \big(\mathrm{softmax}(\mathbf{z})\big)_{k}=\frac{e^{z_{k}}}{\sum_{j=1}^{K} e^{z_{j}}}

(6.3)

L'ensemble d'arrivée se vérifie : le numérateur est strictement positif, le dénominateur est une somme de termes strictement positifs, et la somme des

K

quotients vaut

\sum_{k}e^{z_{k}}/\sum_{j}e^{z_{j}}=1

DérivationLe softmax n'agit pas coordonnée par coordonnée, et il se réduit à deux classes en une fonction d'une variable (proposition 5)

Hypothèses

$\mathrm{softmax}$ est défini par $(6.3)$ , avec $K\geq 2$ .
$\mathbf{1}_{K}=(1,\ldots,1)^{\mathsf{T}}\in\mathbb{R}^{K}$ est le vecteur de uns.
$\sigma:\mathbb{R}\rightarrow(0,1)$ , $\sigma(u)=1/(1+e^{-u})$ . Cette fonction ne sert ici qu'à nommer le résultat du cas $K=2$  ; la page 9 l'étudie pour elle-même.

Propriétés utilisées

$e^{u+v}=e^{u}e^{v}$
$e^{u}>0$ pour tout réel $u$ , donc toute division par une somme d'exponentielles est licite

Étapes

(i) Invariance par translation. Pour tout $t\in\mathbb{R}$ et tout $k$ :
$\big(\mathrm{softmax}(\mathbf{z}+t\mathbf{1}_{K})\big)_{k}=\frac{e^{z_{k}+t}}{\sum_{j} e^{z_{j}+t}}=\frac{e^{t}\,e^{z_{k}}}{e^{t}\sum_{j} e^{z_{j}}}=\frac{e^{z_{k}}}{\sum_{j} e^{z_{j}}}=\big(\mathrm{softmax}(\mathbf{z})\big)_{k}$
$e^{z+t}=e^{t}e^{z}$ , et $e^{t}\neq 0$ autorise la simplification.
$\mathrm{softmax}$ n'est donc pas injective : toute la droite $\mathbf{z}+\mathbb{R}\mathbf{1}_{K}$ a la même image.
Conséquence : ce n'est pas une application composante par composante. Si elle l'était, il existerait $\varphi:\mathbb{R}\rightarrow\mathbb{R}$ telle que la coordonnée $k$ de l'image ne dépende que de $z_{k}$ . Ajoutons alors $t$ à la seule coordonnée $j\neq k$ : la coordonnée $k$ de l'image serait inchangée, puisque $z_{k}$ ne bouge pas. Or elle change, car le dénominateur augmente de $e^{z_{j}}(e^{t}-1)\neq 0$ pour $t\neq 0$ . Contradiction.
L'argument porte sur une modification d'une seule coordonnée, alors que (i) en modifiait toutes : les deux ne se contredisent pas.
(ii) Le cas $K=2$ . On calcule la première coordonnée :
$\big(\mathrm{softmax}(\mathbf{z})\big)_{1}=\frac{e^{z_{1}}}{e^{z_{1}}+e^{z_{2}}}=\frac{1}{1+e^{z_{2}-z_{1}}}=\frac{1}{1+e^{-(z_{1}-z_{2})}}=\sigma(z_{1}-z_{2})$
Division du numérateur et du dénominateur par $e^{z_{1}}$ , strictement positif.

Résultat

\mathrm{softmax}(\mathbf{z}+t\mathbf{1}_{K})=\mathrm{softmax}(\mathbf{z})\quad\text{et}\quad \big(\mathrm{softmax}(z_{1},z_{2})\big)_{1}=\sigma(z_{1}-z_{2})

Interprétation

Ce que ce résultat ne dit pas

L'invariance par translation a une conséquence pratique immédiate : on peut retrancher $\max_{j} z_{j}$ à toutes les coordonnées sans changer le résultat, et c'est exactement ce que fait le programme de mesures pour que $e^{z_{k}}$ ne déborde jamais.
Elle a aussi une conséquence sur les paramètres : ajouter une même constante aux dix biais ne change rien à la sortie. Le modèle a donc un degré de liberté inutile.

Comparer la sortie à la vérité

\mathrm{onehot}:[\![0,K-1]\!]\rightarrow\{0,1\}^{K},\qquad \mathrm{onehot}(c)=\mathbf{e}_{c+1}

(6.4)

\mathbf{e}_{k}\in\mathbb{R}^{K}

est le

k

-ième vecteur de la base canonique : sa

k

-ième coordonnée vaut

1

, les autres

0

. Le décalage

c+1

vient de ce que les classes sont numérotées à partir de

0

et les coordonnées à partir de

1

 ; il est écrit à chaque fois plutôt que sous-entendu.

\ell:\Delta^{\circ}_{K-1}\times[\![0,K-1]\!]\rightarrow\mathbb{R}_{\geq 0},\qquad \ell(\mathbf{a},c)=-\ln a_{c+1}

(6.5)

La perte ne regarde qu'une coordonnée, celle de la bonne classe, et le logarithme la fait croître sans borne quand cette coordonnée tend vers

0

: se tromper avec assurance coûte arbitrairement cher, ce qu'un écart comme

1-a_{c+1}

ne ferait pas. Sélectionner la coordonnée

c+1

revient à prendre

-\mathbf{y}^{\mathsf{T}}\,\ln \mathbf{a}

avec

\mathbf{y}=\mathrm{onehot}(c)

, écrit autrement. L'ensemble d'arrivée est bien

\mathbb{R}_{\geq 0}

, puisque

a_{c+1}\leq 1

donne

\ln a_{c+1}\leq 0

, et la perte ne s'annule que si

a_{c+1}=1

, ce qui n'arrive jamais sur

\Delta^{\circ}_{K-1}

, où toutes les coordonnées sont strictement positives.

Prédiction, et le cas des ex æquo: La classe prédite est $\widehat{c}(\mathbf{a})=\big(\arg\max_{k\in[\![1,K]\!]} a_{k}\big)-1$ . $\arg\max$ n'est pas défini sur $\Delta^{\circ}_{K-1}$ tout entier : sur l'ensemble $E$ des $\mathbf{a}$ dont le maximum est atteint par au moins deux coordonnées, il ne désigne aucun indice unique. $\widehat{c}$ est donc définie sur $\Delta^{\circ}_{K-1}\setminus E$ . Cet ensemble $E$ est réuni par les égalités $a_{k}=a_{j}$ , chacune retirant un degré de liberté : il est donc d'épaisseur nulle dans $\Delta^{\circ}_{K-1}$ , et deux coordonnées calculées en virgule flottante n'y tombent pas. La convention retenue par le programme, en cas d'égalité, est de prendre le plus petit indice.

\text{précision}=\frac{1}{N}\sum_{n=1}^{N}\mathbb{1}\big\{\widehat{c}(\mathbf{a}^{(n)})=c^{(n)}\big\}\ \in[0,1]

(6.6)

C'est une définition, pas une notion supposée connue : la part des exemples sur lesquels la classe prédite tombe juste. Elle ignore complètement la confiance.

Ce que ce modèle compte, et ce qu'il vaut

p=\underbrace{10\times 784}_{W}\ +\ \underbrace{10}_{\mathbf{b}}\ =\ 7\,840+10=7\,850

(6.7)

Le modèle $784\rightarrow 10$ entraîné · cours/lecon2/mesures.py, section 4

    p                                       7850 parametres
    initialisation                          zero
    eta                                     0.5
    epoques                                 30

    PRECISION DE TEST                       0.9193
    ERREURS                                 807 sur 10 000
    perte de test                           0.2931

      epoque   acc_test
           1     0.9172
           2     0.9066
           3     0.9211
           5     0.9176
          10     0.9193
          15     0.9251
          20     0.9235
          25     0.9221
          30     0.9193

Lecture

$0{,}9193$ contre un seuil de $11{,}35\,\%$ : le modèle a appris quelque chose, et beaucoup.
L'essentiel du score est acquis dès la première époque, à $0{,}9172$ , et les vingt-neuf suivantes ne font plus que le faire osciller : entre les époques $5$ et $30$ il va et vient entre $0{,}9176$ et $0{,}9251$ , sans jamais s'écarter d'un point. Le chiffre retenu, $0{,}9193$ , est celui de la dernière époque et non le meilleur des neuf, parce que choisir le meilleur reviendrait à régler le modèle sur le jeu de test.
La perte de test, $0{,}2931$ , est la moyenne de $(6.5)$ sur les $10\,000$ images, et non la perte d'une image particulière.
$807$ erreurs sur $10\,000$ , et la page 7 démontre que ce plafond n'est pas un défaut de réglage.

Une sortie complète, sur l'image de test n°0

      classe :         0         1         2         3         4         5         6         7         8         9
      a_k    :    0.0000    0.0000    0.0000    0.0030    0.0000    0.0000    0.0000    0.9969    0.0000    0.0000
      predit 7 avec 0.996950   second choix 3 avec 0.003000
      somme des dix coordonnees : 1.0000000000

Lecture

Les dix coordonnées somment à $1$ à la précision d'affichage : $\mathbf{a}$ est bien dans $\Delta^{\circ}_{9}$ .
Aucune coordonnée n'est exactement nulle : les zéros affichés sont des arrondis. C'est le sens du mot « ouvert » dans $(6.2)$ .
$\widehat{c}(\mathbf{a})=7$ , et l'étiquette vraie est $7$ .

Vérification rapide n° 12

La sortie ci-dessus se lit sans le programme qui l'a produite.

a
Quelle classe le réseau prédit-il, et quelle confiance accorde-t-il à son second choix ?
b
Que vaut $\ell(\mathbf{a},7)$ pour cette sortie, à trois décimales ?
c
Si l'on ajoutait $100$ à chacune des dix préactivations $z_{k}$ , que deviendrait $\mathbf{a}$  ? Justifier par la proposition 5.

Aucune réponse à cliquer : il y a un calcul à faire.

Vérification rapide n° 13

Le compte des paramètres se fait sans instancier d'abord.

a
Pour $K$ classes et $d$ entrées, donner l'ensemble d'appartenance de $W$ , celui de $\mathbf{b}$ , et l'expression de $p$ .
b
Instancier pour $K=10$ et $d=784$ .
c
Quelle part de $p$ est occupée par les biais ? Cette part grandit-elle ou diminue-t-elle quand $d$ augmente ?

Aucune réponse à cliquer : il y a un calcul à faire.