Lecture10 min

Synthèse, formulaire et erreurs fréquentes

Tout le chapitre en une page : le formulaire, le tableau des objets, les erreurs fréquentes.

Onze pages plus tôt, une machine lisait un chiffre manuscrit sans que personne sache dire comment.

Voici tout ce qu'il a fallu pour écrire ce qu'elle fait, et le trajet qui les relie.

Un chemin légèrement ondulé traverse l'image, portant les bornes d'encre du chapitre. Au-dessus de chacune, le symbole défini à ce jalon : x, y, le jeu de données D, f indice thêta, la perte ell, la perte moyenne grand L indice D, et p. Sous un filet, les jalons sont repris en deux rangées, numérotés, chacun avec son symbole et ce qu'il désigne : l'entrée, la vérité terrain, le jeu de données, le modèle, la perte sur un exemple, la perte moyenne, le nombre de réglages. Sous un filet de brique, une dernière ligne : un seul chemin, et le chapitre tient là. — Un seul chemin, et chaque borne porte ce qu'on y a appris.

Formulaire

\mathcal{D}=\big\{(\mathbf{x}^{(n)},\,y^{(n)})\big\}_{n=1}^{N}

(1)

Le jeu de données :

N

couples, chacun une entrée et la vérité observée qui va avec.

\widehat{y}=f_{\boldsymbol{\theta}}(\mathbf{x})

(2)

Le modèle : une fonction indexée par ses paramètres. Changer

\boldsymbol{\theta}

ne change pas la forme du modèle, cela change la fonction qu'il réalise.

z=\mathbf{w}^{\mathsf{T}}\mathbf{x}+b=\sum_{i=1}^{d}w_i x_i+b, \qquad \widehat{y}=z

(3)

Le modèle linéaire, le plus simple qui ne soit pas trivial. En régression, rien ne s'intercale entre la somme pondérée et la prédiction :

\widehat{y}

est

z

\ell(\widehat{y},y)=(\widehat{y}-y)^{2}

(4)

La perte sur un exemple. Le carré est positif quel que soit le sens de l'erreur, et il pénalise davantage les grands écarts que les petits.

\mathcal{L}_{\mathcal{D}}(\boldsymbol{\theta})=\frac{1}{N}\sum_{n=1}^{N}\Big(f_{\boldsymbol{\theta}}\big(\mathbf{x}^{(n)}\big)-y^{(n)}\Big)^{2}

(5)

La moyenne des

N

pertes individuelles, et à gauche du signe égal une seule variable :

\boldsymbol{\theta}

Les conventions d'écriture

Préactivationpre-activation: Le nombre $z = \mathbf{w}^{\mathsf{T}}\mathbf{x} + b$ , pris avant toute transformation ultérieure. Dans ce chapitre, l'estimation vaut $\widehat{y} = z$  ; le préfixe n'a donc pas encore d'utilité. Il en prend une au chapitre 2, où une fonction s'insère entre $z$ et ce que le modèle rend vraiment.

\underbrace{\mathbf{w}^{\mathsf{T}}}_{1\times d}\ \underbrace{\mathbf{x}}_{d\times 1} \;=\; \underbrace{z}_{1\times 1}, \qquad (1\times d)\cdot(d\times 1) = 1\times 1

Les deux dimensions intérieures doivent coïncider, sinon le produit n'existe pas.

(1\times 4)\cdot(3\times 1)

ne s'écrit pas :

4 \neq 3

En haut, une ligne de quatre cases représente le vecteur de poids transposé, une colonne de quatre cases représente le vecteur d'entrée, et une case unique, en brique, représente le résultat. Sous elles, l'égalité des dimensions : un fois quatre, point, quatre fois un, égale un fois un ; les deux quatre intérieurs sont en brique et reliés par un trait. En bas, le cas qui échoue : un fois quatre, point, trois fois un ; le quatre et le trois sont en brique, le trait de liaison se tend entre eux sans se refermer, et dessous s'inscrit quatre différent de trois. — On vérifie les dimensions avant de multiplier, pas après.

Trois notations qui se ressemblent et ne disent pas la même chose

Écriture	Ce qu'elle désigne	Ce qu'elle n'est pas
$x^{(n)}$	Le $n$ -ième exemple du jeu de données	Une puissance
$x_{i}$	La $i$ -ième composante d'un vecteur	Un exemple
$W^{[l]}$	La couche $l$ d'un réseau, à partir du chapitre 2	Ni une puissance, ni un numéro d'exemple

Les trois cohabitent dans une même formule dès le chapitre 2. Parenthèses, indice bas et crochets sont trois marques distinctes, jamais interchangeables.

Représentationrepresentation, feature vector: Le vecteur $\mathbf{x}$ par lequel on remplace l'objet réel. Choisir une représentation, c'est décider ce que le modèle aura le droit de voir : l'agence qui retient la surface et le nombre de pièces, et rien d'autre, a déjà décidé que l'étage ne compte pas.

Le tableau des objets

Les seize symboles de ce chapitre

Symbole	Signification	Ensemble	Dimension
$\mathbf{x}$	l'entrée : un exemple, décrit par ses caractéristiques	$\mathcal{X}\subseteq\mathbb{R}^{d}$	$d\times1$ , soit $d=2$ dans le fil conducteur
$x_i$	la $i$ -ème caractéristique de cette entrée	$\mathbb{R}$	scalaire, $i$ allant de $1$ à $d$
$y$	la vérité terrain : ce qui a été observé dans le monde	$\mathcal{Y}$	un nombre en régression, une étiquette en classification
$\widehat{y}$	la prédiction : ce que le modèle croit	$\mathcal{Y}$ , ou $\mathbb{R}$ avant décision	même forme que $y$ , et jamais confondue avec lui
$\mathcal{D}$	le jeu de données : les couples entrée / vérité	partie de $\mathcal{X}\times\mathcal{Y}$	$N$ couples
$N$	le nombre d'exemples du jeu	$\mathbb{N}^{*}$	scalaire, $N=2$ dans le fil conducteur
$n$	l'indice d'un exemple, écrit en exposant entre parenthèses	$\{1,\dots,N\}$	scalaire ; $\mathbf{x}^{(n)}$ n'est pas une puissance
$\mathbf{w}$	les poids : un par caractéristique d'entrée	$\mathbb{R}^{d}$	$d\times1$
$b$	le biais : le décalage, sans lequel le modèle passe par l'origine	$\mathbb{R}$	scalaire
$z$	la préactivation : la somme pondérée $\mathbf{w}^{\mathsf{T}}\mathbf{x}+b$	$\mathbb{R}$	scalaire
$\boldsymbol{\theta}$	les paramètres, tous réunis : ici le couple $(\mathbf{w},b)$	$\mathbb{R}^{p}$	$p=d+1$ , soit $3$ dans le fil conducteur
$\ell$	la perte sur un exemple	$\mathbb{R}_{\ge0}$	scalaire
$\mathcal{L}_{\mathcal{D}}$	la moyenne des $\ell$ sur $\mathcal{D}$ : la fonction qu'on minimise	$\mathbb{R}_{\ge0}$	scalaire, fonction de $\boldsymbol{\theta}$ seul
$\eta$	le pas d'apprentissage : la longueur d'un déplacement	$\mathbb{R}_{>0}$	scalaire, réglage et non paramètre appris
$t$	le numéro d'itération de la descente	$\mathbb{N}$	scalaire, un compteur
$f_{\boldsymbol{\theta}}$	le modèle : la fonction que $\boldsymbol{\theta}$ choisit	applications de $\mathcal{X}$ dans $\mathcal{Y}$	une fonction, pas un nombre

Le tableau à garder ouvert pendant le chapitre suivant : chacune de ces seize lignes y sera instanciée sur un cas réel.

Erreurs fréquentes

Ce qu'on croit	Ce qui est vrai
$y$ et $\widehat{y}$ , c'est la même chose à un chapeau près	$y$ est la vérité observée dans le monde, $\widehat{y}$ la croyance du modèle. À l'inférence, on calcule $\widehat{y}$ précisément parce que $y$ n'existe pas encore : l'appartement dont on estime le prix n'a pas été vendu.
$\mathcal{L}_{\mathcal{D}}$ dépend de $\mathbf{x}$	$\mathcal{D}$ est fixé une fois pour toutes : les $\mathbf{x}^{(n)}$ et les $y^{(n)}$ sont des constantes. La seule variable de $\mathcal{L}_{\mathcal{D}}$ est $\boldsymbol{\theta}$ , et c'est exactement ce qui permet de la minimiser en $\boldsymbol{\theta}$ .
$\ell$ et $\mathcal{L}$ , c'est la même perte	$\ell$ porte sur un exemple, $\mathcal{L}_{\mathcal{D}}$ est la moyenne des $N$ valeurs de $\ell$ . Avec $\boldsymbol{\theta}_B$ , les deux appartements donnent $\ell=56{,}25$ chacun, donc $\mathcal{L}_{\mathcal{D}}=56{,}25$ : ici les deux nombres coïncident par accident, jamais par principe.
$\mathbf{x}^{(n)}$ , c'est $\mathbf{x}$ à la puissance $n$	L'exposant entre parenthèses est un numéro d'exemple. $\mathbf{x}^{(2)}$ est le deuxième appartement du jeu ; la puissance, elle, s'écrirait sans parenthèses, et l'indice désigne encore autre chose : $x_2$ est la deuxième caractéristique d'une entrée.
une note très basse sur les exemples du fichier, donc un bon modèle	C'est la mémorisation qui est mesurée, pas l'apprentissage. Le but est de bien répondre sur des exemples jamais vus ; le seul verdict est la note obtenue sur des exemples que le modèle n'a jamais vus.
les classes sont codées $0$ , $1$ , $2$ , donc ce sont des nombres	La perte quadratique n'utilise de deux étiquettes que la différence de leurs codes, et ce que cette différence mesure n'est pas la question posée. Sur les dix chiffres manuscrits, confondre un 3 avec un 8 coûte $25$ et le confondre avec un 5 coûte $4$  ; renumérotées dans l'ordre alphabétique de leurs noms, les mêmes classes donnent $25$ et $49$ , et les deux erreurs ont échangé leur rang.

Un plan surface contre prix, traversé par une droite à l'encre. Deux traits gris en pointillé marquent la surface de cinquante mètres carrés et le prix de deux cents ; à leur croisement, un gros point à l'encre. Sous ce point, sur la même verticale, un point de brique marque ce que la droite prédit, et un segment de brique épais joint les deux, coté y moins y chapeau égale seize. À droite, un panneau donne le modèle, y chapeau égale trois virgule quatre x plus quatorze, la surface, cinquante mètres carrés, le prix relevé chez le notaire, deux cents milliers d'euros, ce que le modèle dit, cent quatre-vingt-quatre milliers d'euros, puis l'écart, seize, et une dernière ligne : y est un fait, y chapeau un avis. — Le point est relevé ; la droite n'est qu'un avis.

ExerciceQuestion de vérification15 min

1. Un calcul. On donne $\mathbf{x}=(2,\,-1)^{\mathsf{T}}$ , $\mathbf{w}=(0{,}5,\,1)^{\mathsf{T}}$ , $b=0{,}2$ , et la vérité terrain $y=1{,}2$ . Calcule $z$ , puis $\widehat{y}$ , puis $\ell$ . Écris les trois lignes de calcul, pas seulement les trois résultats.

2. Une typologie. Pour chacun des quatre scénarios, donne la famille d'apprentissage, le type de tâche, et l'ensemble $\mathcal{Y}$ lorsqu'il existe. (a) Prédire la température qu'il fera demain. (b) Décider si un courriel est indésirable ou non. (c) Reconnaître un vin parmi rouge, blanc et rosé. (d) Regrouper des clients qui se ressemblent, sans aucune étiquette.

3. Le compte des réglages. Un modèle linéaire reçoit $d$ caractéristiques et rend un nombre. Combien de réglages contient-il ? Donne le compte pour $d=2$ , puis pour une image de $28\times 28$ pixels.

Suite du parcours

Quatre chapitres suivent celui-ci, et ils forment un arc. Aucun ne change de vocabulaire : ils emploient celui du tableau ci-dessus. Le fil conducteur, lui, change : les appartements ont fait leur travail, et c'est la reconnaissance des chiffres manuscrits qui prend la suite, pour la raison établie en section 2.4 — c'est le problème où l'on peut écarter des règles par la mesure au lieu d'en supposer l'absence.

Chapitre	Ce qu'il construit	La dette qu'il rembourse
2 · Qu'est-ce qu'un réseau de neurones	L'objet qui capte l'arrangement des pixels, et les 101 770 réglages comptés en section 10.2	Les fonctions d'activation $\sigma$ , et ce qu'un poids veut dire quand il y en a cent mille
3 · La descente de gradient, comment un réseau apprend	La dérivation pas à pas du gradient de $\mathcal{L}_{\mathcal{D}}$ , et la descente qui s'en sert	Comment on trouve les réglages sans les essayer un par un
4 · Ce que fait la rétropropagation	Ce que l'algorithme calcule, et pourquoi, avant toute formule	La vérification par la mesure, quand relire le calcul n'est plus possible
5 · Le calcul de la rétropropagation	La règle de dérivation en chaîne, appliquée couche par couche	Le calcul effectif, terme à terme

Deux questions restent ouvertes après ces quatre chapitres — d'où viennent vraiment les données, et pourquoi un modèle qui réussit sur son fichier peut échouer ailleurs. Elles gardent leur échéance, et elle n'est pas encore fixée.