Lecture10 min

De la grille au vecteur

Mettre une image à plat pour la donner au modèle, et ce qui devient invisible en chemin.

Une image est un carré de pixels, quand le modèle qu'on va écrire attend une simple liste de nombres alignés, et il faut donc mettre l'image à plat avant de la lui donner. On peut le faire sans rien perdre, ce qui règle la question la plus évidente et en laisse une autre, beaucoup moins évidente. Qu'est-ce que le modèle cesse de voir, une fois l'image mise à plat ?

À gauche, l'image de test numéro zéro, un sept, dessinée en cases pleines dans une grille de vingt-huit sur vingt-huit, cotée X appartenant à l'ensemble des tableaux vingt-huit sur vingt-huit à coefficients entre zéro et un. Une flèche horizontale part de la grille vers la droite ; elle porte le mot vec au-dessus et la formule k égale vingt-huit fois i moins un, plus j, au-dessous. À droite, une colonne de ronds : x un, x deux et x trois, blancs et nuls ; trois points de suspension ; x deux cent trente et un, gris foncé, de valeur zéro virgule huit sept zéro cinq huit huit, et x deux cent trente-deux, presque noir, de valeur zéro virgule neuf neuf six zéro sept huit, tous deux cerclés de brique ; trois points encore ; enfin x sept cent quatre-vingt-trois et x sept cent quatre-vingt-quatre, blancs et nuls. Une accolade embrasse la colonne entière et porte la cote sept cent quatre-vingt-quatre. Sous elle, x appartient à l'ensemble des vecteurs à sept cent quatre-vingt-quatre coordonnées comprises entre zéro et un. — Le rang $k$ ne se lit pas sur l'image. Il se calcule.

À gauche, la grille est l'image de test n°0, la même qu'à la page 2, et la flèche du milieu porte le nom de l'opération, $\mathrm{vec}$ , avec au-dessous la règle qui donne le rang, $k=28(i-1)+j$ .

La colonne de droite a 784 cases, ce que rappelle l'accolade, et la figure n'en dessine que quelques-unes, parce que 784 ronds empilés ne tiendraient pas sur la page.

Les deux ronds cerclés de brique sont $x_{231}$ et $x_{232}$ , qui viennent des pixels de la ligne 9, colonnes 7 et 8. La règle se vérifie en prenant $i=9$ et $j=7$ , ce qui donne $28\times(9-1)+7=231$ , puis $232$ pour le pixel voisin de la colonne 8. Deux pixels voisins sur une même ligne ont donc des rangs qui se suivent, et c'est le seul voisinage que la colonne conserve.

Les ronds du haut et du bas, enfin, sont blancs : $x_{1}$ , $x_{2}$ et $x_{3}$ valent 0, comme $x_{783}$ et $x_{784}$ , puisque ce sont les pixels vides du pourtour de l'image.

Des octets aux réels

L'octet d'un pixel est un entier de $[\![0,255]\!]$ , où $0$ est le blanc du papier et $255$ le noir plein de l'encre, et voici la division annoncée page 2, écrite une fois pour toutes.

X_{\text{brut}}\in\mathcal{M}_{28,28}\big([\![0,255]\!]\big),\qquad X=\frac{1}{255}\,X_{\text{brut}}\in[0,1]^{28\times 28}

La division est faite coefficient par coefficient, et le diviseur est

255

parce que c'est la valeur du noir plein, celle qui doit tomber sur

1

L'aplatissement

Aplatissementflattening: L'application $\mathrm{vec}:\mathcal{M}_{28,28}(\mathbb{R})\rightarrow\mathbb{R}^{784}$ qui range les coefficients d'une matrice bout à bout, ligne après ligne. Sa réciproque $\mathrm{vec}^{-1}:\mathbb{R}^{784}\rightarrow\mathcal{M}_{28,28}(\mathbb{R})$ replie un vecteur en grille.

\mathbf{x}=\mathrm{vec}(X)\in[0,1]^{784},\qquad x_{k}=X_{ij}\ \text{ avec }\ k=28\,(i-1)+j,\quad (i,j)\in[\![1,28]\!]^{2}

(3.1)

\mathbf{x}

est un vecteur colonne, de dimension

784\times 1

. La formule est bijective : à chaque

k

[\![1,784]\!]

correspond exactement un couple

(i,j)

La formule vérifiée aux quatre coins

Pixel $(i,j)$	$28\,(i-1)+j$	Rang $k$
$(1,1)$ , coin haut gauche	$28\times 0+1$	$1$
$(1,28)$ , coin haut droit	$28\times 0+28$	$28$
$(28,1)$ , coin bas gauche	$28\times 27+1$	$757$
$(28,28)$ , coin bas droit	$28\times 27+28$	$784$

Les quatre coins donnent bien les rangs extrêmes, et aucun rang n'est atteint deux fois.

Les quatre pixels dont le tableau vient de donner les rangs partent s'y ranger. Ce que le modèle recevra n'est plus une grille : c'est cette colonne, et l'ordre y est tout ce qui reste de la géométrie.

0:00 / 0:21

$\mathrm{vec}$ est linéaire, puisqu'elle se contente de ranger les nombres sans en calculer aucun, et elle est bijective, puisque la correspondance $k\leftrightarrow(i,j)$ l'est. Une application linéaire et bijective entre deux espaces vectoriels s'appelle un isomorphisme.

C'est cet isomorphisme qui réalise l'identification notée $\mathcal{M}_{28,28}(\mathbb{R})\cong\mathbb{R}^{784}$ , où le signe $\cong$ se lit « s'identifie à », et dont le chapitre se sert partout ensuite. On le nomme plutôt que de l'omettre parce qu'une matrice n'est pas un vecteur : ce sont deux objets distincts, et $\mathrm{vec}$ est l'application qui va de l'un à l'autre.

Ce que l'aplatissement coûte

Matrice de permutationpermutation matrix

Une matrice $P\in\mathcal{M}_{n}(\mathbb{R})$ , c'est-à-dire carrée à $n$ lignes et $n$ colonnes, dont chaque ligne et chaque colonne comporte exactement un coefficient égal à $1$ , tous les autres étant nuls, et $P\mathbf{x}$ est le vecteur $\mathbf{x}$ dont les coordonnées ont été permutées.

Elle vérifie $P^{\mathsf{T}}P=I_{n}$ , et cela se voit sur les coefficients. Le coefficient $(i,j)$ de $P^{\mathsf{T}}P$ s'obtient en multipliant terme à terme les colonnes $i$ et $j$ de $P$ puis en sommant, et chaque colonne ne porte qu'un seul $1$ : la somme vaut $1$ quand les deux colonnes portent leur $1$ sur la même ligne, ce qui n'arrive que pour $i=j$ , et $0$ partout ailleurs.

Un aplatissement ne coûte rien par lui-même : il ne coûte que dès lors qu'un modèle lit son résultat, et il faut donc en poser un. On prend la boîte à une seule étape annoncée page 1, celle qui range un tableau $W$ de dix lignes et $784$ colonnes avec dix nombres $\mathbf{b}$ , et qui répond $W\mathbf{x}+\mathbf{b}$ , soit dix nombres, un par chiffre possible.

Ses nombres à elle sont le couple $\boldsymbol{\theta}=(W,\mathbf{b})$ , et ils sont bien moins nombreux que les 101 770 de la page 1, qui comptait la boîte à deux étapes. La page 6 construit celle-ci pièce par pièce et dit ce que chacun de ses nombres fait ; ce qui suit n'a besoin que de sa forme.

DérivationL'aplatissement ne perd aucune information, et le modèle ne voit pas l'ordre des coordonnées (proposition 1)

Hypothèses

$\mathrm{vec}:\mathcal{M}_{28,28}(\mathbb{R})\rightarrow\mathbb{R}^{784}$ est l'application définie en $(3.1)$ .
$P\in\mathcal{M}_{784}(\mathbb{R})$ est une matrice de permutation fixe, la même pour toutes les images.
Le modèle est $\mathbf{x}\mapsto W\mathbf{x}+\mathbf{b}$ avec $W\in\mathcal{M}_{10,784}(\mathbb{R})$ et $\mathbf{b}\in\mathbb{R}^{10}$ .

Chaîne de dépendances

X \rightarrow \mathbf{x} \rightarrow P\mathbf{x} \rightarrow W'(P\mathbf{x})+\mathbf{b}'

Propriétés utilisées

Linéarité et bijectivité de $\mathrm{vec}$
$P^{\mathsf{T}}P=I_{784}$ pour toute matrice de permutation
Associativité du produit matriciel

Étapes

Premier point : rien n'est perdu. $\mathrm{vec}$ est linéaire et bijective, donc c'est un isomorphisme d'espaces vectoriels. Sa réciproque $\mathrm{vec}^{-1}$ reconstruit $X$ à partir de $\mathbf{x}$ exactement.
Un isomorphisme est inversible : aucune information ne peut disparaître.
Second point : l'ordre des coordonnées n'est pas visible. On pose $W'=WP^{\mathsf{T}}$ et $\mathbf{b}'=\mathbf{b}$ , et on calcule ce que le modèle de paramètre $\boldsymbol{\theta}'=(W',\mathbf{b}')$ répond à l'entrée permutée $P\mathbf{x}$ .
$W'(P\mathbf{x})+\mathbf{b}'=(WP^{\mathsf{T}})(P\mathbf{x})+\mathbf{b}=W(P^{\mathsf{T}}P)\mathbf{x}+\mathbf{b}$
Substitution de $W'$ et $\mathbf{b}'$ , puis associativité.
$=W\,I_{784}\,\mathbf{x}+\mathbf{b}=W\mathbf{x}+\mathbf{b}$
$P^{\mathsf{T}}P=I_{784}$ .
Les dimensions se vérifient : $W\in\mathcal{M}_{10,784}$ et $P^{\mathsf{T}}\in\mathcal{M}_{784,784}$ donnent $W'\in\mathcal{M}_{10,784}$ , donc $W'$ est bien un paramètre admissible de la même famille.

Résultat

\forall\,\mathbf{x}\in\mathbb{R}^{784},\quad (WP^{\mathsf{T}})(P\mathbf{x})+\mathbf{b}=W\mathbf{x}+\mathbf{b}

Interprétation

Une permutation fixe des 784 pixels, la même pour toutes les images, ne change rien à ce que cette famille peut apprendre : pour tout modèle qui marche sur les images d'origine, il existe un modèle de la même famille qui rend exactement les mêmes sorties sur les images permutées, donc qui obtient le même score, quelle que soit la façon dont on mesure ce score.

Or un modèle qui verrait le voisinage serait dérangé par une permutation, puisqu'elle sépare des pixels qui se touchaient. Celui-ci ne l'est pas du tout, et le voisinage lui est donc invisible : il ne sait pas que deux pixels côte à côte le sont. C'est cela, et rien d'autre, que « l'aplatissement détruit la géométrie » veut dire.

Ce que ce résultat ne dit pas

L'argument vaut pour une permutation fixe. Une permutation tirée au hasard pour chaque image détruirait bel et bien de l'information, et la proposition ne dit rien de ce cas.
Il ne se limite pas non plus au modèle ci-dessus : il vaut aussi pour le réseau complet de la page 10, où seule la première matrice change et où toutes les étapes suivantes restent intactes.
Il ne dit pas que l'aplatissement est une erreur : il dit ce qu'il rend invisible.

Sur l'image de test numéro $0$ , un $7$ , les pixels $(9,7)$ et $(10,7)$ sont l'un au-dessus de l'autre dans la grille, et leurs rangs valent $k=28\times 8+7=231$ et $k=28\times 9+7=259$ , soit 28 rangs d'écart dans le vecteur. Ils portent tous deux de l'encre, les octets $222$ et $67$ , et rien dans $\mathbf{x}$ ne signale qu'ils sont voisins.

Deux pixels voisins sur une même ligne, eux, gardent des rangs consécutifs, mais cela ne rattrape rien : le modèle ne lit pas davantage la proximité des rangs que celle des cases.

Vérification rapide n° 9

L'aplatissement se manipule à la main avant d'être utilisé cent fois.

a
Donner le rang $k$ de la coordonnée $x_k$ correspondant au pixel $(i,j)=(17,4)$ .
b
Donner le rang du pixel immédiatement au-dessus de celui-là dans la grille, puis l'écart entre les deux rangs.
c
Justifier cet écart directement par la formule $k=28\,(i-1)+j$ , sans énumérer.

Aucune réponse à cliquer : il y a un calcul à faire.

Des octets aux réels

L'octet d'un pixel est un entier de $[\![0,255]\!]$ , où $0$ est le blanc du papier et $255$ le noir plein de l'encre, et voici la division annoncée page 2, écrite une fois pour toutes.

X_{\text{brut}}\in\mathcal{M}_{28,28}\big([\![0,255]\!]\big),\qquad X=\frac{1}{255}\,X_{\text{brut}}\in[0,1]^{28\times 28}

La division est faite coefficient par coefficient, et le diviseur est

255

parce que c'est la valeur du noir plein, celle qui doit tomber sur

1

L'aplatissement

Aplatissementflattening

L'application $\mathrm{vec}:\mathcal{M}_{28,28}(\mathbb{R})\rightarrow\mathbb{R}^{784}$ qui range les coefficients d'une matrice bout à bout, ligne après ligne. Sa réciproque $\mathrm{vec}^{-1}:\mathbb{R}^{784}\rightarrow\mathcal{M}_{28,28}(\mathbb{R})$ replie un vecteur en grille.

\mathbf{x}=\mathrm{vec}(X)\in[0,1]^{784},\qquad x_{k}=X_{ij}\ \text{ avec }\ k=28\,(i-1)+j,\quad (i,j)\in[\![1,28]\!]^{2}

(3.1)

\mathbf{x}

est un vecteur colonne, de dimension

784\times 1

. La formule est bijective : à chaque

k

[\![1,784]\!]

correspond exactement un couple

(i,j)

La formule vérifiée aux quatre coins

Pixel $(i,j)$	$28\,(i-1)+j$	Rang $k$
$(1,1)$ , coin haut gauche	$28\times 0+1$	$1$
$(1,28)$ , coin haut droit	$28\times 0+28$	$28$
$(28,1)$ , coin bas gauche	$28\times 27+1$	$757$
$(28,28)$ , coin bas droit	$28\times 27+28$	$784$

Les quatre coins donnent bien les rangs extrêmes, et aucun rang n'est atteint deux fois.

0:00 / 0:21

Ce que l'aplatissement coûte

Matrice de permutationpermutation matrix

DérivationL'aplatissement ne perd aucune information, et le modèle ne voit pas l'ordre des coordonnées (proposition 1)

Hypothèses

$\mathrm{vec}:\mathcal{M}_{28,28}(\mathbb{R})\rightarrow\mathbb{R}^{784}$ est l'application définie en $(3.1)$ .
$P\in\mathcal{M}_{784}(\mathbb{R})$ est une matrice de permutation fixe, la même pour toutes les images.
Le modèle est $\mathbf{x}\mapsto W\mathbf{x}+\mathbf{b}$ avec $W\in\mathcal{M}_{10,784}(\mathbb{R})$ et $\mathbf{b}\in\mathbb{R}^{10}$ .

Chaîne de dépendances

X \rightarrow \mathbf{x} \rightarrow P\mathbf{x} \rightarrow W'(P\mathbf{x})+\mathbf{b}'

Propriétés utilisées

Linéarité et bijectivité de $\mathrm{vec}$
$P^{\mathsf{T}}P=I_{784}$ pour toute matrice de permutation
Associativité du produit matriciel

Étapes

Premier point : rien n'est perdu. $\mathrm{vec}$ est linéaire et bijective, donc c'est un isomorphisme d'espaces vectoriels. Sa réciproque $\mathrm{vec}^{-1}$ reconstruit $X$ à partir de $\mathbf{x}$ exactement.
Un isomorphisme est inversible : aucune information ne peut disparaître.
Second point : l'ordre des coordonnées n'est pas visible. On pose $W'=WP^{\mathsf{T}}$ et $\mathbf{b}'=\mathbf{b}$ , et on calcule ce que le modèle de paramètre $\boldsymbol{\theta}'=(W',\mathbf{b}')$ répond à l'entrée permutée $P\mathbf{x}$ .
$W'(P\mathbf{x})+\mathbf{b}'=(WP^{\mathsf{T}})(P\mathbf{x})+\mathbf{b}=W(P^{\mathsf{T}}P)\mathbf{x}+\mathbf{b}$
Substitution de $W'$ et $\mathbf{b}'$ , puis associativité.
$=W\,I_{784}\,\mathbf{x}+\mathbf{b}=W\mathbf{x}+\mathbf{b}$
$P^{\mathsf{T}}P=I_{784}$ .
Les dimensions se vérifient : $W\in\mathcal{M}_{10,784}$ et $P^{\mathsf{T}}\in\mathcal{M}_{784,784}$ donnent $W'\in\mathcal{M}_{10,784}$ , donc $W'$ est bien un paramètre admissible de la même famille.

Résultat

\forall\,\mathbf{x}\in\mathbb{R}^{784},\quad (WP^{\mathsf{T}})(P\mathbf{x})+\mathbf{b}=W\mathbf{x}+\mathbf{b}

Interprétation

Ce que ce résultat ne dit pas

L'argument vaut pour une permutation fixe. Une permutation tirée au hasard pour chaque image détruirait bel et bien de l'information, et la proposition ne dit rien de ce cas.
Il ne se limite pas non plus au modèle ci-dessus : il vaut aussi pour le réseau complet de la page 10, où seule la première matrice change et où toutes les étapes suivantes restent intactes.
Il ne dit pas que l'aplatissement est une erreur : il dit ce qu'il rend invisible.

Deux pixels voisins sur une même ligne, eux, gardent des rangs consécutifs, mais cela ne rattrape rien : le modèle ne lit pas davantage la proximité des rangs que celle des cases.

Vérification rapide n° 9

L'aplatissement se manipule à la main avant d'être utilisé cent fois.

a
Donner le rang $k$ de la coordonnée $x_k$ correspondant au pixel $(i,j)=(17,4)$ .
b
Donner le rang du pixel immédiatement au-dessus de celui-là dans la grille, puis l'écart entre les deux rangs.
c
Justifier cet écart directement par la formule $k=28\,(i-1)+j$ , sans énumérer.

Aucune réponse à cliquer : il y a un calcul à faire.