• Projets00
  • AI Academy13
  • Veille07 entrées ces 7 derniers jours
  • Outils00
Profil
Déposer un projet
ProjetsAI AcademyVeilleOutilsProfilDéposer
Le cours
10/59
Lecture5 min

Un modèle est une fonction à boutons

Trois réglages se relisent à la main ; cent mille, non — et ce que cela change.

Trois réglages se relisent à la main, mais combien de temps cela dure-t-il ?

Remplacez les deux caractéristiques de l'appartement par les 784 pixels d'une image, et comptez de nouveau.

Ce que θ\boldsymbol{\theta}θ contient, et combien il en contient

Le modèle de la page 9 est y^=w1x1+w2x2+b\widehat{y} = w_1 x_1 + w_2 x_2 + by​=w1​x1​+w2​x2​+b, et trois nombres le règlent entièrement : deux poids et un biais. Une fois ces trois nombres fixés, la fonction est fixée ; les changer, c'est obtenir une autre fonction sans rien changer à la forme du calcul.

θ=(w1, w2, b)∈Rp,p=d+1\boldsymbol{\theta} = (w_1,\, w_2,\, b) \in \mathbb{R}^{p}, \qquad p = d + 1θ=(w1​,w2​,b)∈Rp,p=d+1
Le nombre de composantes de θ\boldsymbol{\theta}θ porte un nom, ppp, et il se compte : une par caractéristique d'entrée, plus une pour le biais.

Sur le fil conducteur, d=2d = 2d=2, une surface et un nombre de pièces, donc p=3p = 3p=3 : trois boutons. C'est peu au point qu'on peut faire ce que la page 9 a fait : écrire deux réglages à la main, calculer la perte de chacun, et lire lequel est le meilleur. Chacun des trois nombres a un sens qui se dit en français : w1w_1w1​ est le prix du mètre carré, w2w_2w2​ ce que vaut une pièce de plus, bbb ce que vaudrait un logement dont toutes les caractéristiques sont nulles.

Trois panneaux côte à côte portent chacun le même plan surface contre prix, les deux mêmes ventes en points d'encre, et la même droite à l'encre. Dans chaque panneau, deux droites de brique en tiret encadrent la droite pleine : ce sont les deux bouts de course d'un bouton. Sous le premier panneau, le poids w indice un, de un virgule huit à quatre virgule deux, posé à trois ; sous le deuxième, le poids w indice deux, de deux à dix-huit, posé à dix ; sous le troisième, le biais b, de moins huit à quarante-huit, posé à vingt. Une ligne en pied rappelle que le trait plein est le modèle posé, et les deux tiretés les bouts de course du bouton.
Trois boutons, trois façons de bouger, et on sait dire laquelle. Le trait plein est le modèle posé ; les deux tiretés sont les bouts de course du bouton.

Trois choses tiennent parce que $p = 3$

On peut écrire un réglage à la main, on peut relire le calcul qu'il produit, et on peut dire ce que fait chacun des trois nombres. Les trois tiennent au même fait, et c'est un fait de taille, pas de nature.

Ce que ppp devient sur des images

La page 2 a posé l'autre entrée du parcours : une image de 28 × 28 pixels, soit d=784d = 784d=784, et dix réponses possibles au lieu d'une. Le modèle le plus simple qu'on puisse écrire dans ce cadre pose un gabarit par chiffre : chaque gabarit donne un poids à chacun des 784 pixels, et un biais ; comptons.

Le nombre de réglages, selon ce qu'on met en entrée

Le modèleLe compteppp

Deux appartements, d=2d = 2d=2

d+1d + 1d+1

3

Dix gabarits sur 784 pixels

784×10+10784 \times 10 + 10784×10+10

7 850

Le réseau du chapitre 2

784×128+128+128×10+10784 \times 128 + 128 + 128 \times 10 + 10784×128+128+128×10+10

101 770

Les trois comptes sont produits par cours/lecon1/chiffres.py, section 4. Ce sont des additions, pas des mesures : elles se refont sur un coin de table.

De 3 à 7 850, il y a un facteur d'environ 2 600 ; de 3 à 101 770, un facteur d'environ 33 900. L'objet n'a pas changé de nature : c'est toujours un θ\boldsymbol{\theta}θ, toujours un point de Rp\mathbb{R}^{p}Rp, toujours noté par la même perte LD\mathcal{L}_{\mathcal{D}}LD​. Seul ppp a changé.

Trois pavés hachurés alignés sur une même ligne de sol, dont les surfaces sont proportionnelles à ce qu'ils comptent. Le premier, minuscule, porte : appartements, trois. Le deuxième, très grand à côté, porte : dix gabarits sur sept cent quatre-vingt-quatre pixels, sept mille huit cent cinquante. Le troisième, de même taille apparente que le deuxième, porte : le réseau du chapitre 2, cent un mille sept cent soixante-dix, et la mention pavé réduit trois virgule six fois, car à l'échelle des deux autres il sortirait du cadre ; un tracé de brique en pointillé part de son coin et quitte l'image. Sous un filet de brique : aucun de ces cent un mille sept cent soixante-dix nombres ne sera écrit à la main.
La surface dit ce qu'aucune phrase ne fait sentir.

Aucun de ces 101 770 nombres ne sera écrit à la main

Ni par un ingénieur, ni par un expert du domaine, ni par personne. C'est le seul point que cette page demande de retenir. La page 2 a écarté par la mesure toute règle portant sur un pixel isolé ; ce qui resterait à écrire à la main, ce sont ces 101 770 nombres, et personne ne les écrit.

Ce qui change quand on ne peut plus les lire

Trois choses tenaient parce que ppp valait 3, et les trois tombent ensemble. On ne peut plus écrire les réglages un par un : il faudrait 28 heures à raison d'un par seconde. On ne peut plus les relire pour comprendre ce que fait le modèle. Et on ne peut plus les choisir au jugé, comme on vient de le faire en passant de 20 à 22,5.

Le nombre de réglages est compté sur les trois modèles du parcours ; reste à reprendre le chapitre en un paragraphe avant d'ouvrir le chapitre 2.

Leçon suivante
PrécédenteDémonstration numérique complèteSuivanteSynthèse, formulaire et erreurs fréquentes