Lecture4 min

Mesurer l'erreur : la fonction de perte

Comment on met une note à un modèle, et pourquoi on élève l'écart au carré.

Prenons une seconde vente dans le fichier : 30 m², 1 pièce, vendue 115. Et un second jeu de réglages, où l'on garde $w_1 = 3$ et $w_2 = 10$ mais où l'on ajoute $22{,}5$ au lieu de $20$ .

Appelons le premier $\boldsymbol{\theta}_A$ et le second $\boldsymbol{\theta}_B$ : lequel des deux est le meilleur ? Tant qu'on ne sait pas répondre par un nombre, on ne peut rien améliorer.

Essayons le plus simple : l'écart entre ce que le modèle annonce et ce qui a été payé, moyenné sur les deux ventes.

L'écart brut, sur les deux ventes

Candidat	Vente de 50 m²	Vente de 30 m²	Moyenne des écarts bruts
$\boldsymbol{\theta}_A$ , avec $b=20$	$190-200=-10$	$120-115=+5$	$-2{,}5$
$\boldsymbol{\theta}_B$ , avec $b=22{,}5$	$192{,}5-200=-7{,}5$	$122{,}5-115=+7{,}5$	$0$

Les prix sont en milliers d'euros. Les prédictions se relisent à la main : pour la vente de 50 m² et deux pièces,

3\times 50+10\times 2+20=190

La barre de la moyenne traverse le zéro pendant que les deux écarts valent encore sept et demi chacun.

0:00 / 0:23

Regardez la dernière colonne : $\boldsymbol{\theta}_B$ obtient 0, la note parfaite, alors qu'il se trompe de 7 500 euros sur chacune des deux ventes.

Ses deux erreurs sont de signes contraires, et la moyenne les efface : un modèle qui surestime autant qu'il sous-estime passe pour parfait.

Le carré empêche la compensation

\ell(\widehat{y}, y) = (\widehat{y}-y)^{2}

(5.1)

Un carré est positif ou nul, et deux erreurs de signes contraires ne peuvent donc plus s'annuler.

Fonction de perteloss function: Une fonction qui reçoit une prédiction et la valeur vraie correspondante, et rend un nombre positif ou nul, d'autant plus grand que la prédiction est mauvaise. Elle est choisie, pas déduite.

À gauche, une ligne pointillée grise marque l'écart nul ; un segment de brique descend sous elle, coté moins 7,5, pour la vente de 50 m², et un autre monte au-dessus, coté plus 7,5, pour la vente de 30 m². À droite, les deux carrés que ces segments engendrent sont rangés côte à côte, de même taille, portant chacun leur aire, 56,25, et la ligne 56,25 plus 56,25 égale 112,5 est écrite dessous. — Les aires s'ajoutent là où les écarts s'annulaient.

Un carré de côté 20 est partagé par une croix en quatre parts égales, chacune marquée 100. La part du bas à gauche est cerclée de brique : c'est le carré de côté 10, resté en place. Sous la base, deux lignes de mesure donnent 10 puis 20. À droite, 20 au carré égale 400, égale 4 fois 10 au carré. — Doubler l'écart quadruple l'aire.

Ce que le carré apporte

Propriété	Vérification
Positivité. Le carré est nul si et seulement si l'estimation tombe juste.	Sur $\boldsymbol{\theta}_B$ , $-7{,}5$ et $+7{,}5$ s'annulent ; $56{,}25$ et $56{,}25$ ne s'annulent pas.
Le signe ne compte pas. Seule la taille de l'écart compte.	Surestimer de 10 ou sous-estimer de 10 coûte 100 dans les deux cas.
Les grosses erreurs pèsent plus. Doubler l'écart quadruple la perte.	Un écart de 5 coûte 25 ; un écart de 10 coûte 100, soit quatre fois plus.
Elle se dérive partout. La valeur absolue, elle, a un coin en zéro.	C'est ce qui rendra la recherche du minimum possible, au chapitre 3.

La note d'un jeu de réglages

Un modèle qui vise juste sur une vente et faux sur toutes les autres n'est pas bon. On prend donc la moyenne des pertes sur les $N$ exemples du jeu.

\mathcal{L}_{\mathcal{D}}(\boldsymbol{\theta}) = \frac{1}{N} \sum_{n=1}^{N} \ell\!\left( f_{\boldsymbol{\theta}}\!\left(\mathbf{x}^{(n)}\right), y^{(n)} \right)

(5.2)

Le facteur

\frac{1}{N}

en fait une moyenne : la note ne dépend plus du nombre de ventes.

Reprenons les écarts du tableau et élevons-les au carré. Pour $\boldsymbol{\theta}_A$ : $(-10)^{2} = 100$ et $(+5)^{2} = 25$ , donc une note de $(100+25)/2 = 62{,}5$ . Pour $\boldsymbol{\theta}_B$ : $(-7{,}5)^{2} = 56{,}25$ deux fois, donc une note de $56{,}25$ .

C'est donc $\boldsymbol{\theta}_B$ le meilleur des deux, et la note le dit sans qu'on ait à en discuter.

Le compteur

\mathcal{L}

descend puis remonte pendant que

b

balaie son intervalle : il existe un minimum, et on vient de le dépasser.

0:00 / 0:22

Reste à trouver les réglages qui donnent la plus petite note. Comment on les cherche est le sujet du chapitre 3.

Candidat

Vente de 50 m²

Vente de 30 m²

Moyenne des écarts bruts

$\boldsymbol{\theta}_A$ , avec $b=20$

$190-200=-10$

$120-115=+5$

$-2{,}5$

$\boldsymbol{\theta}_B$ , avec $b=22{,}5$

$192{,}5-200=-7{,}5$

$122{,}5-115=+7{,}5$

$0$