• Projets00
  • AI Academy13
  • Veille07 entrées ces 7 derniers jours
  • Outils00
Profil
Déposer un projet
ProjetsAI AcademyVeilleOutilsProfilDéposer
Le cours
1/8
Lecture2 min

Le cadre de cette leçon

Quatre réglages de l'entraînement restés sans justification, et ce que ce cours en fait.

Nous savons calculer grad⁡θL\operatorname{grad}_{\theta}\mathcal{L}gradθ​L exactement. Nous n'avons jamais prouvé pourquoi cette direction, ni pourquoi ce signe, ni quelle longueur de pas, ni d'où partir, et nous avons entraîné sur des mini-lots sans jamais dire pourquoi le lot complet ne convient pas. Ce cours rembourse ces cinq dettes.

Une règle tenue de bout en bout

Aucun outil n'est introduit avant que l'échec de ce qui précède soit prouvé par une mesure. Chaque affirmation chiffrée provient d'un programme exécuté, dont le code est dans le dépôt. Quand la mesure contredit ce que la théorie laissait attendre, c'est la mesure qui est écrite, et l'écart est expliqué.

Le fil conducteur

Un seul, tenu du début à la fin : le réseau 784→128→10784\to 128\to 10784→128→10 sur les chiffres manuscrits, celui du cours précédent. Aucun changement de sujet en cours de route. Tous les chiffres portent sur ce réseau, sur les 60 000 exemples d'entraînement et les 10 000 de test, graine fixée à 0.

Avant toute mesure : le gradient est-il juste ?

Le gradient analytique a été confronté aux différences finies centrées sur douze coordonnées tirées au hasard. Écart relatif maximal : 1,10⋅10−61{,}10\cdot 10^{-6}1,10⋅10−6. Le compte de paramètres est de 101 770101\,770101770, conforme au cours précédent. Sans cette vérification, aucune des huit expériences qui suivent ne prouverait quoi que ce soit.

Ce que ce cours utilise, et ce qu'il prépare

Quoi

Il utilise

La règle de mise à jour et la descente à une variable ; le risque empirique, l'entropie croisée, le résultat grad⁡zℓ=a−y\operatorname{grad}_{z}\ell = a - ygradz​ℓ=a−y, la rétropropagation, et l'architecture à 101 770101\,770101770 paramètres.

Il prépare

Le cours sur le sur-apprentissage, qui a besoin de séparer ce qui ne converge pas de ce qui converge vers le mauvais endroit : la page 3 fabrique les deux situations. Les optimiseurs à moment se dériveront des défauts établis à la page 4.

Les dettes annoncées

Trois notions sont utilisées ici sans être démontrées. Les annoncer n'est pas une précaution de style : c'est ce qui distingue un cours d'un exposé.

La règle de la chaîne multivariée

Utilisée à la page 7 sans être démontrée. Elle le sera dans le cours consacré au calcul différentiel. En attendant, sa conséquence est vérifiée numériquement : écart relatif de 1,10⋅10−61{,}10\cdot10^{-6}1,10⋅10−6 entre gradient analytique et différences finies.

La convergence de la descente stochastique

Au sens : θt\theta_tθt​ converge vers un point critique sous les conditions ∑ηt=∞\sum\eta_t=\infty∑ηt​=∞ et ∑ηt2<∞\sum\eta_t^2<\infty∑ηt2​<∞. Utilisée à la page 3, démontrée dans un cours ultérieur sur l'optimisation stochastique.

Le lien entre courbure et vitesse en dimension p

Démontré ici pour une fonction quadratique seulement. Le réseau ne l'est pas : pour lui, nous mesurons. La théorie non convexe est renvoyée à un cours ultérieur.

Leçon suivante
Début du coursSuivantePourquoi cette direction, et pourquoi ce signe