On part d'un problème que personne ne sait écrire sous forme de règles — reconnaître un chiffre écrit à la main — et on construit pas à pas la machine qui l'apprend à partir d'exemples, jusqu'à savoir d'où vient chacun de ses réglages. Aucune connaissance en intelligence artificielle n'est demandée : il faut savoir écrire une boucle en Python, et avoir déjà dérivé une fonction.
De quoi le domaine est fait : les mots, les objets, et un problème qu'on suit d'un bout à l'autre.
Un agent immobilier annonce un prix sans formule : une machine peut-elle en faire autant ?
Lecture · 1 min · en accès libre
Pourquoi on ne peut pas écrire la règle à la main, et ce que l'humain fournit encore.
Démonstration · 2 min · en accès libre
Estimer le prix d'un logement qu'on n'a jamais vu : le problème qui sert de fil au chapitre.
Lecture · 2 min · en accès libre
Les quatre objets de tout problème : l'entrée, la réponse attendue, le jeu de données, le modèle.
Lecture · 3 min
Comment on met une note à un modèle, et pourquoi on élève l'écart au carré.
Lecture · 4 min
Ce que devient la note quand on change un réglage, et pourquoi un sans-faute ne prouve rien.
Démonstration · 3 min
Supervisé, non supervisé, renforcement : ce qui les sépare tient dans le fichier qu'on ouvre.
Lecture · 3 min
Prédire une quantité ou choisir une catégorie : reconnaître lequel des deux on a devant soi.
Lecture · 3 min
Le calcul refait à la main sur deux appartements, puis les mêmes lignes écrites en Python.
Démonstration · 6 min
Trois réglages se relisent à la main ; cent mille, non — et ce que cela change.
Lecture · 5 min
Tout le chapitre en une page : le formulaire, le tableau des objets, les erreurs fréquentes.
Lecture · 10 min
Construire une machine qui lit un chiffre écrit à la main, pièce par pièce, et mesurer ce qu'elle vaut.
Ce que le chapitre construit : une machine qui lit un chiffre écrit à la main.
Lecture · 7 min
Les images sur lesquelles on travaille, et à partir de quel score on peut dire qu'une machine a appris.
Démonstration · 12 min
Mettre une image à plat pour la donner au modèle, et ce qui devient invisible en chemin.
Lecture · 10 min
Un neurone est une somme pondérée de pixels, et ses poids se regardent comme une image.
Lecture · 14 min
Fabriquer un détecteur à la main, sans entraînement, et voir où il se laisse tromper.
Démonstration · 8 min
Passer d'un neurone à dix, transformer leurs scores en probabilités, et mesurer ce que ça vaut.
Démonstration · 14 min
Pourquoi ce premier modèle cesse de progresser, et pourquoi ce n'est pas un problème de réglage.
Démonstration · 10 min
Empiler une couche de plus n'achète rien tant qu'il manque une pièce entre les deux.
Démonstration · 8 min
La pièce qui manquait : la fonction d'activation, ReLU et la sigmoïde.
Lecture · 18 min
Le réseau écrit une fois pour toutes, et le compte des nombres que personne ne réglera à la main.
Lecture · 12 min
Les neurones cachés détectent-ils des bords, comme on aime le croire ? On va regarder.
Démonstration · 11 min
Le chemin d'une image jusqu'au chiffre, le formulaire, et les erreurs fréquentes.
Lecture · 12 min
Comment une machine choisit elle-même ses réglages, sans que personne n'en fixe un seul.
Ce que le chapitre règle : d'où viennent les nombres que le chapitre 2 utilisait sans le dire.
Lecture · 6 min · en accès libre
Le chapitre 2 en une page, et la question qu'il n'a jamais posée : qui choisit les paramètres ?
Lecture · 4 min
On n'écrit pas l'algorithme qui reconnaît un chiffre, on écrit celui qui le règle.
Lecture · 5 min
Ce que vaut le réseau avant la première mise à jour, mesuré plutôt que supposé.
Démonstration · 6 min
Choisir le nombre qui dit au programme à quel point il se trompe sur un exemple.
Démonstration · 7 min
De l'erreur sur un exemple au coût sur tout le jeu : la quantité qu'on cherche à faire baisser.
Lecture · 5 min
Comment faire baisser une courbe quand on ne sait pas où se trouve son minimum.
Lecture · 14 min
Le gradient, le taux d'apprentissage, et l'algorithme de descente écrit en entier.
Démonstration · 15 min
Pourquoi chaque pas se calcule sur un petit paquet d'images plutôt que sur les soixante mille.
Démonstration · 12 min
Ce qu'un gradient contient quand on le regarde, au lieu de simplement l'appliquer.
Lecture · 8 min
Trois entraînements, trois solutions sans rapport : il n'y a pas un seul bon jeu de réglages.
Démonstration · 16 min
L'entraînement en un paragraphe, le formulaire, et les erreurs fréquentes.
Lecture · 11 min
Suivre une image, et voir comment l'erreur de sortie se répercute sur chaque réglage.
Ce que le chapitre règle : comment obtenir le gradient sans le calculer composante par composante.
Lecture · 5 min · en accès libre
Pourquoi la méthode du chapitre précédent est exacte, et pourtant inutilisable pour entraîner.
Lecture · 5 min
On suit une seule image, et on lit sur des nombres ce que sa sortie réclame.
Démonstration · 11 min
Corriger un biais : la plus simple des trois corrections, parce que son effet ne passe par rien.
Lecture · 7 min
Corriger un poids : la correction est proportionnelle à l'activation qui l'alimente.
Démonstration · 7 min
La ressemblance avec la règle de Hebb, ce qu'elle a de juste, et l'endroit où elle casse.
Lecture · 7 min
Une correction qu'on ne peut pas appliquer telle quelle, et d'où vient le mot propagation.
Lecture · 5 min
Dix neurones demandent des choses contraires à la même activation : on additionne, on n'arbitre pas.
Démonstration · 7 min
Le dernier pas en arrière : la porte ReLU, et les gradients de la première couche.
Démonstration · 8 min
Ce qui arrive si l'on n'écoute qu'une seule image, et pourquoi on moyenne les corrections.
Démonstration · 8 min
L'algorithme complet, et la vérification qu'il calcule bien ce qu'il prétend calculer.
Démonstration · 8 min
La rétropropagation en un paragraphe, le formulaire, et les erreurs fréquentes.
Lecture · 9 min
Le même calcul pour un réseau d'autant de couches qu'on veut, et ce qu'il coûte.
Ce que le chapitre établit : le même calcul, pour un réseau d'autant de couches qu'on veut.
Lecture · 3 min
Ce que le chapitre 4 a laissé ouvert, et par où on s'y prend pour le fermer.
Lecture · 3 min
Les deux formes de la règle de la chaîne, et le critère qui dit laquelle s'applique.
Lecture · 6 min
De quoi la perte dépend, remonté quantité par quantité jusqu'aux paramètres.
Démonstration · 9 min
Les trois dérivées dont tout le reste est fait, chacune tirée de son équation.
Démonstration · 5 min
Les trois dérivées mises bout à bout, et ce qu'un autre coût changerait au produit.
Démonstration · 6 min
Le même calcul une couche plus bas, et la raison pour laquelle il se répète.
Lecture · 3 min
La récurrence qui descend jusqu'à la première couche, et le produit qu'elle fait apparaître.
Démonstration · 9 min
Ce qui change quand chaque couche compte plusieurs neurones, et d'où vient la transposée.
Lecture · 9 min
Les mêmes équations écrites sans indices, en quatre lignes.
Démonstration · 7 min
Ce que la profondeur fait au signal d'erreur, et ce que l'algorithme coûte.
Démonstration · 9 min
Les cinq chapitres bout à bout, le formulaire, et les erreurs fréquentes.
Lecture · 6 min