Direction du pas, longueur du pas, point de départ, échelle des entrées : ce cours reprend un par un les réglages qu'on applique en entraînant un réseau, et dit ce qui fixe chacun d'eux. Il se lit après le cours d'introduction, dont il suppose la descente de gradient et la rétropropagation déjà comprises.
Les réglages de l'entraînement, et ce qui décide qu'il aboutisse ou non.
Quatre réglages de l'entraînement restés sans justification, et ce que ce cours en fait.
Lecture · 2 min
Pourquoi on descend dans la direction opposée au gradient, et pas dans une autre.
Démonstration · 6 min
Ce que coûte un pas calculé sur tout le jeu, et ce que le mini-lot y change.
Démonstration · 8 min
Jusqu'où on peut allonger le pas avant que la descente cesse de descendre.
Démonstration · 6 min
Pourquoi on ne part pas de zéro, et d'où vient l'échelle du tirage au hasard.
Lecture · 6 min
Pourquoi remettre les entrées à la même échelle accélère l'entraînement.
Lecture · 2 min
Ce qui arrive au gradient quand il traverse plusieurs couches de sigmoïdes.
Lecture · 4 min
L'optimisation en un paragraphe, le formulaire, et les erreurs fréquentes.
Lecture · 6 min