L'initialisation

• ·

  $W^{[1]}=0$ et $b^{[1]}=0$

• ·

  Toutes les colonnes de $W^{[2]}$ sont initialisées à la même valeur

• ·

  Le pas $\eta$ et la suite des mini-lots sont quelconques

x → z^[1] → a^[1] → z^[2] → a^[2] → ℓ

• ·

  La rétropropagation du cours précédent : $\delta^{[1]}=\big((W^{[2]})^{\top}\delta^{[2]}\big)\odot\sigma'(z^{[1]})$

• ·

  Le gradient d'une couche : $\operatorname{grad}_{W^{[1]}}\ell=\delta^{[1]}x^{\top}$

1. Initialisation. À $t=0$, toutes les lignes valent zéro : elles sont égales.

   hypothèse

2. Hérédité. Supposons qu'à l'étape $t$ toutes les lignes valent un même vecteur $w$, et tous les biais un même $b$. Alors pour tout exemple et tout neurone caché $j$ :

   $$z^{[1]}_j=w^{\top}x+b \ \text{(indépendant de } j) \quad\Longrightarrow\quad a^{[1]}_j=\sigma(z^{[1]}_j)=a \ \text{(indépendant de } j)$$

   la couche cachée produit 128 fois la même valeur

3. Remontons le gradient. Le second facteur ne dépend pas de $j$, on vient de le voir ; le premier non plus, puisque les colonnes de $W^{[2]}$ sont identiques.

   $$\delta^{[1]}_j=\Big(\sum_{k}W^{[2]}_{kj}\,\delta^{[2]}_k\Big)\,\sigma'(z^{[1]}_j)=\delta \ \text{(indépendant de } j)$$

   rétropropagation, et hypothèse sur les colonnes de la seconde couche

4. Le gradient de la première couche a donc toutes ses lignes égales. Vérification des dimensions : $(128\times1)(1\times784)=128\times784$.

   $$\operatorname{grad}_{W^{[1]}}\ell=\delta^{[1]}x^{\top} = \delta\,\mathbf{1}\,x^{\top}$$

   produit extérieur d'un vecteur à composantes égales

5. La mise à jour soustrait la même quantité à chaque ligne : les lignes restent égales à l'étape $t+1$.

   conclusion de la récurrence

Le réseau a 128 neurones cachés mais un seul degré de liberté caché : il se comporte pour toujours comme un réseau à un neurone. Ce n'est pas une convergence lente, c'est une impossibilité structurelle, et aucun réglage du pas ne la lève.

• ·

  Les poids $w_i$ sont indépendants, centrés, de variance $s^{2}$, et indépendants des entrées

• ·

  Les entrées $x_i$ sont indépendantes, centrées, de variance $v$

• ·

  Le biais est nul

• ·

  L'indépendance de $w_i$ et $x_i$ : $\mathbb{E}[w_ix_i]=\mathbb{E}[w_i]\mathbb{E}[x_i]$

• ·

  L'additivité de la variance pour des variables indépendantes

1. Par indépendance et centrage, chaque terme est de moyenne nulle, donc $z$ aussi.

   $$\mathbb{E}[w_ix_i]=\mathbb{E}[w_i]\,\mathbb{E}[x_i]=0 \quad\Longrightarrow\quad \mathbb{E}[z]=0$$

   indépendance et centrage

2. Les termes étant indépendants, les variances s'ajoutent :

   $$\operatorname{Var}(z)=\sum_{i=1}^{d_{\mathrm{in}}}\mathbb{E}[w_i^2]\,\mathbb{E}[x_i^2]=d_{\mathrm{in}}\,s^{2}\,v$$

   additivité de la variance, puis identité des lois

3. Le critère (D3) s'écrit « la variance ne change pas d'une couche à l'autre », donc $\operatorname{Var}(z)=v$ :

   $$d_{\mathrm{in}}\,s^{2}\,v=v \quad\Longrightarrow\quad s^{2}=\frac{1}{d_{\mathrm{in}}}$$

   traduction du critère, puis division par v non nul

L'écart-type $1/\sqrt{d_{\mathrm{in}}}$ tombe du cahier des charges ; on ne l'a pas choisi. Il ne dépend d'aucun réglage, seulement de la largeur de la couche d'entrée : le critère (D4) est satisfait. C'est l'initialisation dite de Xavier, dans sa version « avant ». Vérification : pour $d_{\mathrm{in}}=784$ et des entrées de moment d'ordre deux $0{,}1120$, la prédiction est $0{,}112$, et l'on mesure $0{,}1173$. L'écart de 5 % vient de ce que les pixels ne sont ni centrés ni indépendants : les hypothèses sont approchées, et le résultat tient quand même.