Les gradients évanescents

• ·

  $\sigma$ est la sigmoïde logistique, et $z$ est réel

1. Posons $a=\sigma(z)$, qui parcourt l'intervalle ouvert de zéro à un, et étudions la fonction $\varphi(a)=a(1-a)$.

   $$\varphi(a)=a-a^{2}, \qquad \varphi'(a)=1-2a$$

   changement de variable

2. La dérivée s'annule en $a=\tfrac12$, est positive avant et négative après : c'est un maximum.

   $$\varphi\!\left(\tfrac12\right)=\tfrac12\cdot\tfrac12=\tfrac14$$

   étude du signe de la dérivée

3. Comme $\sigma$ est une bijection croissante de $\mathbb{R}$ sur l'intervalle ouvert de zéro à un, avec $\sigma(0)=\tfrac12$, l'égalité a lieu exactement en $z=0$.

   bijectivité de la sigmoïde

Le maximum lui-même est inférieur à un. C'est cela qui va tout gouverner : chaque couche traversée multiplie le gradient par un facteur au plus égal à un quart.