Motivation des problèmes, algèbre linéaire et visualisation

Ressources

Nous vous invitons à suivre Alfredo Canziani sur Twitter @alfcnz. Vous trouverez sur son compte des vidéos et des manuels contenant des détails pertinents sur l’algèbre linéaire et la décomposition en valeurs singulières (SVD). Ce contenu est trouvable en effectuant une recherche (en anglais) sur le Twitter d’Alfredo, en tapant par exemple linear algebra (from:alfcnz) dans la barre de recherche.

Réseaux neuronaux : rotation et écrasement

Un réseau de neurones traditionnel est une collection alternée de deux blocs : les blocs linéaires et les blocs non linéaires. Voici le schéma fonctionnel d’un réseau de neurones traditionnel.

Figure 1 : Schéma d'un réseau de neurones traditionnel

Les blocs linéaires (rotations pour simplifier) sont donnés par :

Et les blocs non linéaires (fonctions d’écrasement pour une compréhension intuitive) sont donnés par :

Dans le schéma et les équations ci-dessus, \(\vx \in \mathbb{R}^n\) représente le vecteur d’entrée. \(\mW_k \in \mathbb{R}^{n_{k} \times n_{k-1}}\) représente la matrice d’une transformation affine correspondant au \(k^{\text{ème}}\) bloc et est décrite plus en détail ci-dessous. La fonction $h$ est appelée fonction d’activation et cette fonction forme le bloc non linéaire du réseau neuronal. Sigmoïde, ReLU et tanh sont quelques-unes des fonctions d’activation les plus courantes et nous les examinerons dans les parties suivantes de cette section. Après des applications alternées des blocs linéaire et non linéaire, le réseau ci-dessus produit un vecteur de sortie \(\vect{s}_k \in \mathbb{R}^{n_{k-1}}\).

Examinons d’abord le bloc linéaire pour comprendre les transformations affines. Comme exemple considérons la classification d’images. Supposons que nous prenions une photo avec un appareil photo de $1$ mégapixel. Cette image aura environ $1 000$ pixels verticalement et $1 000$ pixels horizontalement, et chaque pixel aura trois dimensions de couleur pour le rouge, le vert et le bleu (RVB). Chaque image peut donc être considérée comme un point dans un espace à $3$ millions de dimensions. Avec une telle dimensionnalité, de nombreuses images intéressantes que nous pourrions vouloir classer, comme un chien vs un chat, se trouveront essentiellement dans la même région de l’espace.

Afin de séparer efficacement ces images, nous envisageons des moyens de transformer les données afin de déplacer les points. Rappelons que dans l’espace bidimensionnel, une transformation linéaire équivaut à une multiplication de matrice. Par exemple, les transformations suivantes peuvent être obtenues en changeant les caractéristiques de la matrice :

• Rotation : lorsque la matrice est orthonormée.
• Mise à l’échelle (« scalabilité ») : lorsque la matrice est diagonale.
• Réflexion : lorsque le déterminant est négatif.
• Shearing.
• Translation.

A noter que la translation seule n’est pas linéaire puisque $0$ ne sera pas toujours mis en correspondance avec 0, mais c’est une transformation affine. Pour revenir à notre exemple d’image, nous pouvons transformer les points de données en les translatant de manière à ce qu’ils soient regroupés autour de 0 et en les mettant à l’échelle à l’aide d’une matrice diagonale de manière à effectuer un « zoom avant » sur cette région. Enfin, nous pouvons effectuer une classification en trouvant des lignes dans l’espace qui séparent les différents points dans leurs classes respectives. En d’autres termes, l’idée est d’utiliser des transformations linéaires et non linéaires pour représenter les points dans un espace tel qu’ils soient linéairement séparables. Cette idée sera rendue plus concrète dans les sections suivantes.

Dans la suite, nous visualisons comment un réseau neuronal sépare des points et quelques transformations linéaires et non linéaires. Ce contenu est essentiellement le même que celui de l’année dernière, ainsi nous vous invitons à vous rendre ici pour le consulter.