Classification d'une spirale

$$\gdef \sam #1 {\mathrm{softargmax}(#1)}$$ $$\gdef \vect #1 {\boldsymbol{#1}} $$ $$\gdef \matr #1 {\boldsymbol{#1}} $$ $$\gdef \E {\mathbb{E}} $$ $$\gdef \V {\mathbb{V}} $$ $$\gdef \R {\mathbb{R}} $$ $$\gdef \N {\mathbb{N}} $$ $$\gdef \relu #1 {\texttt{ReLU}(#1)} $$ $$\gdef \D {\,\mathrm{d}} $$ $$\gdef \deriv #1 #2 {\frac{\D #1}{\D #2}}$$ $$\gdef \pd #1 #2 {\frac{\partial #1}{\partial #2}}$$ $$\gdef \set #1 {\left\lbrace #1 \right\rbrace} $$ % My colours $$\gdef \aqua #1 {\textcolor{8dd3c7}{#1}} $$ $$\gdef \yellow #1 {\textcolor{ffffb3}{#1}} $$ $$\gdef \lavender #1 {\textcolor{bebada}{#1}} $$ $$\gdef \red #1 {\textcolor{fb8072}{#1}} $$ $$\gdef \blue #1 {\textcolor{80b1d3}{#1}} $$ $$\gdef \orange #1 {\textcolor{fdb462}{#1}} $$ $$\gdef \green #1 {\textcolor{b3de69}{#1}} $$ $$\gdef \pink #1 {\textcolor{fccde5}{#1}} $$ $$\gdef \vgrey #1 {\textcolor{d9d9d9}{#1}} $$ $$\gdef \violet #1 {\textcolor{bc80bd}{#1}} $$ $$\gdef \unka #1 {\textcolor{ccebc5}{#1}} $$ $$\gdef \unkb #1 {\textcolor{ffed6f}{#1}} $$ % Vectors $$\gdef \vx {\pink{\vect{x }}} $$ $$\gdef \vy {\blue{\vect{y }}} $$ $$\gdef \vb {\vect{b}} $$ $$\gdef \vz {\orange{\vect{z }}} $$ $$\gdef \vtheta {\vect{\theta }} $$ $$\gdef \vh {\green{\vect{h }}} $$ $$\gdef \vq {\aqua{\vect{q }}} $$ $$\gdef \vk {\yellow{\vect{k }}} $$ $$\gdef \vv {\green{\vect{v }}} $$ $$\gdef \vytilde {\violet{\tilde{\vect{y}}}} $$ $$\gdef \vyhat {\red{\hat{\vect{y}}}} $$ $$\gdef \vycheck {\blue{\check{\vect{y}}}} $$ $$\gdef \vzcheck {\blue{\check{\vect{z}}}} $$ $$\gdef \vztilde {\green{\tilde{\vect{z}}}} $$ $$\gdef \vmu {\green{\vect{\mu}}} $$ $$\gdef \vu {\orange{\vect{u}}} $$ % Matrices $$\gdef \mW {\matr{W}} $$ $$\gdef \mA {\matr{A}} $$ $$\gdef \mX {\pink{\matr{X}}} $$ $$\gdef \mY {\blue{\matr{Y}}} $$ $$\gdef \mQ {\aqua{\matr{Q }}} $$ $$\gdef \mK {\yellow{\matr{K }}} $$ $$\gdef \mV {\lavender{\matr{V }}} $$ $$\gdef \mH {\green{\matr{H }}} $$ % Coloured math $$\gdef \cx {\pink{x}} $$ $$\gdef \ctheta {\orange{\theta}} $$ $$\gdef \cz {\orange{z}} $$ $$\gdef \Enc {\lavender{\text{Enc}}} $$ $$\gdef \Dec {\aqua{\text{Dec}}}$$
🎙️ Alfredo Canziani

Typora

Typora est un outil utile pour écrire en markdown et ajouter des formules en LaTeX. Il est pratique pour rédiger des articles, des devoirs et générer des fichiers pdf.

Notion


Avec Notion vous pouvez placer en un endroit toutes vos affaires préférées. Cela inclut, sans s’y limiter, les recettes, la musique, les livres, les notes. Tout en un seul endroit, simple et puissant.

Lorsque vous trouvez un article utile sur l’apprentissage profond, vous pouvez l’y stocker pour le consulter ultérieurement. Vous pouvez trouver plus d’informations sur la façon d’utiliser la base de données.

Vous devez d’abord créer une base de données via Workspace => Add a new page. Dans cette page, choisissez /table => Table - Full Page. En plus de remplir les informations relatives au document, nous voulons généralement couvrir le traditionnel « Qui ? Quoi ? Où ? Pourquoi ? Comment ? Quand ? » dans le résumé.

Voici un exemple (en anglais) de la façon d’organiser votre résumé.

Diagrams.net

Diagrams.net est un excellent outil pour dessiner des diagrammes de réseaux neuronaux. Nous allons introduire quelques règles pour rendre nos diagrammes plus cohérents avec ceux du cours.


Le fond en niveaux de gris signifie qu’il s’agit d’une observation donc qu’il s’agit de points de données d’un jeu de données fourni. Vous pouvez vérifier l’entrée et les étiquettes en allant dans le répertoire du jeu de données si vous le souhaitez.


Nous utilisons Delay pour désigner l’encodeur (par exemple, un réseau neuronal).


Dans cet exemple, $\vx$ et $\vy$ sont des observations.

Dans la moitié ci-dessus, nous donnons les $\vx$ à un encodeur pour obtenir une prédiction $\bar {\vy}$. C’est ce qu’on appelle la propagation vers l’avant.

Dans la moitié inférieure, nous voulons obtenir la prédiction $\bar{\vx}$ étant donné l’observation $\vy$. Nous continuons à faire une descente de gradient pour que la sortie du réseau soit aussi proche que possible de $\vy$. C’est ce qu’on appelle « l’inférence amortissante ».

Habituellement, nous utilisons la rétropropagation pour calculer le gradient, puis nous appliquons la descente de gradient avec ces valeurs calculées pour entraîner le modèle. Cet exemple montre que la rétropropagation n’est PAS uniquement utilisée pendant l’entraînement. La rétropropagation peut également être utilisée pour l’inférence.

Classification d’une spirale

Le contenu suivant est essentiellement le même que celui de l’année dernière, rendez-vous donc ici pour le consulter.


📝 Wenhao Li
Loïck Bourdois
6 May 2021