APPRENTISSAGE PROFOND
DS-GA 1008 · PRINTEMPS 2021 · NYU CENTER FOR DATA SCIENCE
| INSTRUCTEURS | Yann Le Cun & Alfredo Canziani |
| COURS MAGISTRAUX | Mercredi 9:30 – 11:30, Zoom |
| TRAVAUX DIRIGÉS | Jeudi 9:30 – 10:30, Zoom |
| FORUM | r/NYU_DeepLearning |
| DISCORD | NYU DL |
| MATERIEL | répertoire GitHub |
Informations liées à l’édition 2021
Consultez le fichier README.md du dépôt pour en savoir plus sur :
- La nouvelle organisation du contenu
- Le dilemme intellectuel de la seconde moitié du semestre
- Le répertoire de ce semestre
- Les éditions précédentes
Cours magistraux
La plupart des cours, des travaux dirigés et des notebooks sont similaires à l’édition précédente. Néanmoins certains sont nouveaux. Nous essayerons d’indiquer clairement lesquels.
Légende : 🖥 diapositives, 📓 notebook Jupyter, 🎥 vidéos YouTube
Thème 1 : Introduction
- Historique et ressources 🎥 🖥
- Descente de gradient et algorithme de rétropropagation 🎥 🖥
- Inférence des réseaux de neurones 🎥 📓
- Modules et architectures 🎥
- Entraînement des réseaux neuronaux 🎥 🖥 📓📓
- Devoir 1
Thème 2 : Partage des paramètres
- Réseaux convolutifs et récurrents 🎥 🖥 📝
- ConvNets en pratique 🎥 🖥 📝
- Les propriétés des signaux naturels et la convolution 🎥 🖥 📓
- Réseaux neuronaux récurrents, de base et à portes (LSTM) 🎥 🖥 📓📓
- Devoir 2
Thème 3 : Modèles à base d’énergie (EBMs), fondations
- Modèles à base d’énergie (I) 🎥 🖥
- Inférence pour les modèles à base d’énergie à variable latente (LV-EBMs) 🎥 🖥
- A quoi servent les EBMs ? 🎥
- Modèles à base d’énergie (II) 🎥 🖥 📝
- Entraînement des LV-EBMs 🎥 🖥
- Devoir 3
Thème 4 : Modèles à base d’énergie, avancés
- Modèles à base d’énergie (III) 🎥 🖥
- Apprentissage automatique et auto-encodeurs 🎥 🖥
- Modèles à base d’énergie (IV) 🎥 🖥
- Du LV-EBM à (tout) auto-encodeur 🎥 🖥
- Modèles à base d’énergie (V) 🎥 🖥
- Auto-encodeurs avec PyTorch et GANs 🎥 🖥 📓 📓
Thème 5 : Mémoires associatives
Thème 6 : Graphes
- Graph Transformer Network [A][B] 🎥 🖥
- Réseaux convolutifs pour graphe (I) [édition 2020] 🎥 🖥
- Réseaux convolutifs pour graphe (II) 🎥 🖥 📓
Thème 7 : Contrôle
- Planification et contrôle 🎥 🖥
- Le « Truck Backer-Upper » 🎥 🖥 📓
- Prévision et planification en cas d’incertitude 🎥 🖥