APPRENTISSAGE PROFOND

DS-GA 1008 - PRINTEMPS 2020 - NYU CENTER FOR DATA SCIENCE

INSTRUCTEURS Yann Le Cun & Alfredo Canziani
COURS MAGISTRAUX Lundi 16h55 - 18h35, GCASL C95
TRAVAUX DIRIGÉS Mardi 19h10 - 20h00, GCASL C95
FORUM r/NYU_DeepLearning
DISCORD NYU DL
MATÉRIEL Google Drive,
Notebooks en anglais,
Notebooks en français

Description

Ce cours porte sur les techniques de représentation et d’apprentissage profond les plus récentes. Il se concentre sur l’apprentissage supervisé, non supervisé et autosupervisté, mais aussi sur les méthodes d’enchâssement, l’apprentissage métrique et les réseaux convolutifs et récurrents. Il est illustré d’applications à la vision par ordinateur, la compréhension du langage naturel et la reconnaissance vocale.

Pour suivre ce cours, il est fortement conseillé d’avoir des prérequis en algèbre et d’avoir déjà suivi un cours introductif d’apprentissage machine ou de data science. D’après Yann Le Cun, ces cours sont destinés à des personnes de niveau bac+4 ou bac+5.

Cours

Legende: 🖥 Diaporama, 📓 Notebook Jupyter, 🎥 Video YouTube.

Semaine Format Titre Resources
Cours magistral Histoire et motivations 🖥️ 🎥
Evolution et Apprentissage profond
Travaux dirigés Réseaux de neurones 📓 📓 🎥
Cours magistral Descente de gradient stochastique et rétropropagation 🖥️ 🎥
La rétropropagation en pratique
Travaux dirigés Entraînement d’un réseau de neurones 🖥 📓 📓 🎥
Cours magistral Transformation des paramètres 🖥️ 🎥
Réseaux de neurones convolutifs (ConvNets)
Travaux dirigés Propriétés des signaux naturels 🖥 📓 🎥
Travaux dirigés Convolution à 1 dimension 📓 🎥
Cours magistral Optimisation I 🖥️ 🎥
Optimisation II
Travaux dirigés ConvNets, autograd 📓 📓 🎥
Cours magistral Applications des ConvNets 🖥️ 🖥️ 🎥
Réseaux de neurones récurrents (RNNs) et Attention
Travaux dirigés Entraîner des RNNs 🖥️ 📓 📓 🎥
Cours magistral Modèles à base d’énergie (EBMs) 🖥️ 🎥
Apprentissage autosupervisé et EBMs
Travaux dirigés Auto-encodeurs 🖥️ 📓 🎥
Cours magistral Méthodes contrastives 🖥️ 🎥
Variable latente régularisée
Travaux dirigés Entraîner des Auto-Encodeurs Variationnels (VAEs) 🖥️ 📓 🎥
Cours magistral Eparsité 🖥️ 🎥
Modèles du monde, Réseaux génératifs antagonistes (GANs)
Travaux dirigés Entraîner des GANs 🖥️ 📓 🎥
Cours magistral Apprentissage autosupervisé appliqué à la vision par ordinateur I 🖥️ 🎥
Apprentissage autosupervisé appliqué à la vision par ordinateur II
Travaux dirigés Contrôle prédictif 🖥️ 📓 🎥
Cours magistral Fonctions d’activation 🖥️ 🖥️ 🖥️ 🎥
Fonctions de perte
Travaux dirigés Prediction et apprentissage d'une politique sous incertitude 🖥️ 📓 🎥
Cours magistral Apprentissage profond pour le traitement du langage naturel I 🖥️ 🎥
Apprentissage profond pour le traitement du langage naturel II
Travaux dirigés Attention & Transformer 🖥️ 📓 🎥
Cours magistral Réseau convolutif pour graphe I 🖥️ 🎥
Réseau convolutif pour graphe II
Travaux dirigés Réseau convolutif pour graphe III 🖥️ 📓 🎥
Cours magistral Prédiction utilisant la structure 🖥️ 🎥
Méthodes graphiques
Travaux dirigés Régularisation et réseaux bayésiens 🖥️ 📓 🖥️ 📓 🎥
Travaux dirigés Inférence pour les EBMs à variable latente 🖥️ 🎥
Entraînement des EBMs à variable latente 🖥️ 🎥

Corps enseignant

Rôle Photo Contact A propos
Instructeur Yann Le Cun
yann@cs.nyu.edu
Silver Professor en Computer
Science à la New York
University (NYU) et
lauréat du prix Turing 2019
Instructeur Alfredo Canziani
canziani@nyu.edu
Prof. Ast. en
Computer Science à la NYU
Assistant Mark Goldstein
goldstein@nyu.edu
Doctorant en
Computer Science à la NYU
Webmaster Zeming Lin
zl2799@nyu.edu
Doctorant en
Computer Science à la NYU
Traducteur Loïck Bourdois
N’appartient pas au corps
enseignant de la NYU