APPRENTISSAGE PROFOND

DS-GA 1008 - PRINTEMPS 2020 - NYU CENTER FOR DATA SCIENCE

INSTRUCTEURS Yann Le Cun & Alfredo Canziani
CONFÉRENCES Lundi 16h55 - 18h35, GCASL C95
PRATIQUE Mardi 19h10 - 20h00, GCASL C95
FORUM r/NYU_DeepLearning
MATERIEL Google Drive, Notebooks

Description

Ce cours porte sur les techniques d’apprentissage profond et de représentation les plus récentes. Il se concentre sur l’apprentissage profond supervisé et non supervisé, les méthodes d’enchâssement, l’apprentissage métrique, les réseaux convolutifs et récurrents. Il est illustré d’applications à la vision par ordinateur, la compréhension du langage naturel et la reconnaissance vocale.

Pour suivre ce cours, il est fortement conseillé d’avoir des prérequis en algèbre et d’avoir déjà suivi un cours introductif d’apprentissage machine ou de data science. D’après Yann Le Cun, ces cours sont destinés à des personnes de niveau bac+4 ou bac+5.

Conférences

Legende: 🖥 Diaporama, 📓 Notebook Jupyter, 🎥 Video YouTube.

Semaine Format Titre Resources
Conférence Histoire et motivations 🖥️ 🎥
Evolution et Apprentissage profond
Pratique Réseaux de neurones (Neural Network : NN) 📓 📓 🎥
Conférence Descente de gradient stochastique et rétropropagation 🖥️ 🎥
La rétropropagation en pratique
Pratique Entraînement d’un NN 🖥 📓 📓 🎥
Conférence Transformation de paramètres 🖥️ 🎥
Réseaux de neurones convolutifs (ConvNets)
Pratique Propriétés des signaux naturels 🖥 📓 🎥
Pratique Convolution à 1 dimension 📓 🎥
Conférence Optimisation I 🖥️ 🎥
Optimisation II
Pratique ConvNets, autograd 📓 📓 🎥
Conférence Applications des ConvNets 🖥️ 🖥️ 🎥
Réseaux de neurones récurrents (RNNs) et Attention
Pratique Entraîner des RNNs 🖥️ 📓 📓 🎥
Conférence Modèles à base d’énergie (EBM) 🖥️ 🎥
Apprentissage auto-supervisé et EBM
Pratique Auto-encodeurs 🖥️ 📓 🎥
Conférence Méthodes contrastives 🖥️ 🎥
Variable latente régularisée
Pratique Entraîner des Auto-Encodeurs Variationnels (VAEs) 🖥️ 📓 🎥
Conférence Eparsité 🖥️ 🎥
Modèles du monde, Réseaux génératifs antagonistes (GANs)
Pratique Entraîner des GANs 🖥️ 📓 🎥
Conférence Apprentissage auto-supervisé appliqué à la vision par ordinateur I 🖥️ 🎥
Apprentissage auto-supervisé appliqué à la vision par ordinateur II
Pratique Contrôle prédictif 🖥️ 📓 🎥
Conférence Fonctions d’activation 🖥️ 🖥️ 🖥️ 🎥
Fonctions de perte
Pratique PPUU 🖥️ 📓 🎥
Conférence Apprentissage profond pour le traitement du langage naturel (NLP) I 🖥️ 🎥
Apprentissage profond pour le traitement du langage naturel (NLP) II
Pratique Attention & Transformer 🖥️ 📓 🎥
Conférence Réseau convolutif sur graphe I 🖥️ 🎥
Réseau convolutif sur graphe II
Practicum Réseau convolutif sur graphe III 🖥️ 📓 🎥
Conférence Prévision structurée 🖥️ 🎥
Méthodes graphiques
Practicum Régularisation et réseaux bayésiens 🖥️ 📓 🖥️ 📓 🎥

Corps enseignants

Rôle Photo Contact A propos
Instructeur Yann Le Cun
yann@cs.nyu.edu
Silver Professor en Computer
Science à la New York University (NYU)
et lauréat du prix Turing 2019
Instructeur Alfredo Canziani
canziani@nyu.edu
Prof. Ast. en Computer Science à la NYU
Assistant Mark Goldstein
goldstein@nyu.edu
Doctorant en Computer Science à NYU
Webmaster Zeming Lin
zl2799@nyu.edu
Doctorant en Computer Science à NYU
Traducteur Loïck Bourdois
N’appartient pas au corps enseignant de la NYU

Traduction

Tous les textes présents sur ce site sont des notes de cours prises par les étudiants de la New York University lors des conférences données par Yann Le Cun, Alfredo Canziani, Ishan Misra, Mike Lewis et Xavier Bresson. Ainsi les textes en anglais ont été rédigés par plus de 130 personnes, ce qui a un impact sur l’homogénéité des textes (certains écrivent au passé, d’autres au présent ; les abréviations utilisées ne sont pas forcément toujours les mêmes ; certains écrivent des phrases courtes, quand d’autres écrivent des phrases pouvant aller jusqu’à 5 ou 6 lignes, etc.).

La traduction en français qui vous est proposée a été effectuée par une seule et unique personne puis relu par différentes, le but étant d’atténuer les problèmes cités à l’instant, et de proposer une traduction homogène. L’ensemble des choix qui ont été retenus pour la rédaction et la traduction sont détaillés ici. Cette traduction a nécessité soixante-dix d’heures et a été plusieurs fois vérifiée. Néanmoins, il se peut qu’il y ait des oublis : fautes de frappe, d’orthographe, etc. Si vous en remarquez, nous vous invitons à soumettre une PR sur le répertoire GitHub du site en précisant avec un [FR] qu’elle concerne la traduction française.

Enfin, précisons que ce site est destiné à accompagner l’édition « Printemps 2020 » du cours sur l’apprentissage profond de la NYU. Dans les éditions futures, les retranscriptions des cours présents sur le site ne seront pas modifiées ce qui ne sera pas le cas des notebooks. De ce fait, tous les liens renvoyant vers les notebooks vous conduiront vers leurs versions anglaises les plus récentes. Si vous le souhaitez, vous pouvez tout de même consulter une traduction française des 16 notebooks se basant sur une version des notebooks datant de septembre 2020. Toute modification ultérieure des notebooks anglais ne sera pas prise en compte. La version française est disponible ici.

En vous souhaitant une deep lecture :]