Apprendimento Profondo

DS-GA 1008 · PRIMAVERA 2020 · NYU CENTER FOR DATA SCIENCE

ISTRUTTORI Yann LeCun & Alfredo Canziani
LEZIONI Lunedì 16:55 – 18:35, GCASL C95
PRATICA Martedì 19:10 – 20:00, GCASL C95
FORUM r/NYU_DeepLearning
MATERIALE Google Drive, Notebooks

Description

Questo corso tratta delle ultime tecniche in apprendimento profondo (DL, Deep learning) e apprendimento della rappresentazione (representation learning), concentrandosi su apprendimento profondo supervisionato e non-supervisionato, metodi di embedding, apprendimento metrico (metric learning), reti convoluzionali e ricorrenti (CNN, Convolutional Neural Network); RNN, Recurrent Neural Network), con applicazioni di visione artificiale (computer vision), comprendimento del linguaggio naturale (NLU, Natural Language Understanding) e riconoscimento vocale (Speech Processing). I prerequisiti del corso includono: DS-GA 1001 Intro to Data Science o un corso di machine learning universitario.

Lezioni

Legenda: 🖥 slide, 📓 Jupyter notebook, 🎥 video di YouTube.

Settimana Formato Titolo Risorse
Lezione Storia e motivazione 🖥️ 🎥
Evoluzione e apprendimento profondo (DL, Deep Learning)
Pratica Reti Neurali (NN, Neural Network) 📓 📓 🎥
Lezione SGD e retropropagazione (backpropagation) 🖥️ 🎥
Retropropagazione in pratica
Pratica Addestramento di reti neurali 🖥 📓 📓 🎥
Lezione Trasformazione dei parametri 🖥️ 🎥
CNN
Pratica Proprietà dei segnali naturali 🖥 📓 🎥
Pratica Convoluzioni 1D 📓 🎥
Lezione Ottimizzazione I 🖥️ 🎥
Ottimizzazione II
Pratica CNN, autograd 📓 📓 🎥
Lezione Applicazioni di reti convoluzionali 🖥️ 🖥️ 🎥
RNNs, GRUs, LSTMs, Attenzione, Seq2Seq, e Reti di Memoria
Pratica Architettura delle RNN e modelli LSTM 🖥️ 📓 📓 🎥
Lezione Modelli ad energia (EBM, Energy Based Models) 🖥️ 🎥
SSL, EBM con dettagli ed esempi
Pratica Introduzione agli autoencoder 🖥️ 📓 🎥
Lezione Metodi contrastivi nei modelli ad energia 🖥️ 🎥
Modelli ad energia a variabile latente regolarizzata
Pratica Modelli generativi - autoencoder variazionali 🖥️ 📓 🎥
Lezione Autoencoder discriminativi ricorrenti sparsi 🖥️ 🎥
Modelli della realtà e reti avversarie generative
Pratica Reti avversarie generative 🖥️ 📓 🎥
Lezione Apprendimento auto-supervisionato - Compiti di pretesto 🖥️ 🎥
Apprendimento auto-supervisionato - ClusterFit e PIRL
Pratica Il controllore per la retromarcia di un camion 🖥️ 📓 🎥
Lezione Funzioni di attivazione e di perdita (parte 1) 🖥️ 🖥️ 🖥️ 🎥
Funzioni di perdita (cont.) e funzioni di perdita per i modelli ad energia
Pratica Articolo "Prediction and Policy learning Under Uncertainty" (PPUU) 🖥️ 📓 🎥

People

Role Photo Contact About
Instructor Yann LeCun
yann@cs.nyu.edu
Silver Professor in CS a NYU
and vincitore del Turing Award
Instructor Alfredo Canziani
canziani@nyu.edu
Professore in CS a NYU
Assistant Mark Goldstein
goldstein@nyu.edu
Dottorando in CS at NYU
Webmaster Zeming Lin
zl2799@nyu.edu
Dottorando in CS at NYU