DUBOKO UČENJE

DS-GA 1008 · PROLEĆE 2020 · NYU CENTAR ZA DATA SCIENCE

PREDAVAČI Yann LeCun & Alfredo Canziani
LEKCIJE Ponedeljak 16:55 – 18:35, GCASL C95
VEŽBE Utorak 19:10 – 20:00, GCASL C95
FORUM r/NYU_DeepLearning
MATERIJALI Google Drive, Notebooks

Opis

Ovaj kurs prati najskorije tehnike u dubokom učenju i učenju reprezentacija. Fokusira se na nadgledano i nenadgledano učenje, embedding metode, učenje metrika, konvolucione i rekurentne neuronske mreže, sa primenama u računarskoj viziji, razumevanju prirodnog jezika i prepoznavanju govora. Potrebno predznanje: DS-GA 1001 Intro to Data Science ili kurs mašinskog učenja na nivou master ili doktorskih studija.

Lekcije

Oznake: 🖥 slajdovi, 📓 Jupyter notebook, 🎥 YouTube video.

Nedelja Format Naslov Sadržaji
Lekcije Istorija i motivacija 🖥️ 🎥
Evolucija i duboko učenje
Praktikum Neuronske mreže (NN) 📓 📓 🎥
Lekcije Stohastički gradijentni spust (SGD) i propagacija unazad 🖥️ 🎥
Propagacija unazad u praksi
Praktikum Obučavanje neuronskih mreža 🖥 📓 📓 🎥
Lekcije Transformacija parametara 🖥️ 🎥
Konvolucione neuronske mreže (CNN)
Praktikum Svojstva prirodnih signala 🖥 📓 🎥
Praktikum 1D konvolucija 📓 🎥
Lekcije Optimizacija I 🖥️ 🎥
Optimizacija II
Praktikum Konvolucione neuronske mreže (CNN), autograd 📓 📓 🎥
Lekcije CNN primene 🖥️ 🖥️ 🎥
Rekurentne neuronske mreže (RNN) i mehanizam pažnje (attention)
Praktikum Obučavanje RNN 📓 📓 🖥️ 🎥
Lekcije Modeli zasnovani na energiji (EBM) 🖥️ 🎥
Samonadgledano učenje (SSL), EBM
Praktikum Autoenkoderi 🖥️ 📓 🎥
Lekcije Kontrastivne metode 🖥️ 🎥
Regularizovani latentni modeli energije
Praktikum Obučavanje varijacionih autoenkodera (VAE) 🖥️ 📓 🎥
Lekcije Proređenost 🖥️ 🎥
Model reči, GAN
Praktikum Treniranje GAN-ova 🖥️ 📓 🎥
Lekcije Računarska vizija (CV) SSL I 🖥️ 🎥
Računarska vizija (CV) SSL II
Praktikum Prediktivno upravljanje 🖥️ 📓 🎥
Lekcije Aktivacije 🖥️ 🖥️ 🖥️ 🎥
Funkcije gubitka
Praktikum PPUU 🖥️ 📓 🎥
Lekcije Duboko učenje za obradu prirodnih jezika (NLP) I 🖥️ 🎥
Duboko učenje za obradu prirodnih jezika (NLP) II
Praktikum Mehanizmi pažnje (attention) i Transformeri 🖥️ 📓 🎥
Lekcije Grafovske konvolucione mreže (GCN) I 🖥️ 🎥
Grafovske konvolucione mreže (GCN) II
Praktikum Grafovske konvolucione mreže (GCN) III 🖥️ 📓 🎥
Lekcije Struktuirane predikcije 🖥️ 🎥
Grafičke metode
Praktikum Regularizacija i Bajesovske neuronske mreže 🖥️ 📓 🖥️ 📓 🎥

Ljudi

Uloga Slika Kontakt O nama
Predavač Yann LeCun
yann@cs.nyu.edu
Silver Profesor računarskih nauka na NYU
i dobitnih Turing nagrade
Predavač Alfredo Canziani
canziani@nyu.edu
Asst. Prof. računarskih nauka na NYU
Asistent Mark Goldstein
goldstein@nyu.edu
Doktorski student računarskih nauka na NYU
Webmaster Zeming Lin
zl2799@nyu.edu
Doktorski student računarskih nauka na NYU

Disclaimer

Svi ostali tekstovi na ovom sajtu su beleške sa predavanja studenata Njujorškog Univerziteta tokom lekcija koje su držali Yann LeCun, Alfredo Canziani, Ishan Misra, Mike Lewis and Xavier Bresson. Dakle, tekstove na engleskom je pisalo oko 130 ljudi što utiče na homogenost teksta (nešto je napisano u prošlom vremenu, nešto u sadašnjem; skraćenice nisu uvek iste; neke rečenice su kratke, a neke su u 5-6 redova, itd.). Moguće je da postoje neke greške: greške u kucanju, slovne greške, itd. Ako primetite neku, pozivamo vas da postavite PR na GitHub direktorijumu sajta specifirajući sa [SR] da je u vezi tekstova na srpskom.

Želimo vam duboko čitanje!