DUBOKO UČENJE

DS-GA 1008 · PROLEĆE 2020 · NYU CENTAR ZA DATA SCIENCE

PREDAVAČI	Yann LeCun & Alfredo Canziani
LEKCIJE	Ponedeljak 16:55 – 18:35, GCASL C95
VEŽBE	Utorak 19:10 – 20:00, GCASL C95
FORUM	r/NYU_DeepLearning
MATERIJALI	Google Drive, Notebooks

Opis

Ovaj kurs prati najskorije tehnike u dubokom učenju i učenju reprezentacija. Fokusira se na nadgledano i nenadgledano učenje, embedding metode, učenje metrika, konvolucione i rekurentne neuronske mreže, sa primenama u računarskoj viziji, razumevanju prirodnog jezika i prepoznavanju govora. Potrebno predznanje: DS-GA 1001 Intro to Data Science ili kurs mašinskog učenja na nivou master ili doktorskih studija.

Lekcije

Oznake: 🖥 slajdovi, 📓 Jupyter notebook, 🎥 YouTube video.

Nedelja	Format	Naslov	Sadržaji
①	Lekcije	Istorija i motivacija	🖥️ 🎥
		Evolucija i duboko učenje
	Praktikum	Neuronske mreže (NN)	📓 📓 🎥
②	Lekcije	Stohastički gradijentni spust (SGD) i propagacija unazad	🖥️ 🎥
		Propagacija unazad u praksi
	Praktikum	Obučavanje neuronskih mreža	🖥 📓 📓 🎥
③	Lekcije	Transformacija parametara	🖥️ 🎥
		Konvolucione neuronske mreže (CNN)
	Praktikum	Svojstva prirodnih signala	🖥 📓 🎥
④	Praktikum	1D konvolucija	📓 🎥
⑤	Lekcije	Optimizacija I	🖥️ 🎥
		Optimizacija II
	Praktikum	Konvolucione neuronske mreže (CNN), autograd	📓 📓 🎥
⑥	Lekcije	CNN primene	🖥️ 🖥️ 🎥
		Rekurentne neuronske mreže (RNN) i mehanizam pažnje (attention)
	Praktikum	Obučavanje RNN	📓 📓 🖥️ 🎥
⑦	Lekcije	Modeli zasnovani na energiji (EBM)	🖥️ 🎥
		Samonadgledano učenje (SSL), EBM
	Praktikum	Autoenkoderi	🖥️ 📓 🎥
⑧	Lekcije	Kontrastivne metode	🖥️ 🎥
		Regularizovani latentni modeli energije
	Praktikum	Obučavanje varijacionih autoenkodera (VAE)	🖥️ 📓 🎥
⑨	Lekcije	Proređenost	🖥️ 🎥
		Model reči, GAN
	Praktikum	Treniranje GAN-ova	🖥️ 📓 🎥
⑩	Lekcije	Računarska vizija (CV) SSL I	🖥️ 🎥
		Računarska vizija (CV) SSL II
	Praktikum	Prediktivno upravljanje	🖥️ 📓 🎥
⑪	Lekcije	Aktivacije	🖥️ 🖥️ 🖥️ 🎥
		Funkcije gubitka
	Praktikum	PPUU	🖥️ 📓 🎥
⑫	Lekcije	Duboko učenje za obradu prirodnih jezika (NLP) I	🖥️ 🎥
		Duboko učenje za obradu prirodnih jezika (NLP) II
	Praktikum	Mehanizmi pažnje (attention) i Transformeri	🖥️ 📓 🎥
⑬	Lekcije	Grafovske konvolucione mreže (GCN) I	🖥️ 🎥
		Grafovske konvolucione mreže (GCN) II
	Praktikum	Grafovske konvolucione mreže (GCN) III	🖥️ 📓 🎥
⑭	Lekcije	Struktuirane predikcije	🖥️ 🎥
		Grafičke metode
	Praktikum	Regularizacija i Bajesovske neuronske mreže	🖥️ 📓 🖥️ 📓 🎥

Ljudi

Uloga	Slika	Kontakt	O nama
Predavač		Yann LeCun yann@cs.nyu.edu	Silver Profesor računarskih nauka na NYU i dobitnih Turing nagrade
Predavač		Alfredo Canziani canziani@nyu.edu	Asst. Prof. računarskih nauka na NYU
Asistent		Mark Goldstein goldstein@nyu.edu	Doktorski student računarskih nauka na NYU
Webmaster		Zeming Lin zl2799@nyu.edu	Doktorski student računarskih nauka na NYU

Disclaimer

Svi ostali tekstovi na ovom sajtu su beleške sa predavanja studenata Njujorškog Univerziteta tokom lekcija koje su držali Yann LeCun, Alfredo Canziani, Aaron Defazio, Ishan Misra, Mike Lewis and Xavier Bresson. Dakle, tekstove na engleskom je pisalo oko 130 ljudi što utiče na homogenost teksta (nešto je napisano u prošlom vremenu, nešto u sadašnjem; skraćenice nisu uvek iste; neke rečenice su kratke, a neke su u 5-6 redova, itd.). Moguće je da postoje neke greške: greške u kucanju, slovne greške, itd. Ako primetite neku, pozivamo vas da postavite PR na GitHub direktorijumu sajta specifirajući sa [SR] da je u vezi tekstova na srpskom.

Želimo vam duboko čitanje!