ГЛУБОКОЕ ОБУЧЕНИЕ

DS-GA 1008 · ВЕСНА 2020 · ЦЕНТР НАУКИ О ДАННЫХ НЬЮ-ЙОРКСКОГО УНИВЕРСИТЕТА NYU

ПРЕПОДАВАТЕЛИ	Yann LeCun & Alfredo Canziani
ЛЕКЦИИ	Mondays 16:55 – 18:35, GCASL C95
ПРАКТИКУМЫ	Tuesdays 19:10 – 20:00, GCASL C95
ФОРУМ	r/NYU_DeepLearning
МАТЕРИАЛЫ	Google Drive, Рабочие тетради

Описание

В этом курсе рассматриваются новейшие методы машинного обучения и обучения признакам, с фокусом на глубокое обучение с учителем и без учителя, методы извлечения признаков, изучение метрик, свёрточные и рекуррентные сети, с приложениями в компьютерном зрении, понимании естественного языка и распознавании речи. Предварительные требования включают в себя: DS-GA 1001 Intro to Data Science или курс машинного обучения уровня graduate.

Лекции

Обозначения: 🖥 slides, 📓 Jupyter notebook, 🎥 YouTube video.

Неделя	Формат	Заголовок	Ресурсы
①	Лекция	История и предпосылки	🖥️ 🎥
		Развитие и Глубокое Обучение
	Практикум	Нейронные сети (NN)	📓 📓 🎥
②	Лекция	Стохастический градиентный спуск и метод обратного распространения ошибки	🖥️ 🎥
		Метод обратного распространения ошибки на практике
	Практикум	Обучение нейронных сетей	🖥 📓 📓 🎥
③	Лекция	Преобразование параметров	🖥️ 🎥
		CNN (Свёрточные нейронные сети)
	Практикум	Свойства естественных сигналов	🖥 📓 🎥
④	Практикум	1D свёртки	📓 🎥
⑤	Лекция	Оптимизация I	🖥️ 🎥
		Оптимизация II
	Практикум	CNN, autograd	📓 📓 🎥
⑥	Лекция	Применение CNN	🖥️ 🖥️ 🎥
		Рекуррентные нейронные сети (RNNs) и внимание
	Практикум	Обучение RNNs	📓 📓 🖥️ 🎥
⑦	Лекция	Энергетические модели	🖥️ 🎥
		Самостоятельное обучение, Энергетические модели
	Практикум	Автокодировщики	🖥️ 📓 🎥
⑧	Лекция	Методы противопоставления	🖥️ 🎥
		Регуляризованная скрытность
	Практикум	Обучение вариационных автокодировщиков	🖥️ 📓 🎥
⑨	Лекция	Разреженность	🖥️ 🎥
		Модель слова, GANs
	Практикум	Обучение GANs	🖥️ 📓 🎥
⑩	Лекция	Самостоятельное обучение в компьютерном зрении I	🖥️ 🎥
		Самостоятельное обучение в компьютерном зрении II
	Практикум	Предсказательное управление	🖥️ 📓 🎥
⑪	Лекция	Функции активации	🖥️ 🖥️ 🖥️ 🎥
		Функции потерь
	Практикум	Предсказание и обучение поведения в условиях неопределённости	🖥️ 📓 🎥
⑫	Лекция	Глубокое Обучение для обработки естесственного языка I	🖥️ 🎥
		Глубокое Обучение для обработки естесственного языка II
	Практикум	Внимание и трансформер	🖥️ 📓 🎥
⑬	Лекция	Графовые нейронные сети I	🖥️ 🎥
		Графовые нейронные сети II
	Практикум	Графовые нейронные сети III	🖥️ 📓 🎥
⑭	Лекция	Структурированные предсказания	🖥️ 🎥
		Графические методы
	Практикум	Регуляризация и Байесовские нейронные сети	🖥️ 📓 🖥️ 📓 🎥
⑮	Практикум	Вывод для энергетических моделей со скрытыми переменными	🖥️ 🎥
		Обучение энергетических моделей со скрытыми переменными	🖥️ 🎥

People

Должность	Фото	Контакт	О себе
Преподаватель		Yann LeCun yann@cs.nyu.edu	Silver Professor in CS at NYU и лауреат Премии Тьюринга
Преподаватель		Alfredo Canziani canziani@nyu.edu	Asst. Prof. in CS at NYU
Ассистент		Mark Goldstein goldstein@nyu.edu	PhD student in CS at NYU
Веб-разработчик		Zeming Lin zl2799@nyu.edu	PhD student in CS at NYU
Выпускник		Serkan Karakulak sk7685@nyu.edu
Ученик		Raghav Jajodia rj1408@nyu.edu
Ученик		Priyank Pathak pp1953@nyu.edu
Ученик		Chiao-Hsun Wang chw371@nyu.edu
Ученик		Pedro Vidal pmh314@nyu.edu
Ученик		Bixing Yan by783@nyu.edu