深度学习
DS-GA 1008 · 2020 春季 · 纽约大学数据科学中心
| 指导教师 | Yann LeCun 和 Alfredo Canziani |
| 讲座课 | 周一 16:55 – 18:35, GCASL C95 |
| 动手做 | 周二 19:10 – 20:00, GCASL C95 |
| 網絡論壇 | r/NYU_DeepLearning |
| 资料 | Google 云端硬盘, Notebooks |
简介
本课程涉及深度学习和表示学习的最新技术，重点包括监督式深度学习和无监督深度学习、（词）嵌入、度量学习、卷积和递归网络，以及在计算机视觉、自然语言理解和语音识别方面的应用。先修课程包括：DS-GA 1001 数据科学入门 或一门研究生级别的机器学习课程。
课程
图例: 🖥 幻灯片, 📓 Jupyter notebook, 🎥 YouTube 视频.
| 周数 | 形式 | 题目 | 资源 |
|---|---|---|---|
| ① | 讲座 | 历史及动力 | 🖥️ 🎥 |
| 发展及深度学习 | |||
| 动手做 | 神经网络 NN | 📓 📓 🎥 | |
| ② | 讲座 | 随机梯度下降 SGD 及反向传播 | 🖥️ |
| 反向传播详解 | |||
| 动手做 | 训练神经网络 | 🖥 📓 📓 | |
| ③ | 讲座 | 参数转换 | 🖥️ |
| 卷积神经网络 CNN | |||
| 动手做 | 自然信号的性质 | 🖥 📓 | |
| ④ | 动手做 | 一维卷积 | 📓 |
| ⑤ | 讲座 | 优化工具 I | 🖥️ 🎥 |
| 优化方法 II | |||
| 动手做 | 了解卷积和自动微分引擎 | 📓 📓 🎥 | |
| ⑥ | 讲座 | 卷积神经网络的用途 | 🖥️ 🖥️ 🎥 |
| 循环神经网路和注意力 | |||
| 动手做 | 训练循环神经网路 | 🖥️ 📓 📓 🎥 | |
| ⑦ | 讲座 | 能量基础模型 | 🖥️ 🎥 |
| 自我监督学习(SSL)﹑能量基础模型(EBM) | |||
| Practicum | 自动编码器 | 🖥️ 📓 🎥 | |
| ⑧ | 讲座 | 对比法 | 🖥️ 🎥 |
| 对潜在进行正则化 | |||
| 动手做 | 训练变分自编码器 | 🖥️ 📓 🎥 | |
| ⑨ | 讲座 | 稀疏性 | 🖥️ 🎥 |
| 世界模型﹑对抗性生成网络(GANs) | |||
| 动手做 | 训练对抗性生成网络(GANs) | 🖥️ 📓 🎥 | |
| ⑩ | 讲座 | CV自我监督学习一 | 🖥️ 🎥 |
| CV自我监督学习二 | |||
| 动手做 | 有预测性的控制 | 🖥️ 📓 🎥 | |
| ⑪ | 讲座 | 激活值 | 🖥️ 🖥️ 🖥️ 🎥 |
| 损失 | |||
| 动手做 | 不确定性下的预测和策略学习(PPUU) | 🖥️ 📓 🎥 | |
| ⑫ | Lecture | DL for NLP I | 🖥️ 🎥 |
| DL for NLP II | |||
| Practicum | Attention & transformer | 🖥️ 📓 🎥 | |
| ⑬ | 讲座 | 图形卷积网络 I | 🖥️ 🎥 |
| 图形卷积网络 II | |||
| 动手做 | 图形卷积网络 III | 🖥️ 📓 🎥 | |
| ⑭ | 讲座 | 用于结构化预测的深度学习 | 🖥️ 🎥 |
| 图形能量基礎方式 | |||
| 动手做 | 正则化和贝叶斯 | 🖥️ 📓 🖥️ 📓 🎥 | |
| ⑮ | 动手做 | 潜在变量基于能量的模型（EBM）的推论 | 🖥️ 🎥 |
| 训练潜在变量能量基础模型（EBM） | 🖥️ 🎥 |
人物
| 角式 | 相片 | 联络方式 | 关于 |
|---|---|---|---|
| 讲师 |  |
Yann LeCun(杨立昆) yann@cs.nyu.edu |
在纽约大学计算机科学部门的银 级教授同时也是图灵奖获得者 |
| 讲师 |  |
Alfredo Canziani canziani@nyu.edu |
纽约大学计算机科学部门的助教 |
| 助手 |  |
Mark Goldstein goldstein@nyu.edu |
纽约大学计算机科学博士学生 |
| 网站管理员 |  |
Zeming Lin zl2799@nyu.edu |
纽约大学计算机科学博士学生 |