深層学習

DS-GA 1008 · 2020年度春学期 · ニューヨーク大学データ・サイエンス・センター

講師 Yann LeCun & Alfredo Canziani
講義 月曜日 16:55 – 18:35, GCASL C95
演習 火曜日 19:10 – 20:00, GCASL C95
FORUM r/NYU_DeepLearning
資料 Google Drive, Notebooks

概要

この講義では、深層学習や表現学習の最新技術について、主に教師あり・教師なし深層学習、埋め込み手法、距離学習、畳み込み・再帰型ニューラルネットワークや、それらを用いたコンピュータビジョン、自然言語処理、音声認識などの応用技術を取り扱います。 この講義は「DS-GA 1001 Intro to Data Science」あるいは大学院レベルの機械学習科目をすでに履修していることを前提とします。

講義

凡例: 🖥 スライド, 📓 Jupyter notebook, 🎥 YouTubeビデオ.

形式 タイトル 資料
講義 歴史とモチベーション 🖥️ 🎥
発展と深層学習
演習 ニューラルネット(NN) 📓 📓 🎥
講義 SGDと誤差逆伝播法 🖥️ 🎥
実用的な誤差逆伝播法
演習 NNの訓練 🖥 📓 📓 🎥
講義 パラメータ変換 🖥️ 🎥
CNN
演習 自然界の信号の特性 🖥 📓 🎥
演習 1D畳み込み 📓 🎥
講義 最適化手法I 🖥️ 🎥
最適化手法II
演習 CNN、自動微分 📓 📓 🎥
講義 CNNの応用技術 🖥️ 🖥️ 🎥
RNNと注意機構
演習 RNNの訓練 🖥️ 📓 📓 🎥
講義 エネルギーベースモデル(EBM) 🖥️ 🎥
自己教師あり学習(SSL)、EBM
演習 自己符号化器 🖥️ 📓 🎥
講義 対照学習法 🖥️ 🎥
正則化された潜在変数をもつEBM
演習 変分自己符号化器(VAE)の訓練 🖥️ 📓 🎥
講義 スパース性 🖥️ 🎥
世界モデル、GAN
演習 GANの訓練 🖥️ 📓 🎥
講義 コンピュータビジョンにおける自己教師あり学習I 🖥️ 🎥
コンピュータビジョンにおける自己教師あり学習II
演習 予測制御 🖥️ 📓 🎥
講義 活性化関数 🖥️ 🖥️ 🖥️ 🎥
ロス関数
演習 不確実な状況下における制御と計画 🖥️ 📓 🎥
講義 自然言語処理のための深層学習I 🖥️ 🎥
自然言語処理のための深層学習II
演習 注意機構 & トランスフォーマ 🖥️ 📓 🎥

担当者

役割 写真 連絡先 所属
講師 Yann LeCun
yann@cs.nyu.edu
ニューヨーク大学コンピュータ・サイエンス学科シルバー教授
チューリング賞受賞者
講師 Alfredo Canziani
canziani@nyu.edu
ニューヨーク大学コンピュータ・サイエンス学科助教
アシスタント Mark Goldstein
goldstein@nyu.edu
ニューヨーク大学コンピュータ・サイエンス学科博士課程
サイト管理者 Zeming Lin
zl2799@nyu.edu
ニューヨーク大学コンピュータ・サイエンス学科博士課程
採点者 Serkan Karakulak
sk7685@nyu.edu
 
採点者 Raghav Jajodia
rj1408@nyu.edu
 
採点者 Priyank Pathak
pp1953@nyu.edu
 
採点者 Chiao-Hsun Wang
chw371@nyu.edu
 
採点者 Pedro Vidal
pmh314@nyu.edu
 
採点者 Bixing Yan
by783@nyu.edu