深層学習
DS-GA 1008 · 2020年度春学期 · ニューヨーク大学データ・サイエンス・センター
| 講師 | Yann LeCun & Alfredo Canziani |
| 講義 | 月曜日 16:55 – 18:35, GCASL C95 |
| 演習 | 火曜日 19:10 – 20:00, GCASL C95 |
| FORUM | r/NYU_DeepLearning |
| 資料 | Google Drive, Notebooks |
概要
この講義では、深層学習や表現学習の最新技術について、主に教師あり・教師なし深層学習、埋め込み手法、距離学習、畳み込み・再帰型ニューラルネットワークや、それらを用いたコンピュータビジョン、自然言語処理、音声認識などの応用技術を取り扱います。 この講義は「DS-GA 1001 Intro to Data Science」あるいは大学院レベルの機械学習科目をすでに履修していることを前提とします。
講義
凡例: 🖥 スライド, 📓 Jupyter notebook, 🎥 YouTubeビデオ.
| 週 | 形式 | タイトル | 資料 |
|---|---|---|---|
| ① | 講義 | 歴史とモチベーション | 🖥️ 🎥 |
| 発展と深層学習 | |||
| 演習 | ニューラルネット(NN) | 📓 📓 🎥 | |
| ② | 講義 | SGDと誤差逆伝播法 | 🖥️ 🎥 |
| 実用的な誤差逆伝播法 | |||
| 演習 | NNの訓練 | 🖥 📓 📓 🎥 | |
| ③ | 講義 | パラメータ変換 | 🖥️ 🎥 |
| CNN | |||
| 演習 | 自然界の信号の特性 | 🖥 📓 🎥 | |
| ④ | 演習 | 1D畳み込み | 📓 🎥 |
| ⑤ | 講義 | 最適化手法I | 🖥️ 🎥 |
| 最適化手法II | |||
| 演習 | CNN、自動微分 | 📓 📓 🎥 | |
| ⑥ | 講義 | CNNの応用技術 | 🖥️ 🖥️ 🎥 |
| RNNと注意機構 | |||
| 演習 | RNNの訓練 | 🖥️ 📓 📓 🎥 | |
| ⑦ | 講義 | エネルギーベースモデル(EBM) | 🖥️ 🎥 |
| 自己教師あり学習(SSL)、EBM | |||
| 演習 | 自己符号化器 | 🖥️ 📓 🎥 | |
| ⑧ | 講義 | 対照学習法 | 🖥️ 🎥 |
| 正則化された潜在変数をもつEBM | |||
| 演習 | 変分自己符号化器(VAE)の訓練 | 🖥️ 📓 🎥 | |
| ⑨ | 講義 | スパース性 | 🖥️ 🎥 |
| 世界モデル、GAN | |||
| 演習 | GANの訓練 | 🖥️ 📓 🎥 | |
| ⑩ | 講義 | コンピュータビジョンにおける自己教師あり学習I | 🖥️ 🎥 |
| コンピュータビジョンにおける自己教師あり学習II | |||
| 演習 | 予測制御 | 🖥️ 📓 🎥 | |
| ⑪ | 講義 | 活性化関数 | 🖥️ 🖥️ 🖥️ 🎥 |
| ロス関数 | |||
| 演習 | 不確実な状況下における制御と計画 | 🖥️ 📓 🎥 | |
| ⑫ | 講義 | 自然言語処理のための深層学習I | 🖥️ 🎥 |
| 自然言語処理のための深層学習II | |||
| 演習 | 注意機構 & トランスフォーマ | 🖥️ 📓 🎥 | |
| ⑬ | 講義 | グラフ畳み込みネットワーク I | 🖥️ 🎥 |
| グラフ畳み込みネットワーク II | |||
| 演習 | グラフ畳み込みネットワーク III | 🖥️ 📓 🎥 | |
| ⑭ | 講義 | 構造化予測 | 🖥️ 🎥 |
| グラフ手法 | |||
| 演習 | 正則化とベイズ | 🖥️ 📓 🖥️ 📓 🎥 | |
| ⑮ | 演習 | 潜在変数EBMの推論 | 🖥️ 🎥 |
| 潜在変数EBMの学習 | 🖥️ 🎥 |
担当者
| 役割 | 写真 | 連絡先 | 所属 |
|---|---|---|---|
| 講師 |  |
Yann LeCun yann@cs.nyu.edu |
ニューヨーク大学コンピュータ・サイエンス学科シルバー教授 チューリング賞受賞者 |
| 講師 |  |
Alfredo Canziani canziani@nyu.edu |
ニューヨーク大学コンピュータ・サイエンス学科助教 |
| アシスタント |  |
Mark Goldstein goldstein@nyu.edu |
ニューヨーク大学コンピュータ・サイエンス学科博士課程 |
| サイト管理者 |  |
Zeming Lin zl2799@nyu.edu |
ニューヨーク大学コンピュータ・サイエンス学科博士課程 |
注意事項
このサイトにあるテキストの元はニューヨーク大学の学生のレクチャー・ノートです。日本語の翻訳は複数のボランティアによって翻訳されたものであるため、言葉遣い・訳語・スタイルが統一されてないことがあります。
また、誤訳、翻訳漏れ、入力ミスもあるかもしれません。それに気づいた場合、GitHubにプルリクエストを提出し、タイトルに[JA](和訳に関わるもの)を記載していただけると嬉しいです。