딥러닝
DS-GA 1008 · 2020 봄 · NYU CENTER FOR DATA SCIENCE
| 강사 | 얀 르쿤 & 알프래도 캔지아니 |
| 이론 | 월요일 16:55 – 18:35, GCASL C95 |
| 실습 | 화요일 19:10 – 20:00, GCASL C95 |
| 포럼 | r/NYU_DeepLearning |
| 강의자료 | Google Drive, Notebooks |
소개
이 코스에서는 지도 학습과 비지도 학습, 임베딩 기법, 메트릭 학습, 합성곱 및 순환 신경망 등의 최신 딥러닝 및 표현 학습 기법과 컴퓨터 비전, 자연어 이해, 음성 인식 분야에서 이들의 적용 사례들을 소개합니다. 이 수업을 듣기 위해선 DS-GA 1001 Intro to Data Science 강의나 대학원 수준의 머신 러닝 지식이 필요합니다.
강의
범례: 🖥 슬라이드, 📓 주피터 노트북, 🎥 유튜브.
| 주차 | 형식 | 제목 | 자료 |
|---|---|---|---|
| ① | 이론 | 딥러닝의 등장과 역사 | 🖥️ 🎥 |
| 딥러닝의 발전 | |||
| 실습 | 신경망 (NN) | 📓 📓 🎥 | |
| ② | 이론 | 확률적 경사 하강법과 역전파 | 🖥️ 🎥 |
| 경사하강법의 적용 | |||
| 실습 | 신경망의 학습 | 🖥 📓 📓 🎥 | |
| ③ | 이론 | 매개변수 변환 | 🖥️ 🎥 |
| 합성곱 신경망 | |||
| 실습 | 자연 신호의 성질 | 🖥 📓 🎥 | |
| ④ | 실습 | 1D 합성곱 | 📓 🎥 |
| ⑤ | 실습 | 최적화 I | 🖥️ 🎥 |
| 최적화 II | |||
| 실습 | CNN, autograd | 📓 📓 🎥 | |
| ⑥ | 이론 | CNN의 적용 | 🖥️ 🖥️ 🎥 |
| 순환 신경망과 어텐션 | |||
| 실습 | RNN의 학습 | 📓 📓 🖥️ 🎥 | |
| ⑦ | 이론 | 에너지 기반 모델 | 🖥️ 🎥 |
| SSL, EBM | |||
| 실습 | 오토인코더 | 🖥️ 📓 🎥 | |
| ⑧ | 이론 | 대조적 방법 | 🖥️ 🎥 |
| 정규화 잠재 변수Regularised latent | |||
| 실습 | VAE의 학습 | 🖥️ 📓 🎥 | |
| ⑨ | 이론 | 희소성Sparsity | 🖥️ 🎥 |
| 세계 모델과 생산적 적대 신경망 | |||
| 실습 | GAN의 학습 | 🖥️ 📓 🎥 | |
| ⑩ | 이론 | CV SSL I | 🖥️ 🎥 |
| CV SSL II | |||
| 실습 | Predictive Control | 🖥️ 📓 🎥 | |
| ⑪ | 이론 | 활성화 함수 | 🖥️ 🖥️ 🖥️ 🎥 |
| 손실 함수 | |||
| 실습 | PPUU | 🖥️ 📓 🎥 | |
| ⑫ | 이론 | NLP를 위한 딥러닝 I | 🖥️ 🎥 |
| NLP를 위한 딥러닝 II | |||
| 실습 | 어텐션 & 트렌스포머 | 🖥️ 📓 🎥 | |
| ⑬ | 이론 | 그래프 합성곱 신경망 I | 🖥️ 🎥 |
| 그래프 합성곱 신경망 II | |||
| 실습 | 그래프 합성곱 신경망 III | 🖥️ 📓 🎥 | |
| ⑭ | 이론 | 구조화된 예측 | 🖥️ 🎥 |
| 그래프 기반 방법 | |||
| 실습 | 과적합과 정규화 | 🖥️ 📓 🖥️ 📓 🎥 | |
| ⑮ | 실습 | Latent-Variable EBM의 추론 | 🖥️ 🎥 |
| Latent-Variable EBM의 학습 | 🖥️ 🎥 |
강의자
| 직책 | 사진 | 연락처 | 소개 |
|---|---|---|---|
| 교수 |  |
Yann LeCun yann@cs.nyu.edu |
Silver Professor in CS at NYU and Turing Award winner |
| 교수 |  |
Alfredo Canziani canziani@nyu.edu |
Asst. Prof. in CS at NYU |
| 조교 |  |
Mark Goldstein goldstein@nyu.edu |
PhD student in CS at NYU |
| 웹 관리자 |  |
Zeming Lin zl2799@nyu.edu |
PhD student in CS at NYU |
Disclaimer
이 사이트의 목차를 제외한 모든 텍스트는 Yann Le Cun, Alfredo Canziani, Aaron Defazio, Ishan Misra, Mike Lewis와 Xavier Bresson가 뉴욕대학교에서 진행한 수업을 기반으로 뉴욕대학교 학생들이 작성한 강의 노트입니다.
즉, 본 사이트의 글은 130명 이상의 서로 다른 사람이 영어로 작성하고 이를 다시 20여 명의 사람이 번역한 바, 글의 용어나 시제 등이 통일되어 있지 않을 수 있습니다.
또한, 오탈자나 내용상의 모순 등 다양한 오류가 있을 수 있습니다. 이러한 오류를 발견하신다면, 본 사이트의 깃허브에 PR을 남겨주세요. ([KR] 태그를 제목에 붙여, 사이트의 한글 자료와 관련된 것임을 알려주세요!)
즐거운 딥러닝 learning 되시길 바랍니다!