7주차
$$\gdef \sam #1 {\mathrm{softargmax}(#1)}$$
$$\gdef \vect #1 {\boldsymbol{#1}} $$
$$\gdef \matr #1 {\boldsymbol{#1}} $$
$$\gdef \E {\mathbb{E}} $$
$$\gdef \V {\mathbb{V}} $$
$$\gdef \R {\mathbb{R}} $$
$$\gdef \N {\mathbb{N}} $$
$$\gdef \relu #1 {\texttt{ReLU}(#1)} $$
$$\gdef \D {\,\mathrm{d}} $$
$$\gdef \deriv #1 #2 {\frac{\D #1}{\D #2}}$$
$$\gdef \pd #1 #2 {\frac{\partial #1}{\partial #2}}$$
$$\gdef \set #1 {\left\lbrace #1 \right\rbrace} $$
% My colours
$$\gdef \aqua #1 {\textcolor{8dd3c7}{#1}} $$
$$\gdef \yellow #1 {\textcolor{ffffb3}{#1}} $$
$$\gdef \lavender #1 {\textcolor{bebada}{#1}} $$
$$\gdef \red #1 {\textcolor{fb8072}{#1}} $$
$$\gdef \blue #1 {\textcolor{80b1d3}{#1}} $$
$$\gdef \orange #1 {\textcolor{fdb462}{#1}} $$
$$\gdef \green #1 {\textcolor{b3de69}{#1}} $$
$$\gdef \pink #1 {\textcolor{fccde5}{#1}} $$
$$\gdef \vgrey #1 {\textcolor{d9d9d9}{#1}} $$
$$\gdef \violet #1 {\textcolor{bc80bd}{#1}} $$
$$\gdef \unka #1 {\textcolor{ccebc5}{#1}} $$
$$\gdef \unkb #1 {\textcolor{ffed6f}{#1}} $$
% Vectors
$$\gdef \vx {\pink{\vect{x }}} $$
$$\gdef \vy {\blue{\vect{y }}} $$
$$\gdef \vb {\vect{b}} $$
$$\gdef \vz {\orange{\vect{z }}} $$
$$\gdef \vtheta {\vect{\theta }} $$
$$\gdef \vh {\green{\vect{h }}} $$
$$\gdef \vq {\aqua{\vect{q }}} $$
$$\gdef \vk {\yellow{\vect{k }}} $$
$$\gdef \vv {\green{\vect{v }}} $$
$$\gdef \vytilde {\violet{\tilde{\vect{y}}}} $$
$$\gdef \vyhat {\red{\hat{\vect{y}}}} $$
$$\gdef \vycheck {\blue{\check{\vect{y}}}} $$
$$\gdef \vzcheck {\blue{\check{\vect{z}}}} $$
$$\gdef \vztilde {\green{\tilde{\vect{z}}}} $$
$$\gdef \vmu {\green{\vect{\mu}}} $$
$$\gdef \vu {\orange{\vect{u}}} $$
% Matrices
$$\gdef \mW {\matr{W}} $$
$$\gdef \mA {\matr{A}} $$
$$\gdef \mX {\pink{\matr{X}}} $$
$$\gdef \mY {\blue{\matr{Y}}} $$
$$\gdef \mQ {\aqua{\matr{Q }}} $$
$$\gdef \mK {\yellow{\matr{K }}} $$
$$\gdef \mV {\lavender{\matr{V }}} $$
$$\gdef \mH {\green{\matr{H }}} $$
% Coloured math
$$\gdef \cx {\pink{x}} $$
$$\gdef \ctheta {\orange{\theta}} $$
$$\gdef \cz {\orange{z}} $$
$$\gdef \Enc {\lavender{\text{Enc}}} $$
$$\gdef \Dec {\aqua{\text{Dec}}}$$
강의 파트 A
에너지 기반 모델EBD energy-based model의 컨셉과 피드 포워드 신경망 feed-forward networks과 다른 접근법의 사용 목적을 소개한다. EBM의 쉽지않은 추론inference 을 풀기 위해 잠재 변수latent variable는 보조정보 제공과 다수의 가능한 예측을 갖게 해주는데 사용된다. 마지막으로, EBM은 좀 더 유연한 스코어링 함수scoring function를 가진 확률모델로 일반화가 가능하다.
<!–
Lecture part B
–>
강의 파트 B
자기 지도 학습self-supervised learning에 대하여 논의하고, 에너지 기반 모델을 어떻게 학습시키는지 소개하며, K-means 예를 이용해 잠재변수 에너지 기반 모델Latent Variable EBM에 대해 논의한다. 또한, 대조법, 지형도topographic map를 이용한 디노이징 오토인코더denoising autoencoder, 학습 과정, 그리고 이것이 어떻게 사용되는지 BERT의 소개와 함께 설명한다. 마지막으로, 지형도를 이용해 대조적 발산Contrastive Divergence에 대해 이야기한다.
실습
오토인코더의 응용과 사용하는 이유 등을 논의하고, 각각의 다른 오토인코더 구조(과소 혹은 과잉 완벽 은닉망under or over complete hidden layer)에 대해 이야기하며, 어떻게 오버피팅overfitting 이슈를 방지하며 어떠한 손실 함수loss functions가 사용되어야 하는지에 대해서 이야기한다. 마지막으로 기본적인 오토인코더와 디노이징 오토인코더를 구현한다.
Seok Hoan (Kevin) Choi