8주차
$$\gdef \sam #1 {\mathrm{softargmax}(#1)}$$
$$\gdef \vect #1 {\boldsymbol{#1}} $$
$$\gdef \matr #1 {\boldsymbol{#1}} $$
$$\gdef \E {\mathbb{E}} $$
$$\gdef \V {\mathbb{V}} $$
$$\gdef \R {\mathbb{R}} $$
$$\gdef \N {\mathbb{N}} $$
$$\gdef \relu #1 {\texttt{ReLU}(#1)} $$
$$\gdef \D {\,\mathrm{d}} $$
$$\gdef \deriv #1 #2 {\frac{\D #1}{\D #2}}$$
$$\gdef \pd #1 #2 {\frac{\partial #1}{\partial #2}}$$
$$\gdef \set #1 {\left\lbrace #1 \right\rbrace} $$
% My colours
$$\gdef \aqua #1 {\textcolor{8dd3c7}{#1}} $$
$$\gdef \yellow #1 {\textcolor{ffffb3}{#1}} $$
$$\gdef \lavender #1 {\textcolor{bebada}{#1}} $$
$$\gdef \red #1 {\textcolor{fb8072}{#1}} $$
$$\gdef \blue #1 {\textcolor{80b1d3}{#1}} $$
$$\gdef \orange #1 {\textcolor{fdb462}{#1}} $$
$$\gdef \green #1 {\textcolor{b3de69}{#1}} $$
$$\gdef \pink #1 {\textcolor{fccde5}{#1}} $$
$$\gdef \vgrey #1 {\textcolor{d9d9d9}{#1}} $$
$$\gdef \violet #1 {\textcolor{bc80bd}{#1}} $$
$$\gdef \unka #1 {\textcolor{ccebc5}{#1}} $$
$$\gdef \unkb #1 {\textcolor{ffed6f}{#1}} $$
% Vectors
$$\gdef \vx {\pink{\vect{x }}} $$
$$\gdef \vy {\blue{\vect{y }}} $$
$$\gdef \vb {\vect{b}} $$
$$\gdef \vz {\orange{\vect{z }}} $$
$$\gdef \vtheta {\vect{\theta }} $$
$$\gdef \vh {\green{\vect{h }}} $$
$$\gdef \vq {\aqua{\vect{q }}} $$
$$\gdef \vk {\yellow{\vect{k }}} $$
$$\gdef \vv {\green{\vect{v }}} $$
$$\gdef \vytilde {\violet{\tilde{\vect{y}}}} $$
$$\gdef \vyhat {\red{\hat{\vect{y}}}} $$
$$\gdef \vycheck {\blue{\check{\vect{y}}}} $$
$$\gdef \vzcheck {\blue{\check{\vect{z}}}} $$
$$\gdef \vztilde {\green{\tilde{\vect{z}}}} $$
$$\gdef \vmu {\green{\vect{\mu}}} $$
$$\gdef \vu {\orange{\vect{u}}} $$
% Matrices
$$\gdef \mW {\matr{W}} $$
$$\gdef \mA {\matr{A}} $$
$$\gdef \mX {\pink{\matr{X}}} $$
$$\gdef \mY {\blue{\matr{Y}}} $$
$$\gdef \mQ {\aqua{\matr{Q }}} $$
$$\gdef \mK {\yellow{\matr{K }}} $$
$$\gdef \mV {\lavender{\matr{V }}} $$
$$\gdef \mH {\green{\matr{H }}} $$
% Coloured math
$$\gdef \cx {\pink{x}} $$
$$\gdef \ctheta {\orange{\theta}} $$
$$\gdef \cz {\orange{z}} $$
$$\gdef \Enc {\lavender{\text{Enc}}} $$
$$\gdef \Dec {\aqua{\text{Dec}}}$$
이론 part A
이번 섹션에서는 에너지 기반 모델Energy-Based Models의 대조적 방법contrastive methods을 몇가지 측면에서 소개하는데 중점을 둔다. 먼저, 자기 지도 학습self-supervised learning에 대조적 방법을 적용하는 것의 장점에 대해 논의한다. 둘째, 디노이징 오토인코더denoising autoencoders의 구조와, 이미지 재구성 작업에서 디노이징 오토인코더가 지니는 약점에 대해 알아본다. 또한 contrastive divergence대조 발산와 persistent contrastive divergence와 같은 다른 대조적 방법에 대해서도 이야기한다.
이론 part B
이 섹션에서는 정규화된 잠재변수 EBM의 조건부conditional 그리고 무조건부unconditional 모델 개념을 포함해 자세히 논의한다. 다음으로, ISTA, FISTA 그리고 LISTA 알고리즘에 대해 이야기하고, 희소 코딩sparse coding 예제와 합성곱 희소 인코더convolutional sparse encoders로부터 학습된 필터에 대해 알아본다. 마지막으로 Variational 오토인코더Variational Auto-Encoders와 이것과 관련된 기본 개념에 대해 이야기한다.
실습
이 섹션에서는 변이형 오토인코더Variational autoencoders라는 특정한 생성 모델generative models에 대해 논의하고 고전적인Classic 오토인코더와 기능 및 장점에 대해 비교한다. 우리는 잠재 공간latent space에서 변이형 오토인코더가 어떤 구조를 어떻게 적용하는지 이해하며 변이형 오토인코더의 목적 함수를 자세히 알아본다. 마지막으로 MNIST 데이터셋에 대해 변이형 오토인코더를 구현하고 훈련시켜서 이것이 새로운 샘플을 생성하도록 한다.
Yujin