11주차
$$\gdef \sam #1 {\mathrm{softargmax}(#1)}$$
$$\gdef \vect #1 {\boldsymbol{#1}} $$
$$\gdef \matr #1 {\boldsymbol{#1}} $$
$$\gdef \E {\mathbb{E}} $$
$$\gdef \V {\mathbb{V}} $$
$$\gdef \R {\mathbb{R}} $$
$$\gdef \N {\mathbb{N}} $$
$$\gdef \relu #1 {\texttt{ReLU}(#1)} $$
$$\gdef \D {\,\mathrm{d}} $$
$$\gdef \deriv #1 #2 {\frac{\D #1}{\D #2}}$$
$$\gdef \pd #1 #2 {\frac{\partial #1}{\partial #2}}$$
$$\gdef \set #1 {\left\lbrace #1 \right\rbrace} $$
% My colours
$$\gdef \aqua #1 {\textcolor{8dd3c7}{#1}} $$
$$\gdef \yellow #1 {\textcolor{ffffb3}{#1}} $$
$$\gdef \lavender #1 {\textcolor{bebada}{#1}} $$
$$\gdef \red #1 {\textcolor{fb8072}{#1}} $$
$$\gdef \blue #1 {\textcolor{80b1d3}{#1}} $$
$$\gdef \orange #1 {\textcolor{fdb462}{#1}} $$
$$\gdef \green #1 {\textcolor{b3de69}{#1}} $$
$$\gdef \pink #1 {\textcolor{fccde5}{#1}} $$
$$\gdef \vgrey #1 {\textcolor{d9d9d9}{#1}} $$
$$\gdef \violet #1 {\textcolor{bc80bd}{#1}} $$
$$\gdef \unka #1 {\textcolor{ccebc5}{#1}} $$
$$\gdef \unkb #1 {\textcolor{ffed6f}{#1}} $$
% Vectors
$$\gdef \vx {\pink{\vect{x }}} $$
$$\gdef \vy {\blue{\vect{y }}} $$
$$\gdef \vb {\vect{b}} $$
$$\gdef \vz {\orange{\vect{z }}} $$
$$\gdef \vtheta {\vect{\theta }} $$
$$\gdef \vh {\green{\vect{h }}} $$
$$\gdef \vq {\aqua{\vect{q }}} $$
$$\gdef \vk {\yellow{\vect{k }}} $$
$$\gdef \vv {\green{\vect{v }}} $$
$$\gdef \vytilde {\violet{\tilde{\vect{y}}}} $$
$$\gdef \vyhat {\red{\hat{\vect{y}}}} $$
$$\gdef \vycheck {\blue{\check{\vect{y}}}} $$
$$\gdef \vzcheck {\blue{\check{\vect{z}}}} $$
$$\gdef \vztilde {\green{\tilde{\vect{z}}}} $$
$$\gdef \vmu {\green{\vect{\mu}}} $$
$$\gdef \vu {\orange{\vect{u}}} $$
% Matrices
$$\gdef \mW {\matr{W}} $$
$$\gdef \mA {\matr{A}} $$
$$\gdef \mX {\pink{\matr{X}}} $$
$$\gdef \mY {\blue{\matr{Y}}} $$
$$\gdef \mQ {\aqua{\matr{Q }}} $$
$$\gdef \mK {\yellow{\matr{K }}} $$
$$\gdef \mV {\lavender{\matr{V }}} $$
$$\gdef \mH {\green{\matr{H }}} $$
% Coloured math
$$\gdef \cx {\pink{x}} $$
$$\gdef \ctheta {\orange{\theta}} $$
$$\gdef \cz {\orange{z}} $$
$$\gdef \Enc {\lavender{\text{Enc}}} $$
$$\gdef \Dec {\aqua{\text{Dec}}}$$
이론 part A
Part A에서는 파이토치PyTorch에서 주로 쓰이는 활성화 함수에 대해 논의하였다. 특히, 꺾인Kinks 활성화와 부드러운Smooth 활성화를 비교하였다. 부드러운 활성화는 경사 소실 문제Gradient Vanishing Problem를 보이기 때문에, 심층 신경망에서는 꺾인 활성화가 선호된다. 이어, 파이토치에서 주로 쓰이는 손실 함수Loss Function에 대해 배웠다.
이론 part B
이 섹션에서는 손실 함수들, 특히 마진 기반 손실 함수Margin-based Loss와 이들의 응용에 대해 배웠다. 그 다음, EBMEnergy-Based Model: 에너지 기반 모델에서 “좋은” 손실 함수를 설계하는 방법과 잘 알려져 있는 예시에 대해 논의하였다. 여기서는 마진 기반 손실 함수에 대해 집중적으로 보며 “가장 문제가 되는 오답”most offending incorrect answer(즉, 모든 오답 중 가장 낮은 에너지를 가진 오답)의 개념에 대해 설명을 하였다.
실습
실습에서는 교통량이 많은 상황에서 효과적으로 운전하기 위한 정책 학습Policy Learning 방법을 제안하였다. 다양한 비용 함수를 최적화함으로써 현실의 역학 관계가 학습된 모델을 펼쳐unrolling: Backpropagation through time 여러 정책을 훈련시켰다. 이 아이디어는 훈련된 상태와 모델간의 차이를 나타내는 비용Cost이라는 개념을 도입하여 모델의 예측에 있어서 불확실성을 최소화 한다는 것이다.
Jinwoo Oh