6주차
$$\gdef \sam #1 {\mathrm{softargmax}(#1)}$$
$$\gdef \vect #1 {\boldsymbol{#1}} $$
$$\gdef \matr #1 {\boldsymbol{#1}} $$
$$\gdef \E {\mathbb{E}} $$
$$\gdef \V {\mathbb{V}} $$
$$\gdef \R {\mathbb{R}} $$
$$\gdef \N {\mathbb{N}} $$
$$\gdef \relu #1 {\texttt{ReLU}(#1)} $$
$$\gdef \D {\,\mathrm{d}} $$
$$\gdef \deriv #1 #2 {\frac{\D #1}{\D #2}}$$
$$\gdef \pd #1 #2 {\frac{\partial #1}{\partial #2}}$$
$$\gdef \set #1 {\left\lbrace #1 \right\rbrace} $$
% My colours
$$\gdef \aqua #1 {\textcolor{8dd3c7}{#1}} $$
$$\gdef \yellow #1 {\textcolor{ffffb3}{#1}} $$
$$\gdef \lavender #1 {\textcolor{bebada}{#1}} $$
$$\gdef \red #1 {\textcolor{fb8072}{#1}} $$
$$\gdef \blue #1 {\textcolor{80b1d3}{#1}} $$
$$\gdef \orange #1 {\textcolor{fdb462}{#1}} $$
$$\gdef \green #1 {\textcolor{b3de69}{#1}} $$
$$\gdef \pink #1 {\textcolor{fccde5}{#1}} $$
$$\gdef \vgrey #1 {\textcolor{d9d9d9}{#1}} $$
$$\gdef \violet #1 {\textcolor{bc80bd}{#1}} $$
$$\gdef \unka #1 {\textcolor{ccebc5}{#1}} $$
$$\gdef \unkb #1 {\textcolor{ffed6f}{#1}} $$
% Vectors
$$\gdef \vx {\pink{\vect{x }}} $$
$$\gdef \vy {\blue{\vect{y }}} $$
$$\gdef \vb {\vect{b}} $$
$$\gdef \vz {\orange{\vect{z }}} $$
$$\gdef \vtheta {\vect{\theta }} $$
$$\gdef \vh {\green{\vect{h }}} $$
$$\gdef \vq {\aqua{\vect{q }}} $$
$$\gdef \vk {\yellow{\vect{k }}} $$
$$\gdef \vv {\green{\vect{v }}} $$
$$\gdef \vytilde {\violet{\tilde{\vect{y}}}} $$
$$\gdef \vyhat {\red{\hat{\vect{y}}}} $$
$$\gdef \vycheck {\blue{\check{\vect{y}}}} $$
$$\gdef \vzcheck {\blue{\check{\vect{z}}}} $$
$$\gdef \vztilde {\green{\tilde{\vect{z}}}} $$
$$\gdef \vmu {\green{\vect{\mu}}} $$
$$\gdef \vu {\orange{\vect{u}}} $$
% Matrices
$$\gdef \mW {\matr{W}} $$
$$\gdef \mA {\matr{A}} $$
$$\gdef \mX {\pink{\matr{X}}} $$
$$\gdef \mY {\blue{\matr{Y}}} $$
$$\gdef \mQ {\aqua{\matr{Q }}} $$
$$\gdef \mK {\yellow{\matr{K }}} $$
$$\gdef \mV {\lavender{\matr{V }}} $$
$$\gdef \mH {\green{\matr{H }}} $$
% Coloured math
$$\gdef \cx {\pink{x}} $$
$$\gdef \ctheta {\orange{\theta}} $$
$$\gdef \cz {\orange{z}} $$
$$\gdef \Enc {\lavender{\text{Enc}}} $$
$$\gdef \Dec {\aqua{\text{Dec}}}$$
이론 part A
우리는 합성곱 신경망이 활용되는 세 가지 사례에 대해 논의했다. 먼저, 숫자 인식 및 이를 활용한 5자리 우편 번호 인식을 살펴보았다. 객체 탐지object detection와 관련해서는 어떻게 멀티 스케일multi-scale 구조를 이용해서 얼굴 인식face detection을 할 수 있는지에 대해 이야기했다. 마지막으로, 로봇 비전robot vision 시스템과 관련한 구체적인 예를 통해 의미론적 분할semantic segmentation작업에서 ConvNets가 어떻게 사용되는지 확인하고, 도시 환경 속 객체 분할object segmentation에 대해서도 살펴봤다.
이론 part B
우리는 순환 신경망(RNN)Recurrent Neural Networks과, 이것의 문제점, 또 이러한 문제를 완화하기 위해 널리 쓰이는 기술을 알아본다. 그 다음 순환 신경망(RNN) 모델의 문제를 해결하기 위해 개발된 Attention, GRUs (Gated Recurrent Unit), LSTMs (Long Short-Term Memory), Seq2Seq 와 같은 다양한 모듈을 살펴본다.
실습
우리는 Vanilla RNN 과 LSTM 모델의 구조에 대해 이야기하고 이 둘 사이의 성능을 비교해 보았다. LSTM은 RNN의 장점을 그대로 이어받아 가져오는 동시에 ‘메모리 셀memory cell‘을 내부에 포함하여 장기간의 정보를 저장하고, 이를 통해 기존 RNN의 약점을 개선한다. LSTM 모델은 RNN 모델보다 훨씬 좋은 성능을 보인다.
Yujin