10주차
$$\gdef \sam #1 {\mathrm{softargmax}(#1)}$$
$$\gdef \vect #1 {\boldsymbol{#1}} $$
$$\gdef \matr #1 {\boldsymbol{#1}} $$
$$\gdef \E {\mathbb{E}} $$
$$\gdef \V {\mathbb{V}} $$
$$\gdef \R {\mathbb{R}} $$
$$\gdef \N {\mathbb{N}} $$
$$\gdef \relu #1 {\texttt{ReLU}(#1)} $$
$$\gdef \D {\,\mathrm{d}} $$
$$\gdef \deriv #1 #2 {\frac{\D #1}{\D #2}}$$
$$\gdef \pd #1 #2 {\frac{\partial #1}{\partial #2}}$$
$$\gdef \set #1 {\left\lbrace #1 \right\rbrace} $$
% My colours
$$\gdef \aqua #1 {\textcolor{8dd3c7}{#1}} $$
$$\gdef \yellow #1 {\textcolor{ffffb3}{#1}} $$
$$\gdef \lavender #1 {\textcolor{bebada}{#1}} $$
$$\gdef \red #1 {\textcolor{fb8072}{#1}} $$
$$\gdef \blue #1 {\textcolor{80b1d3}{#1}} $$
$$\gdef \orange #1 {\textcolor{fdb462}{#1}} $$
$$\gdef \green #1 {\textcolor{b3de69}{#1}} $$
$$\gdef \pink #1 {\textcolor{fccde5}{#1}} $$
$$\gdef \vgrey #1 {\textcolor{d9d9d9}{#1}} $$
$$\gdef \violet #1 {\textcolor{bc80bd}{#1}} $$
$$\gdef \unka #1 {\textcolor{ccebc5}{#1}} $$
$$\gdef \unkb #1 {\textcolor{ffed6f}{#1}} $$
% Vectors
$$\gdef \vx {\pink{\vect{x }}} $$
$$\gdef \vy {\blue{\vect{y }}} $$
$$\gdef \vb {\vect{b}} $$
$$\gdef \vz {\orange{\vect{z }}} $$
$$\gdef \vtheta {\vect{\theta }} $$
$$\gdef \vh {\green{\vect{h }}} $$
$$\gdef \vq {\aqua{\vect{q }}} $$
$$\gdef \vk {\yellow{\vect{k }}} $$
$$\gdef \vv {\green{\vect{v }}} $$
$$\gdef \vytilde {\violet{\tilde{\vect{y}}}} $$
$$\gdef \vyhat {\red{\hat{\vect{y}}}} $$
$$\gdef \vycheck {\blue{\check{\vect{y}}}} $$
$$\gdef \vzcheck {\blue{\check{\vect{z}}}} $$
$$\gdef \vztilde {\green{\tilde{\vect{z}}}} $$
$$\gdef \vmu {\green{\vect{\mu}}} $$
$$\gdef \vu {\orange{\vect{u}}} $$
% Matrices
$$\gdef \mW {\matr{W}} $$
$$\gdef \mA {\matr{A}} $$
$$\gdef \mX {\pink{\matr{X}}} $$
$$\gdef \mY {\blue{\matr{Y}}} $$
$$\gdef \mQ {\aqua{\matr{Q }}} $$
$$\gdef \mK {\yellow{\matr{K }}} $$
$$\gdef \mV {\lavender{\matr{V }}} $$
$$\gdef \mH {\green{\matr{H }}} $$
% Coloured math
$$\gdef \cx {\pink{x}} $$
$$\gdef \ctheta {\orange{\theta}} $$
$$\gdef \cz {\orange{z}} $$
$$\gdef \Enc {\lavender{\text{Enc}}} $$
$$\gdef \Dec {\aqua{\text{Dec}}}$$
이론 part A
이번 섹션에서는, 자기 지도 학습 Self-Supervised Learning (SSL) 에 담겨진 의도에 대해서 이해하고, 그 것이 어떤 것인지 정의하며, NLP와 컴퓨터 영상 분야에서 어떻게 적용되는지에 대해서 살펴볼 것이다. 또한 SSL을 활용해서 어떤 특징들이 대표되는지를 뽑아내는 작업pretext task에 대해서 이해하고, 이미지와 영상, 그리고 음성이 포함된 영상에서 이런 동작들이 수행되는지 이해하게 될 것이다. 마지막으로 대표하는 특징을 뽑아내는 작업을 통해 학습된 대표성에 담겨진 의도에 대해서 이해하게 될 것이다.
이론 part B
이 섹션에서는 pretext task의 단점에 대해서 논의하고, 미리 학습된 좋은 특징을 얻는 특성에 대해서 정의하며, Clustering과 Contrastive Learning을 활용하여 좋은 특징을 얻는 방법에 대해 언급할 것이다. 그리고 난 후에 ClusterFit의 과정과 성능에 대해서 학습할 것이다. 더 나아가 PIRL이라고 알려져 있는 간단한 프레임워크를 살펴볼 것이다. 또한 다른 측면에서 성능과 검증을 확인해 볼 것이다.
실제 사례
이번 주의 실제 사례에서는 Truck Backer-Upper (Nguyen & Widrow, ‘90) 를 살펴보겠다.
이 문제에서는 신경망을 사용해서 비선형 제어 문제를 해결하는 방법을 제시한다.
여기서 트럭의 kinematics에 대한 모델을 학습하고, 학습된 모델을 통해 컨트롤러를 최적화하여, 컨트롤러가 순수하게 관찰된 데이터만을 가지고, 복잡한 동작을 학습할 수 있도록 할 수 있다.
Chanseok Kang