5주차
$$\gdef \sam #1 {\mathrm{softargmax}(#1)}$$
$$\gdef \vect #1 {\boldsymbol{#1}} $$
$$\gdef \matr #1 {\boldsymbol{#1}} $$
$$\gdef \E {\mathbb{E}} $$
$$\gdef \V {\mathbb{V}} $$
$$\gdef \R {\mathbb{R}} $$
$$\gdef \N {\mathbb{N}} $$
$$\gdef \relu #1 {\texttt{ReLU}(#1)} $$
$$\gdef \D {\,\mathrm{d}} $$
$$\gdef \deriv #1 #2 {\frac{\D #1}{\D #2}}$$
$$\gdef \pd #1 #2 {\frac{\partial #1}{\partial #2}}$$
$$\gdef \set #1 {\left\lbrace #1 \right\rbrace} $$
% My colours
$$\gdef \aqua #1 {\textcolor{8dd3c7}{#1}} $$
$$\gdef \yellow #1 {\textcolor{ffffb3}{#1}} $$
$$\gdef \lavender #1 {\textcolor{bebada}{#1}} $$
$$\gdef \red #1 {\textcolor{fb8072}{#1}} $$
$$\gdef \blue #1 {\textcolor{80b1d3}{#1}} $$
$$\gdef \orange #1 {\textcolor{fdb462}{#1}} $$
$$\gdef \green #1 {\textcolor{b3de69}{#1}} $$
$$\gdef \pink #1 {\textcolor{fccde5}{#1}} $$
$$\gdef \vgrey #1 {\textcolor{d9d9d9}{#1}} $$
$$\gdef \violet #1 {\textcolor{bc80bd}{#1}} $$
$$\gdef \unka #1 {\textcolor{ccebc5}{#1}} $$
$$\gdef \unkb #1 {\textcolor{ffed6f}{#1}} $$
% Vectors
$$\gdef \vx {\pink{\vect{x }}} $$
$$\gdef \vy {\blue{\vect{y }}} $$
$$\gdef \vb {\vect{b}} $$
$$\gdef \vz {\orange{\vect{z }}} $$
$$\gdef \vtheta {\vect{\theta }} $$
$$\gdef \vh {\green{\vect{h }}} $$
$$\gdef \vq {\aqua{\vect{q }}} $$
$$\gdef \vk {\yellow{\vect{k }}} $$
$$\gdef \vv {\green{\vect{v }}} $$
$$\gdef \vytilde {\violet{\tilde{\vect{y}}}} $$
$$\gdef \vyhat {\red{\hat{\vect{y}}}} $$
$$\gdef \vycheck {\blue{\check{\vect{y}}}} $$
$$\gdef \vzcheck {\blue{\check{\vect{z}}}} $$
$$\gdef \vztilde {\green{\tilde{\vect{z}}}} $$
$$\gdef \vmu {\green{\vect{\mu}}} $$
$$\gdef \vu {\orange{\vect{u}}} $$
% Matrices
$$\gdef \mW {\matr{W}} $$
$$\gdef \mA {\matr{A}} $$
$$\gdef \mX {\pink{\matr{X}}} $$
$$\gdef \mY {\blue{\matr{Y}}} $$
$$\gdef \mQ {\aqua{\matr{Q }}} $$
$$\gdef \mK {\yellow{\matr{K }}} $$
$$\gdef \mV {\lavender{\matr{V }}} $$
$$\gdef \mH {\green{\matr{H }}} $$
% Coloured math
$$\gdef \cx {\pink{x}} $$
$$\gdef \ctheta {\orange{\theta}} $$
$$\gdef \cz {\orange{z}} $$
$$\gdef \Enc {\lavender{\text{Enc}}} $$
$$\gdef \Dec {\aqua{\text{Dec}}}$$
이론 part A
우리는 경사하강법Gradient Descent (GD)을 소개하는 것으로 시작한다. 우리는 경사하강법의 직관적 이해에 대해 토론하고, 해결책에 도달하는 데 학습률step size이 어떤 중요한 역할을 하는지에 대해서도 이야기한다. 그 후 확률적 경사하강법Stochastic Gradient Descent (SGD)와 이것의 성능을 확인하고 풀 배치full batch GD와 비교한다. 마지막으로 모멘텀 업데이트momentum update에 대해 얘기할텐데, 특히 두 가지 업데이트 방식과, 모멘텀 뒤의 직관, 그리고 수렴에 미치는 영향에 대해 이야기한다.
이론 part B
우리는 RMSprop과 ADAM과 같은 SGD를 위한 적응형 학습률adaptive methods에 대해 논의한다. 또한 우리는 정규화 계층를 소개하고, 이것이 신경망 학습 과정에 미치는 영향에 대해 이야기한다. 마지막으로, 실제 사례로 산업에서 MRI 스캔을 더 빠르고 더 효율적으로 만들기 위해 신경망을 사용하는 것을 소개한다.
실습
우리는 행렬 곱셈을 간단히 복습한 다음, 그 합성곱에 대해 논의한다. 여기서 요즘은 우리가 커널kernel을 쌓고 옮겨서 사용한다는 것이다. 우리는 우선 손으로 계산하면서 1차원 합성곱을 이해한 다음, 파이토치를 사용하여 1차원과 2차원의 합성곱 예제로 커널의 치수와 출력 너비를 확인한다. 또한, 우리는 자동 경사 계산과 맞춤형 경사에 대해 배우기 위해 파이토치를 사용할 것이다.
Seungjae Ryan Lee