Hafta 5
$$\gdef \sam #1 {\mathrm{softargmax}(#1)}$$
$$\gdef \vect #1 {\boldsymbol{#1}} $$
$$\gdef \matr #1 {\boldsymbol{#1}} $$
$$\gdef \E {\mathbb{E}} $$
$$\gdef \V {\mathbb{V}} $$
$$\gdef \R {\mathbb{R}} $$
$$\gdef \N {\mathbb{N}} $$
$$\gdef \relu #1 {\texttt{ReLU}(#1)} $$
$$\gdef \D {\,\mathrm{d}} $$
$$\gdef \deriv #1 #2 {\frac{\D #1}{\D #2}}$$
$$\gdef \pd #1 #2 {\frac{\partial #1}{\partial #2}}$$
$$\gdef \set #1 {\left\lbrace #1 \right\rbrace} $$
% My colours
$$\gdef \aqua #1 {\textcolor{8dd3c7}{#1}} $$
$$\gdef \yellow #1 {\textcolor{ffffb3}{#1}} $$
$$\gdef \lavender #1 {\textcolor{bebada}{#1}} $$
$$\gdef \red #1 {\textcolor{fb8072}{#1}} $$
$$\gdef \blue #1 {\textcolor{80b1d3}{#1}} $$
$$\gdef \orange #1 {\textcolor{fdb462}{#1}} $$
$$\gdef \green #1 {\textcolor{b3de69}{#1}} $$
$$\gdef \pink #1 {\textcolor{fccde5}{#1}} $$
$$\gdef \vgrey #1 {\textcolor{d9d9d9}{#1}} $$
$$\gdef \violet #1 {\textcolor{bc80bd}{#1}} $$
$$\gdef \unka #1 {\textcolor{ccebc5}{#1}} $$
$$\gdef \unkb #1 {\textcolor{ffed6f}{#1}} $$
% Vectors
$$\gdef \vx {\pink{\vect{x }}} $$
$$\gdef \vy {\blue{\vect{y }}} $$
$$\gdef \vb {\vect{b}} $$
$$\gdef \vz {\orange{\vect{z }}} $$
$$\gdef \vtheta {\vect{\theta }} $$
$$\gdef \vh {\green{\vect{h }}} $$
$$\gdef \vq {\aqua{\vect{q }}} $$
$$\gdef \vk {\yellow{\vect{k }}} $$
$$\gdef \vv {\green{\vect{v }}} $$
$$\gdef \vytilde {\violet{\tilde{\vect{y}}}} $$
$$\gdef \vyhat {\red{\hat{\vect{y}}}} $$
$$\gdef \vycheck {\blue{\check{\vect{y}}}} $$
$$\gdef \vzcheck {\blue{\check{\vect{z}}}} $$
$$\gdef \vztilde {\green{\tilde{\vect{z}}}} $$
$$\gdef \vmu {\green{\vect{\mu}}} $$
$$\gdef \vu {\orange{\vect{u}}} $$
% Matrices
$$\gdef \mW {\matr{W}} $$
$$\gdef \mA {\matr{A}} $$
$$\gdef \mX {\pink{\matr{X}}} $$
$$\gdef \mY {\blue{\matr{Y}}} $$
$$\gdef \mQ {\aqua{\matr{Q }}} $$
$$\gdef \mK {\yellow{\matr{K }}} $$
$$\gdef \mV {\lavender{\matr{V }}} $$
$$\gdef \mH {\green{\matr{H }}} $$
% Coloured math
$$\gdef \cx {\pink{x}} $$
$$\gdef \ctheta {\orange{\theta}} $$
$$\gdef \cz {\orange{z}} $$
$$\gdef \Enc {\lavender{\text{Enc}}} $$
$$\gdef \Dec {\aqua{\text{Dec}}}$$
Bölüm A
Gradient Descent’i tanıtarak başlayacağız. Ardındaki sezgisel yaklaşımı tartışacağız ve adım boyutlarının çözüme ulaşmada nasıl önemli bir rol oynadığından bahsedeceğiz. Ardından SGD’ye ve tam toptan GD’ye (Full batch GD) kıyasla SGD’nin performansına geçiş yapacağız. Son olarak Momentum Güncellemeleri konusunda özellikle iki güncelleme kuralından, momentumun ardındaki sezgisel yaklaşımdan ve momentumun yakınsama üzerindeki etkisinden bahsedeceğiz.
Bölüm B
SGD için RMSprop ve ADAM gibi adaptif yöntemleri tartışacağız. Ayrıca normalizasyon katmanları ve bunların sinir ağının eğitim sürecine etkileri hakkında konuşacağız. Son olarak, MRI taramalarını daha hızlı ve daha verimli hale getirmek için endüstride kullanılan gerçek dünyadaki bir sinir ağı örneğini tartışacağız.
Uygulama
Matris çarpmalarını kısaca gözden geçirip evrişimleri (convolution) tartışacağız. Kilit nokta, çekirdekleri (kernel) istifleyerek ve kaydırarak kullanmamızdır. Önce 1 boyutta evrişimi elle yaparak anlayacağız daha sonra PyTorch’u kullanarak çekirdeklerin boyutunu ve hem 1 hem de 2 boyutta evrişim örneklerinde çıktı genişliğini öğreneceğiz. Ayrıca, PyTorch’u kullanarak otomatik gradyanın ve özel gradyanların nasıl çalıştığını öğreneceğiz.
melikenurm