Week 2

\gdef \sam #1 {\mathrm{softargmax}(#1)} \gdef \vect #1 {\boldsymbol{#1}} \gdef \matr #1 {\boldsymbol{#1}} \gdef \E {\mathbb{E}} \gdef \V {\mathbb{V}} \gdef \R {\mathbb{R}} \gdef \N {\mathbb{N}} \gdef \relu #1 {\texttt{ReLU}(#1)} \gdef \D {\,\mathrm{d}} \gdef \deriv #1 #2 {\frac{\D #1}{\D #2}} \gdef \pd #1 #2 {\frac{\partial #1}{\partial #2}} \gdef \set #1 {\left\lbrace #1 \right\rbrace} % My colours \gdef \aqua #1 {\textcolor{8dd3c7}{#1}} \gdef \yellow #1 {\textcolor{ffffb3}{#1}} \gdef \lavender #1 {\textcolor{bebada}{#1}} \gdef \red #1 {\textcolor{fb8072}{#1}} \gdef \blue #1 {\textcolor{80b1d3}{#1}} \gdef \orange #1 {\textcolor{fdb462}{#1}} \gdef \green #1 {\textcolor{b3de69}{#1}} \gdef \pink #1 {\textcolor{fccde5}{#1}} \gdef \vgrey #1 {\textcolor{d9d9d9}{#1}} \gdef \violet #1 {\textcolor{bc80bd}{#1}} \gdef \unka #1 {\textcolor{ccebc5}{#1}} \gdef \unkb #1 {\textcolor{ffed6f}{#1}} % Vectors \gdef \vx {\pink{\vect{x }}} \gdef \vy {\blue{\vect{y }}} \gdef \vb {\vect{b}} \gdef \vz {\orange{\vect{z }}} \gdef \vtheta {\vect{\theta }} \gdef \vh {\green{\vect{h }}} \gdef \vq {\aqua{\vect{q }}} \gdef \vk {\yellow{\vect{k }}} \gdef \vv {\green{\vect{v }}} \gdef \vytilde {\violet{\tilde{\vect{y}}}} \gdef \vyhat {\red{\hat{\vect{y}}}} \gdef \vycheck {\blue{\check{\vect{y}}}} \gdef \vzcheck {\blue{\check{\vect{z}}}} \gdef \vztilde {\green{\tilde{\vect{z}}}} \gdef \vmu {\green{\vect{\mu}}} \gdef \vu {\orange{\vect{u}}} % Matrices \gdef \mW {\matr{W}} \gdef \mA {\matr{A}} \gdef \mX {\pink{\matr{X}}} \gdef \mY {\blue{\matr{Y}}} \gdef \mQ {\aqua{\matr{Q }}} \gdef \mK {\yellow{\matr{K }}} \gdef \mV {\lavender{\matr{V }}} \gdef \mH {\green{\matr{H }}} % Coloured math \gdef \cx {\pink{x}} \gdef \ctheta {\orange{\theta}} \gdef \cz {\orange{z}} \gdef \Enc {\lavender{\text{Enc}}} \gdef \Dec {\aqua{\text{Dec}}}

Bölüm A

Parametrik modellerin ne olduğunu anlayarak başlıyoruz ve sonrasında kayıp fonksiyonunun ne olduğunu tartışıyoruz. Daha sonra gradyan-temelli metotları ve geleneksel bir sinir ağında geri yayılım algoritmasında nasıl kullanıldıklarını inceliyoruz. Nasıl PyTorch ile bir sinir ağı uygulayabileceğimizi öğrenip geri yayılımın genelleştirilmiş bir halini tartışarak bu kısmı bitiriyoruz.

Bölüm B

Daha somut bir geri yayılım örneğiyle başlıyoruz ve Jacobi matrislerin boyutlarını tartışıyoruz. Sonrasonda basit sinir ağı modüllerini inceliyouruz ve gradyanlarını hesaplayıp, softmax ve logsoftmax üzerine kısa bir tartışmaya geçiyoruz. Bu bölümün bir diğer tartışması da geri yayılım için püf noktaları.

Uygulama

Yapay sinir ağlarıyla denetimli öğrenime kısa bir giriş yapıyoruz. Problem formülasyonunu ve bahsedilen ağları eğitmek için kullanılan verinin düzenini açıklıyoruz. Çok sınıflı sınıflandırma için bir sinir ağını nasıl eğitebileceğimizi ve eğitilen modelle nasıl çıkarım yapılabileceğini tartışıyoruz.


🇹🇷 İrem Demirtaş