Hafta 8
$$\gdef \sam #1 {\mathrm{softargmax}(#1)}$$
$$\gdef \vect #1 {\boldsymbol{#1}} $$
$$\gdef \matr #1 {\boldsymbol{#1}} $$
$$\gdef \E {\mathbb{E}} $$
$$\gdef \V {\mathbb{V}} $$
$$\gdef \R {\mathbb{R}} $$
$$\gdef \N {\mathbb{N}} $$
$$\gdef \relu #1 {\texttt{ReLU}(#1)} $$
$$\gdef \D {\,\mathrm{d}} $$
$$\gdef \deriv #1 #2 {\frac{\D #1}{\D #2}}$$
$$\gdef \pd #1 #2 {\frac{\partial #1}{\partial #2}}$$
$$\gdef \set #1 {\left\lbrace #1 \right\rbrace} $$
% My colours
$$\gdef \aqua #1 {\textcolor{8dd3c7}{#1}} $$
$$\gdef \yellow #1 {\textcolor{ffffb3}{#1}} $$
$$\gdef \lavender #1 {\textcolor{bebada}{#1}} $$
$$\gdef \red #1 {\textcolor{fb8072}{#1}} $$
$$\gdef \blue #1 {\textcolor{80b1d3}{#1}} $$
$$\gdef \orange #1 {\textcolor{fdb462}{#1}} $$
$$\gdef \green #1 {\textcolor{b3de69}{#1}} $$
$$\gdef \pink #1 {\textcolor{fccde5}{#1}} $$
$$\gdef \vgrey #1 {\textcolor{d9d9d9}{#1}} $$
$$\gdef \violet #1 {\textcolor{bc80bd}{#1}} $$
$$\gdef \unka #1 {\textcolor{ccebc5}{#1}} $$
$$\gdef \unkb #1 {\textcolor{ffed6f}{#1}} $$
% Vectors
$$\gdef \vx {\pink{\vect{x }}} $$
$$\gdef \vy {\blue{\vect{y }}} $$
$$\gdef \vb {\vect{b}} $$
$$\gdef \vz {\orange{\vect{z }}} $$
$$\gdef \vtheta {\vect{\theta }} $$
$$\gdef \vh {\green{\vect{h }}} $$
$$\gdef \vq {\aqua{\vect{q }}} $$
$$\gdef \vk {\yellow{\vect{k }}} $$
$$\gdef \vv {\green{\vect{v }}} $$
$$\gdef \vytilde {\violet{\tilde{\vect{y}}}} $$
$$\gdef \vyhat {\red{\hat{\vect{y}}}} $$
$$\gdef \vycheck {\blue{\check{\vect{y}}}} $$
$$\gdef \vzcheck {\blue{\check{\vect{z}}}} $$
$$\gdef \vztilde {\green{\tilde{\vect{z}}}} $$
$$\gdef \vmu {\green{\vect{\mu}}} $$
$$\gdef \vu {\orange{\vect{u}}} $$
% Matrices
$$\gdef \mW {\matr{W}} $$
$$\gdef \mA {\matr{A}} $$
$$\gdef \mX {\pink{\matr{X}}} $$
$$\gdef \mY {\blue{\matr{Y}}} $$
$$\gdef \mQ {\aqua{\matr{Q }}} $$
$$\gdef \mK {\yellow{\matr{K }}} $$
$$\gdef \mV {\lavender{\matr{V }}} $$
$$\gdef \mH {\green{\matr{H }}} $$
% Coloured math
$$\gdef \cx {\pink{x}} $$
$$\gdef \ctheta {\orange{\theta}} $$
$$\gdef \cz {\orange{z}} $$
$$\gdef \Enc {\lavender{\text{Enc}}} $$
$$\gdef \Dec {\aqua{\text{Dec}}}$$
Ders Kısım A
Bu bölümde, karşıtsal yöntemlerin enerji bazlı modellerdeki(EBM) kullanımına çeşitli açılardan odaklandık.
Önce, karşıtsal yöntemlerin özdenetimli öğrenmede kullanımının getirdiği avantaj üzerine konuşacağız.
Sonra, arıtan otokodlayıcıların mimarisini ve bu yapıların bir görüntüyü yeniden oluşturkenki zayıflıklarını ele aldık. Ayrıca, karşıtsal ıraksama(contrastive divergence) ve kalıcı karşıtsal ıraksama(persistent contrastive divergence) gibi diğer karşıtsal yöntemlerden de bahsettik.
Ders Kısım B
Bu bölümde, düzenlileştirilmiş saklı değişken EBM’le ve bu modellerin koşullu ve koşulsuz versiyonlarını detaylıca inceledik.
Daha sonra, ISTA, FISTA ve LISTA algoritmalarını tartıştık ve seyrek kodlama örnekleri ile evrişimsel seyrek otokodlayıcılardan öğrenilen filtreleri birlikte inceledik.
Son olarak, değişimsel otokodlayıcılar ve bunun altında yatan temel kavramları ele aldık.
Uygulama
Bu bölümde, üretici modellerin özel bir türü olan değişimsel otokodlayıcılardan bahsettik ve bu modelin özellikleri ile avantajlarını klasik otokodlayıcılar ile kıyasladık.
VAE’nin amaç fonksiyonunu, saklı uzayda nasıl bir yapı oluşturmaya zorladığını anlayarak, detaylica inceledik.
Son olarak, en baştan kodladığımız VAE modelini MNIST veri kümesinde eğittik ve yeni örnekler üretmek için kullandık.
emirceyani