10. Hafta
$$\gdef \sam #1 {\mathrm{softargmax}(#1)}$$
$$\gdef \vect #1 {\boldsymbol{#1}} $$
$$\gdef \matr #1 {\boldsymbol{#1}} $$
$$\gdef \E {\mathbb{E}} $$
$$\gdef \V {\mathbb{V}} $$
$$\gdef \R {\mathbb{R}} $$
$$\gdef \N {\mathbb{N}} $$
$$\gdef \relu #1 {\texttt{ReLU}(#1)} $$
$$\gdef \D {\,\mathrm{d}} $$
$$\gdef \deriv #1 #2 {\frac{\D #1}{\D #2}}$$
$$\gdef \pd #1 #2 {\frac{\partial #1}{\partial #2}}$$
$$\gdef \set #1 {\left\lbrace #1 \right\rbrace} $$
% My colours
$$\gdef \aqua #1 {\textcolor{8dd3c7}{#1}} $$
$$\gdef \yellow #1 {\textcolor{ffffb3}{#1}} $$
$$\gdef \lavender #1 {\textcolor{bebada}{#1}} $$
$$\gdef \red #1 {\textcolor{fb8072}{#1}} $$
$$\gdef \blue #1 {\textcolor{80b1d3}{#1}} $$
$$\gdef \orange #1 {\textcolor{fdb462}{#1}} $$
$$\gdef \green #1 {\textcolor{b3de69}{#1}} $$
$$\gdef \pink #1 {\textcolor{fccde5}{#1}} $$
$$\gdef \vgrey #1 {\textcolor{d9d9d9}{#1}} $$
$$\gdef \violet #1 {\textcolor{bc80bd}{#1}} $$
$$\gdef \unka #1 {\textcolor{ccebc5}{#1}} $$
$$\gdef \unkb #1 {\textcolor{ffed6f}{#1}} $$
% Vectors
$$\gdef \vx {\pink{\vect{x }}} $$
$$\gdef \vy {\blue{\vect{y }}} $$
$$\gdef \vb {\vect{b}} $$
$$\gdef \vz {\orange{\vect{z }}} $$
$$\gdef \vtheta {\vect{\theta }} $$
$$\gdef \vh {\green{\vect{h }}} $$
$$\gdef \vq {\aqua{\vect{q }}} $$
$$\gdef \vk {\yellow{\vect{k }}} $$
$$\gdef \vv {\green{\vect{v }}} $$
$$\gdef \vytilde {\violet{\tilde{\vect{y}}}} $$
$$\gdef \vyhat {\red{\hat{\vect{y}}}} $$
$$\gdef \vycheck {\blue{\check{\vect{y}}}} $$
$$\gdef \vzcheck {\blue{\check{\vect{z}}}} $$
$$\gdef \vztilde {\green{\tilde{\vect{z}}}} $$
$$\gdef \vmu {\green{\vect{\mu}}} $$
$$\gdef \vu {\orange{\vect{u}}} $$
% Matrices
$$\gdef \mW {\matr{W}} $$
$$\gdef \mA {\matr{A}} $$
$$\gdef \mX {\pink{\matr{X}}} $$
$$\gdef \mY {\blue{\matr{Y}}} $$
$$\gdef \mQ {\aqua{\matr{Q }}} $$
$$\gdef \mK {\yellow{\matr{K }}} $$
$$\gdef \mV {\lavender{\matr{V }}} $$
$$\gdef \mH {\green{\matr{H }}} $$
% Coloured math
$$\gdef \cx {\pink{x}} $$
$$\gdef \ctheta {\orange{\theta}} $$
$$\gdef \cz {\orange{z}} $$
$$\gdef \Enc {\lavender{\text{Enc}}} $$
$$\gdef \Dec {\aqua{\text{Dec}}}$$
Ders bölümü A
Bu bölümde özdenetimli öğrenmedeki(SSL) motivasyonu anlayacağız, ne olduğunu tanımlayıp NLP ve bilgisayarlı görü alanlarındaki bazı uygulamalarını göreceğiz. Pretext görevlerin SSL ile nasıl yardımcı olduklarını anlayıp resimlerde, videolarda ve sesli videolardaki bazı pretext task örneklerini göreceğiz. Son olarak, pretext görevler tarafından öğrenilen gösterimin arkasındaki sezgiyi anlamaya çalışacağız.
Ders bölümü B
Bu bölümde pretext görevlerin yetersizliklerini tartışacağız, iyi bir ön eğitimli özniteliği oluşturan karakteristikleri ve bunu öbekleme ile karşıtsal öğrenme kullanarak nasıl başaracağımızı tanımlayacağız. Sonrasında ClusterFit konusunu, adımlarını ve performansını öğreneceğiz. Daha sonra PIRL olarak bilinen, karşıtsal öğrenme için spesifik bir framework’ü öğreneceğiz. Farklı bağlamlarda çalışma mantığını ve değerlendirilmesini tartışacağız.
Uygulama
Bu haftaki uygulama esnasında, Truck Backer-Upper (Nguyen & Widrow, ‘90)’ı keşfedeceğiz. Bu problem doğrusal olmayan kontrol problemlerinin sinir ağları ile nasıl çözüleceğini gösteriyor. Bir kamyonun kinematik modelini ve bu modeller üzerinden bir kontrolör optimize edilişini öğrenip kontrolörün komplex davranışları tamamen gözlemlenebilir bir veri ile öğrenebildiğini bulacağız.
Yunus Emre Özköse