Tuần 02

$$\gdef \sam #1 {\mathrm{softargmax}(#1)}$$ $$\gdef \vect #1 {\boldsymbol{#1}} $$ $$\gdef \matr #1 {\boldsymbol{#1}} $$ $$\gdef \E {\mathbb{E}} $$ $$\gdef \V {\mathbb{V}} $$ $$\gdef \R {\mathbb{R}} $$ $$\gdef \N {\mathbb{N}} $$ $$\gdef \relu #1 {\texttt{ReLU}(#1)} $$ $$\gdef \D {\,\mathrm{d}} $$ $$\gdef \deriv #1 #2 {\frac{\D #1}{\D #2}}$$ $$\gdef \pd #1 #2 {\frac{\partial #1}{\partial #2}}$$ $$\gdef \set #1 {\left\lbrace #1 \right\rbrace} $$

Bài giảng phần A

Chúng tôi bắt đầu bằng cách hiểu các mô hình tham số là gì và sau đó là thảo luận về hàm mất mát là gì. Tiếp đến, chúng tôi sẽ xem xét các phương pháp dựa trên độ dốc (graident) và các nó được sử dụng trong thuật toán lan truyền ngược trong mạng nơ-ron truyền thống. Chúng tôi kết thúc phần này bằng cách tìm hiểu cách triển khai mạng nơ-ron trong Pytorch. Sau đó là thảo luận về một hình thức lan truyền ngược tổng quát hơn.

Bài giảng phần B

Chúng tôi bắt đầu với một ví dụ cụ thể về sự lan truyền ngược và thảo luận về các kích thước của ma trận Jacobian. Sau đó, chúng tôi sẽ xem xét các mô-đun mạng nơ-ron cơ bản khác nhau và tính toán độ dốc của chúng. Tiếp theo là một cuộc thảo luận ngắn về softmax và logsoftmax. Chủ đề thảo luận khác trong phần này là thủ thuật thực hành lan truyền ngược.

Thực hành

Chúng tôi giới thiệu ngắn gọn về học có giám sát bằng cách sử dụng mạng nơ-ron nhân tạo. Chúng tôi giải thích về vấn đề công thức và quy ước dữ liệu được sư dụng để đào tạo các mạng này. Chúng tôi cũng thảo luận về cách đào tạo mạng nơ-ron để phân loại nhiều lớp và cách thực hiện suy luận sau khi mạng được đào tạo.



Huynh Nguyen