PyTorch 深度學習指南 捲III ：序列與自然語言處理 Deep Learning with PyTorch Step-by-Step: A Beginner's Guide: Volume III: Sequences & NLP

趙春江，博士，畢業於上海交通大學。在信息處理領域有著十餘年豐富的教學和科研經驗。在科研方面，主持過3項省級教科研項目，在國內外期刊和會議中共發表20餘篇學術論文，其中被SCl或EI檢索共計12篇。

前言
致謝
關於作者
譯者序
常見問題
為什麼選擇PyTorch？
為什麼選擇這套書？
誰該讀這套書？
我需要知道什麼？
如何閱讀這套書？
下一步是什麼？
設定指南
官方數據庫
環境
GoogleColab
Binder
本地安裝
繼續
第8章序列
劇透
Jupyter Notebook
導入
序列
資料產生
循環神經網絡（RNN）
RNN單元
RNN層
形狀
堆疊RNN
雙向RNN
正方形模型
視覺化模型
我們能做得更好嗎？
門控循環單元（GRU）
GRU單元
GRU層
正方形模型Ⅱ－速成
模型配置與訓練
視覺化模型
我們能做得更好嗎？
長短期記憶（LSTM）
LSTM單元
LSTM層
正方形模型Ⅲ——巫師
模型配置與訓練
視覺化隱藏狀態
可變長度序列
填充
打包
解包（至填充）
打包（從填充）
可變長度資料集
資料準備
正方形模型Ⅳ ——打包
模型配置與訓練
一維捲積
形狀
多特徵或通道
膨脹
資料準備
模型配置與訓練
視覺化模型
歸納總結
固定長度資料集
可變長度資料集
選擇適當的模型
模型配置與訓練
回顧
第9章（上）：序列到序列
劇透
Jupyter Notebook
導入
序列到序列
資料產生
編碼器-解碼器架構
編碼器
解碼器
編碼器+解碼器
資料準備
模型配置和訓練
視覺化預測
我們能做得更好嗎？
註意力
“值”
“鍵”和“查詢”
計算上下文向量
評分方法
註意力分數
縮放點積
註意力機制
源掩碼
解碼器
編碼器+解碼器+註意力機制
模型配置和訓練
可視化預測
可視化註意力
多頭註意力
第9章（下）：序列到序列
劇透
自註意力
編碼器
交叉註意力
解碼器
編碼器+解碼器+自註意力機制
模型配置與訓練
視覺化預測
不再有序
位置編碼（PE）
編碼器+解碼器+位置編碼
模型配置與訓練
視覺化預測
視覺化註意力
歸納總結
資料準備
模型組裝
編碼器+解碼器+位置編碼
自註意力的「層」
註意力頭
模型配置與訓練
回顧
第10章轉換和轉出
劇透
Jupyter Notebook
導入
轉換與轉出
狹義註意力
分塊
多頭註意力
堆疊編碼器和解碼器
包裹「子層」
Transformer編碼器
Transformer解碼器
層歸一化
批量與層
我們的Seq2Seq問題
投影或嵌入
Transformer
資料準備
模型配置和訓練
視覺化預測
PyTorch的Transformer
模型配置和訓練
視覺化預測
視覺Transformer
資料產生與準備 修補程式
特殊
分類器詞元
模型
模型配置與訓練
歸納總結
資料準備
模型組裝
模型配置與訓練
回顧
第11章Down the Yellow Brick Rabbit Hole
劇透
Jupyter Notebook
附加設定
導入
「掉進黃磚兔子洞（Down the Yellow Brick Rabbit Hole）」
建構資料集
句子詞元化
HuggingFace的資料集
加載資料集 單
字詞元化
詞彙表
HuggingFace的詞元化器
單字嵌入前
獨熱（One-Hot）編碼（OHE）
字詞袋（BoW）
語言模型
N元（N-gram）
連續詞袋（CBoW）
單字嵌入
Word2Vec
什麼是嵌入？
預訓練的Word2Vec
全域向量（GloVe）
使用單字嵌入
模型Ⅰ——GloVE+分類器
模型Ⅱ——GloVe+Transformer
上下文單字嵌入
ELMo
BERT
文件嵌入
模型Ⅲ——預處理嵌入
BERT
詞元化
輸入嵌入
預訓練任務
輸出
模型Ⅳ—使用BERT進行分類
使用HuggingFace進行微調
序列分類（或回歸）
詞元化資料集
訓練器
預測
管道
更多管道
GPT-2
歸納總結
資料準備
模型配置和訓練
生成文本
回顧
謝謝您！