TensorFlow2高階自然語言處理實戰

第1章 自然語言處理的要點
1.1 典型的文字處理工作流程
1.2 資料的收集與標記
1.2.1 收集標記的數據
1.2.2 在Google Colab上啟用GPU
1.3 文本規範化
1.3.1 對規範化後的資料進行建模
1.3.2 令牌化
1.3.3 停止詞刪除
1.3.4 詞性標註
1.3.5 詞幹擷取與詞形還原
1.4 向量化文本
1.4.1 基於計數的向量化
1.4.2 詞頻-逆文檔頻率
1.4.3 詞向量
1.5 總結
第2章 透過BiLSTM理解自然語言中的情感
2.1 自然語言理解
2.2 雙向長短時記憶
2.2.1 RNN建構塊
2.2.2 長短時記憶網絡
2.2.3 門控循環單元
2.2.4 基於LSTM的情緒分類
2.3 總結
第3章 基於BiLSTMs，CRFs和維特比解碼的命名實體識別
3.1 命名實體識別
3.2 加載數據
3.3 規範化、向量化數據
3.4 BiLSTM模型
3.5 條件隨機場
3.6 基於BiLSTM和CRF的命名實體識別
3.6.1 實作自訂CRF層、損耗和模型
3.6.2 實施自訂訓練
3.7 維特比解碼（Viterbi decoding）
3.8 總結
第4章 基於BERT的遷移學習
4.1 遷移學習概述
4.2 基於GloVe嵌入的IMDb情緒分析
4.2.1 GloVe嵌入（GloVe embeddings）
4.2.2 加載IMDb訓練數據
4.2.3 加載與訓練GloVe嵌入
4.2.4 使用GloVe建立與訓練嵌入矩陣
4.2.5 特徵提取模型
4.2.6 微調模型
4.3 基於BERT的遷移學習
4.3.1 編碼器-解碼器網絡
4.3.2 註意力模型
4.3.3 Transformer模型
4.3.4 BERT模型
4.4 總結
第5章 利用RNN和GPT-2生成文本
5.1 生成文字－一次一個字符
5.1.1 資料加載和預處理
5.1.2 資料規範化與令牌化
5.1.3 模型訓練
5.1.4 實現自訂回調的學習速率衰減
5.1.5 用貪婪搜尋生成文本
5.2 產生預訓練（GPT-2）模型
5.3 總結
第6章 基於seq2seq Attention和Transformer Networks的文本總結
6.1 文本總結概述
6.2 資料加載與預處理
6.3 資料令牌化及向量化
6.4 基於註意力的seq2seq模型
6.4.1 編碼器模型
6.4.2 Bahdanau註意力層
6.4.3 解碼器模型
6.5 訓練模型
6.6 生成總結
6.6.1 貪婪搜索
6.6.2 波束搜索
6.6.3 使用波束搜尋解碼懲罰
6.7 評估總結
6.8 ROUGE度量評估
6.9 總結文本－最新技術
6.10 總結
第7章 基於ResNets和Transformer Networks的多模式網絡和影像字幕
7.1 多模態深度學習
7.2 影像字幕
7.3 用於影像字幕的MS-COCO資料集
7.4 用CNNs和ResNet50進行影像處理
7.5 用ResNet50擷取影像特徵
7.6 Transformer模型
7.6.1 位置編碼與掩碼
7.6.2 縮放點積與多頭註意力
7.6.3 視覺編碼器
7.6.4 解碼器
7.6.5 Transformer的組成
7.7 用VisualEncoder訓練Transformer模型
7.7.1 加載訓練數據
7.7.2 實例化Transformer模型
7.7.3 自訂學習速率計劃
7.7.4 損失和度量
7.7.5 檢查點和掩碼
7.7.6 自訂訓練
7.8 生成字幕
7.9 提高模型的效能以及目前最先進的模型
7.10 總結
第8章 基於Snorkel分類的弱監督學習
8.1 弱監督
8.2 使用弱監督標記改進IMDb情緒分析
8.2.1 預處理IMDb資料集
8.2.2 學習子詞分詞器
8.2.3 BiLSTM基線模型
8.3 帶Snorkel的弱監督標記
8.4 尋找關鍵字的Naive-Bayes模型
8.4.1 訓練集上弱監督標記的評價
8.4.2 為未標記資料產生無監督標記
8.4.3 基於來自Snorkel的弱監督資料訓練BiLSTM
8.5 總結
第9章 透過深度學習建立聊天AI應用程式
9.1 會話智能體概述
9.2 問答與MRC會話智能體
9.3 一般會話智能體
9.4 總結
9.5 結語
第10章 代碼的安裝與設定說明