深度學在自然語言處理中的應用 : 從詞表徵到 ChatGPT

本書針對當前火熱且應用前景廣闊的自然語言處理（NLP），介紹了深度學的技術原理及其在自然語言處理中的應用；
簡要分析了該領域各個應用方向上的相關模型和關鍵技術，括Transformer、BERT、GPT，等等；
匯集了眾多論文中的重要思想和研究成果；系統梳理了技術發展脈絡。
此外，本書還介紹瞭如何使用深度學技術來訓練模型，
並分析了其在應用中的表現及化手段，以幫助讀者更好地將理論應用於實踐。
本書內容通俗易懂，可作為入門自然語言處理的參考書。

前言iii
第1章緒論1
1.1 機器學簡介1
1.1.1 機器學的發展歷程1
1.1.2 機器學的算法分類4
1.2 深度學簡介5
1.3 自然語言處理簡介7
1.3.1 自然語言處理的發展歷程7
1.3.2 自然語言處理的研究方向8
1.3.3 自然語言理解的主要任務8
1.3.4 自然語言生成的任務14
1.3.5 自然語言處理面臨的挑戰15
1.4 自然語言處理與機器學和深度學16
第2章深度學基礎17
2.1 前饋經網絡17
2.2 卷積經網絡20
2.3 循環經網絡24
2.4 長短期記憶網絡26
2.5 記憶網絡和經圖靈機28
2.6 圖經網絡30
2.7 深度生成模型33
2.7.1 自編碼器和變分自編碼器34
2.7.2 生成對抗網絡39
2.8 Transformer 39
2.8.1 Transformer的編碼模塊41
2.8.2 Transformer的解碼模塊42
第3章詞表徵44
3.1 語言模型45
3.2 基於矩陣的詞分佈表徵模型46
3.2.1 潛在語義分析46
3.2.2 GloVe 47
3.3 基於聚類的詞分佈表徵模型48
3.4 基於經網絡的詞分佈表徵模型49
3.4.1 NNLM 50
3.4.2 RNNLM 52
3.4.3 Collobert-Weston模型53
3.4.4 Word2Vec 54
3.4.5 ELMo 58
3.4.6 ULMFit 60
3.4.7 GPT 61
3.4.8 BERT 62
3.4.9 T5 64
3.5 跨語言的詞嵌入模型64
3.5.1 基於詞對齊65
3.5.2 基於預訓練的方法66
3.6 其他表徵67
第4章註意力機制69
4.1 注意力機制的由來69
4.2 注意力機制的擴展72
4.2.1 全局注意力和局注意力72
4.2.2 自註意力75
4.3 NTM和MemNN的注意力機制77
4.3.1 NTM的注意力機制78
4.3.2 MemN2N的注意力機制79
4.4 指針網絡的注意力機制81
第5章遷移學83
5.1 遷移學的定義和分類83
5.2 領域自適應86
5.2.1 基於樣本的遷移學86
5.2.2 基於徵映射的遷移學88
5.2.3 基於對抗的深度遷移學91
5.3 多任務學91
5.4 序列遷移學94
5.4.1 預訓練語言模型95
5.4.2 微調95
5.5 跨語言的遷移學97
第6章強化學98
6.1 強化學的定義99
6.1.1 馬爾可夫決策過程99
6.1.2 強化學的模型100
6.1.3 智能體的策略101
6.1.4 值函數101
6.2 貝爾曼方程103
6.3 強化學的分類104
6.3.1 有模型學105
6.3.2 模型學107
6.3.3 基於值函數和基於策略函數的學112
6.4 深度強化學115
6.5 深度強化學在NLP中的應用116
第7章機器翻譯117
7.1 機器翻譯的發展歷程117
7.2 經機器翻譯118
7.3 基於RNN的Seq2Seq模型120
7.4 基於CNN的Seq2Seq模型124
7.5 經機器翻譯的策略126
7.5.1 解碼策略126
7.5.2 估計softmax函數計算127
7.5.3 縮小詞典127
7.5.4 處理生僻詞和未知詞128
7.6 機器翻譯的評方法129
7.6.1 人工評130
7.6.2 下游系統評130
7.6.3 BLEU 130
第8章文本摘要132
8.1 抽取式摘要132
8.1.1 傳統機器學方法133
8.1.2 深度學方法135
8.2 生成式摘要136
8.2.1 傳統機器學方法137
8.2.2 深度學方法137
8.3 文本摘要的評139
第9章自動問答140
9.1 基於檢索的自動問答140
9.1.1 文本檢索模塊141
9.1.2 文本理解模塊143
9.2 基於知識庫的自動問答146
9.3 基於社區的自動問答148
9.3.1 *推薦148
9.3.2 相似問題檢索149
9.3.3 答案質量評估149
9.4 深度自動問答系統150
9.4.1 抽取式機器閱讀理解150
9.4.2 生成式機器閱讀理解151
9.5 自動問答系統的評151
第10章對話系統153
10.1 面向任務的對話系統154
10.1.1 自然語言理解155
10.1.2 對話管理155
10.1.3 自然語言生成157
10.2 開放域對話系統158
10.2.1 檢索式方法159
10.2.2 生成式方法159
10.2.3 混合方法160
10.2.4 開放域對話系統的關鍵問題160
10.3 對話系統的評測162
第11章情感分析164
11.1 情感分析的分類165
11.1.1 文檔級情感分析166
11.1.2 句子級情感分析167
11.1.3 方面級情感分析168
11.1.4 監督學和基於詞典的方法比較169
11.2 方面和實體提取170
11.2.1 挖掘頻繁出現的名詞短語170
11.2.2 利用情感詞與目標詞之間的語法關係170
11.2.3 應用監督學模型171
11.2.4 使用主題模型171
11.3 情感詞典172
11.3.1 基於詞典的方法172
11.3.2 基於語料庫的方法172
11.4 多模態情感分析173
第12章ChatGPT 174
12.1 大型語言模型174
12.1.1 語言模型的演化175
12.1.2 大型語言模型的*訓練176
12.1.3 語境學176
12.1.4 提示工程177
12.2 基於人工反饋的強化學方法179
12.3 生成ChatGPT 180
12.3.1 步驟1：微調GPT-3.5 180
12.3.2 步驟2：訓練獎勵模型180
12.3.3 步驟3：利用強化學微調ChatGPT 181
12.4 ChatGPT的發展181
參考文獻183