自然語言處理

袁彩霞：

北京郵電大學人工智能學院副教授，博士生導師，長期從事自然語言處理、人機對話等方面的研究與教學工作；主持國家級科研項目三項、省部級科研項目四項、橫向企事業合作項目十余項；在ACL、EMNLP、NAACL、AAAI、ACM MM等人工智能領域頂級會議上發表論文七十余篇，被授權發明專利二十余項，入選“北京市科技新星計劃”。

 

王小捷：

北京郵電大學人工智能學院教授，博士生導師，教育部重點領域教學資源及新型教材建設項目專家工作組自然語言處理領域首席專家，中國人工智能學會會士，長期從事自然語言處理、多模態認知計算等方面的研究與教學工作；主持國家重點研發計劃、國家自然科學基金等國家級科研項目十余項，科研成果曾獲中國發明協會發明創業獎成果獎一等獎、中國電力科學技術進步獎一等獎、航空科學基金一等獎等獎勵；已在人工智能領域國際頂級會議和期刊上發表學術論文百余篇。

【章名目錄】

第 1章　緒論

第 2章　語言單元獲取

第3章　詞的表示

第4章　N-gram語言模型

第5章　神經網絡語言模型

第6章　預訓練語言模型

第7章　大語言模型

第8章　大語言模型評測

第9章　大語言模型上下文長度拓展

第 10章　大語言模型知識增強

第 11章　大語言模型智能體

第 12章　融合視覺信息的自然語言處理

 

【詳細目錄】

第 1章　緒論

1.1　什麼是自然語言處理　002

1.2　自然語言處理的知識體系　004

1.3　自然語言處理的發展　006

1.4　本書安排　010

1.5　本章習題　012

 

第 2章　語言單元獲取

2.1　語料　014

2.2　漢語切分　017

2.2.1　漢語切分任務分析　018

2.2.2　漢語切分技術　020

2.3　子詞切分　023

2.4　本章小結　027

2.5　本章習題　027

 

第3章　詞的表示

3.1　基於形符的詞表示　029

3.2　基於共現的詞表示　030

3.2.1　共現矩陣　030

3.2.2　GloVe模型　032

3.3　基於預測的詞表示　034

3.3.1　C&W模型　034

3.3.2　CBOW模型　036

3.3.3　Skip-gram模型　037

3.3.4　詞嵌入模型優化　038

3.4　詞向量的評價與應用　040

3.4.1　詞向量的評價　040

3.4.2　詞向量的應用　042

3.5　拓展閱讀　042

3.6　本章小結　043

3.7　本章習題　043

 

第4章　N-gram語言模型

4.1　N元語法　046

4.2　參數估計與平滑　048

4.2.1　n的影響　048

4.2.2　條件概率的估計　049

4.2.3　回退技術　050

4.2.4　平滑技術　052

4.3　語言模型的評估　055

4.3.1　N-gram模型存在的問題　057

4.3.2　基於詞聚類的語言模型　057

4.4　本章小結　058

4.5　本章習題　058

 

第5章　神經網絡語言模型

5.1　前饋神經網絡語言模型　060

5.1.1　模型結構　060

5.1.2　模型訓練　062

5.1.3　特別的考慮　063

5.2　循環神經網絡語言模型　064

5.2.1　網絡結構　064

5.2.2　模型訓練　065

5.2.3　特別的考慮　066

5.3　語言序列編解碼　068

5.3.1　序列到序列結構　068

5.3.2　引入註意力機制　069

5.3.3　其他的結構設計　071

5.4　語言模型與動態詞表示　072

5.5　本章小結　073

5.6　本章習題　074

 

第6章　預訓練語言模型

6.1　註意力機制　076

6.1.1　簡單註意力　076

6.1.2　多頭註意力　077

6.1.3　一般註意力模型　078

6.1.4　多頭自註意力模型　079

6.2　Transformer模型　080

6.2.1　輸入表示　081

6.2.2　編碼器　081

6.2.3　解碼器　083

6.2.4　模型輸出及訓練　085

6.3　預訓練語言模型　086

6.3.1　GPT模型　086

6.3.2　BERT模型　087

6.3.3　T5模型　090

6.4　預訓練-微調範式　090

6.5　拓展閱讀　091

6.5.1　ALBERT模型　091

6.5.2　RoBERTa模型　092

6.5.3　GLM模型　093

6.6　本章小結　093

6.7　本章習題　093

 

第7章　大語言模型

7.1　預訓練　095

7.1.1　模型結構　095

7.1.2　預訓練目標　097

7.1.3　預訓練數據　099

7.1.4　預訓練策略　103

7.2　指令微調　105

7.2.1　指令微調的概念　105

7.2.2　指令數據集　105

7.2.3　指令微調總結　106

7.3　人類對齊　107

7.3.1　微調預訓練　108

7.3.2　訓練獎勵模型　108

7.3.3　PPO優化策略　109

7.4　提示工程　110

7.4.1　提示詞的組成　110

7.4.2　提示工程方法　110

7.4.3　參數高效微調　113

7.5　拓展閱讀　115

7.5.1　GPT系列大語言模型　115

7.5.2　LLaMA系列大語言模型　116

7.6　本章小結　118

7.7　本章習題　118

 

第8章　大語言模型評測

8.1　評測的能力　120

8.2　評測任務　121

8.2.1　面向綜合學科能力評測的任務　121

8.2.2　面向理解能力評測的任務　122

8.2.3　面向推理能力評測的任務　122

8.2.4　面向安全能力評測的任務　123

8.2.5　面向生成能力評測的任務　124

8.3　評測數據集　124

8.3.1　綜合學科能力　124

8.3.2　理解能力　125

8.3.3　推理能力　125

8.3.4　安全能力　126

8.3.5　生成能力　127

8.3.6　其他一些數據集　128

8.4　評測指標和方法　128

8.5　本章小結　131

8.6　本章習題　131

 

第9章　大語言模型上下文長度拓展

9.1　基於註意力的上下文長度拓展　方法　134

9.1.1　段級循環註意力　134

9.1.2　窗口註意力　138

9.1.3　雙塊註意力　140

9.2　基於位置編碼的上下文長度拓展方法　144

9.2.1　旋轉式位置編碼　144

9.2.2　位置插值　148

9.2.3　神經正切核感知插值　151

9.2.4　YaRN　153

9.3　本章小結　154

9.4　本章習題　155

 

第 10章　大語言模型知識增強

10.1　非結構化知識增強方法　157

10.1.1　獲取非結構化知識的檢索技術　158

10.1.2　利用非結構化知識的生成方法　159

10.2　結構化知識增強方法　160

10.2.1　數據庫　160

10.2.2　表格　161

10.2.3　知識圖譜　162

10.3　評估　164

10.3.1　評估任務　164

10.3.2　數據集　165

10.3.3　評價指標和工具　166

10.4　本章小結　168

10.5　本章習題　168

 

第 11章　大語言模型智能體

11.1　大語言模型單智能體　170

11.1.1　智能體的感知　170

11.1.2　智能體的規劃　173

11.1.3　智能體的記憶　175

11.1.4　智能體的動作　177

11.1.5　智能體應用　178

11.2　大語言模型多智能體　179

11.2.1　大語言模型多智能體的應用　180

11.2.2　大語言模型多智能體的通信　186

11.2.3　大語言模型多智能體的人設　188

11.2.4　大語言模型多智能體的能力增強　188

11.3　本章小結　190

11.4　本章習題　190

 

第 12章　融合視覺信息的自然語言處理

12.1　視覺語言多模態任務　192

12.2　多模態學習基礎技術　193

12.2.1　表示技術　193

12.2.2　對齊技術　194

12.2.3　融合技術　195

12.2.4　轉換技術　195

12.3　視覺語言多模態預訓練模型　195

12.3.1　總體框架　195

12.3.2　預訓練數據集　196

12.3.3　模型結構　197

12.3.4　預訓練任務　200

12.3.5　下遊任務　202

12.4　多模態大語言模型　203

12.4.1　動機　203

12.4.2　總體框架　204

12.4.3　訓練數據集　204

12.4.4　模型結構　205

12.4.5　訓練任務　207

12.4.6　下遊任務　207

12.5　本章小結　208

12.6　本章習題　208

參考文獻　209