動手學自然語言處理

屠可伟，上海科技大学信息科学与技术学院长聘副教授、研究员、博士生导师。研究方向包括自然语言处理、机器学习等，主要研究将符号、统计和神经方法相结合用于语言结构的表示、学习与利用。发表论文100余篇，主要发表在ACL、EMNLP、AAAI 等人工智能领域顶级会议。担任多个顶级会议程序委员会委员和领域主席。曾获ACL 2023杰出论文奖，以及SemEval 2022和SemEval 2023最佳系统论文奖。

王新宇，上海科技大学博士，长期从事自然语言处理研究工作，在ACL、EMNLP、NAACL等顶级会议上发表论文10余篇，担任ACL、NAACL会议的领域主席以及ACL滚动审查（ACL Rolling Review）执行编辑。曾获得中国中文信息学会优秀博士学位论文提名、SemEval 2022最佳系统论文奖等荣誉。

曲彦儒，伊利诺伊大学厄巴纳-香槟分校博士生，长期从事自然语言处理研究工作，在ACL、NAACL、AAAI、ICLR等会议上发表了多篇论文。

俞勇，上海交通大学ACM班创办人，国家级教学名师，上海交通大学特聘教授。2018年创办伯禹人工智能学院，在上海交通大学ACM班人工智能专业课程体系的基础上，对人工智能课程体系进行创新，致力于培养卓越的人工智能算法工程师和研究员。

第 1章　初探自然語言處理　1

1.1　自然語言處理是什麽　1

1.2　自然語言處理的應用　2

1.3　自然語言處理的難點　3

1.4　自然語言處理的方法論　4

1.5　小結　5

第 一部分 基礎

第 2章　文本規範化　8

2.1　分詞　8

2.1.1　基於空格與標點符號的分詞　8

2.1.2　基於正則表達式的分詞　9

2.1.3　詞間不含空格的語言的分詞　12

2.1.4　基於子詞的分詞　13

2.2　詞規範化　17

2.2.1　大小寫折疊　17

2.2.2　詞目還原　18

2.2.3　詞乾還原　19

2.3　分句　19

2.4　小結　20

第3章　文本表示　22

3.1　詞的表示　22

3.2　稀疏向量表示　24

3.3　稠密向量表示　25

3.3.1　word2vec　25

3.3.2　上下文相關詞嵌入　30

3.4　文檔表示　30

3.4.1　詞-文檔共現矩陣　31

3.4.2　TF-IDF加權　31

3.4.3　文檔的稠密向量表示　33

3.5　小結　33

第4章　文本分類　35

4.1　基於規則的文本分類　35

4.2　基於機器學習的文本分類　36

4.2.1　樸素貝葉斯　36

4.2.2　邏輯斯諦回歸　42

4.3　分類結果評價　45

4.4　小結　47

第5章　文本聚類　49

5.1　k均值聚類算法　49

5.2　基於高斯混合模型的最大期望值算法　53

5.2.1　高斯混合模型　53

5.2.2　最大期望值算法　53

5.3　無監督樸素貝葉斯模型　57

5.4　主題模型　60

5.5　小結　61

第二部分 序列

第6章　語言模型　64

6.1　概述　64

6.2　n元語法模型　66

6.3　循環神經網絡　67

6.3.1　循環神經網絡　67

6.3.2　長短期記憶　73

6.3.3　多層雙向循環神經網絡　76

6.4　註意力機制　80

多頭註意力　83

6.5　Transformer模型　85

6.6　小結　91

第7章　序列到序列模型　93

7.1　基於神經網絡的序列到序列模型　93

7.1.1　循環神經網絡　94

7.1.2　註意力機制　96

7.1.3　Transformer　98

7.2　學習　101

7.3　解碼　106

7.3.1　貪心解碼　106

7.3.2　束搜索解碼　107

7.3.3　其他解碼問題與解決技巧　110

7.4　指針網絡　111

7.5　序列到序列任務的延伸　112

7.6　小結　113

第8章　預訓練語言模型　114

8.1　ELMo：基於語言模型的上下文相關詞嵌入　114

8.2　BERT：基於Transformer的雙向編碼器表示　115

8.2.1　掩碼語言模型　115

8.2.2　BERT模型　116

8.2.3　預訓練　116

8.2.4　微調與提示　117

8.2.5　BERT代碼演示　117

8.2.6　BERT模型擴展　121

8.3　GPT：基於Transformer的生成式預訓練語言模型　122

8.3.1　GPT模型的歷史　122

8.3.2　GPT-2訓練演示　123

8.3.3　GPT的使用　125

8.4　基於編碼器-解碼器的預訓練語言模型　128

8.5　基於HuggingFace的預訓練語言模型使用　129

8.5.1　文本分類　129

8.5.2　文本生成　130

8.5.3　問答　130

8.5.4　文本摘要　131

8.6　小結　131

第9章　序列標註　133

9.1　序列標註任務　133

9.1.1　詞性標註　133

9.1.2　中文分詞　134

9.1.3　命名實體識別　134

9.1.4　語義角色標註　135

9.2　隱馬爾可夫模型　135

9.2.1　模型　135

9.2.2　解碼　136

9.2.3　輸入序列的邊際概率　137

9.2.4　單個標簽的邊際概率　138

9.2.5　監督學習　139

9.2.6　無監督學習　139

9.2.7　部分代碼實現　141

9.3　條件隨機場　146

9.3.1　模型　146

9.3.2　解碼　147

9.3.3　監督學習　148

9.3.4　無監督學習　149

9.3.5　部分代碼實現　149

9.4　神經序列標註模型　154

9.4.1　神經softmax　154

9.4.2　神經條件隨機場　154

9.4.3　代碼實現　155

9.5　小結　156

第三部分 結構

第 10章　 成分句法分析　160

10.1　成分結構　160

10.2　成分句法分析概述　161

10.2.1　歧義性與打分　161

10.2.2　解碼　162

10.2.3　學習　162

10.2.4　評價指標　163

10.3　基於跨度的成分句法分析　163

10.3.1　打分　164

10.3.2　解碼　165

10.3.3　學習　170

10.4　基於轉移的成分句法分析　173

10.4.1　狀態與轉移　173

10.4.2　轉移的打分　174

10.4.3　解碼　175

10.4.4　學習　176

10.5　基於上下文無關文法的成分句法分析　177

10.5.1　上下文無關文法　177

10.5.2　解碼和學習　178

10.6　小結　179

第 11章　依存句法分析　181

11.1　依存結構　181

11.1.1　投射性　182

11.1.2　與成分結構的關系　182

11.2　依存句法分析概述　184

11.2.1　打分、解碼和學習　184

11.2.2　評價指標　184

11.3　基於圖的依存句法分析　185

11.3.1　打分　185

11.3.2　解碼　186

11.3.3　Eisner算法　186

11.3.4　MST算法　191

11.3.5　高階方法　194

11.3.6　監督學習　194

11.4　基於轉移的依存句法分析　195

11.4.1　狀態與轉移　196

11.4.2　打分、解碼與學習　196

11.5　小結　198

第 12章　語義分析　200

12.1　顯式和隱式的語義表示　200

12.2　詞義表示　201

12.2.1　WordNet　201

12.2.2　詞義消歧　203

12.3　語義表示　204

12.3.1　專用和通用的語義表示　204

12.3.2　一階邏輯　205

12.3.3　語義圖　205

12.4　語義分析　206

12.4.1　基於句法的語義分析　206

12.4.2　基於神經網絡的語義分析　207

12.4.3　弱監督學習　209

12.5　語義角色標註　209

12.5.1　語義角色標註標準　209

12.5.2　語義角色標註方法　211

12.6　信息提取　211

12.7　小結　212

第 13章　篇章分析　213

13.1　篇章　213

13.1.1　連貫性關系　213

13.1.2　篇章結構　214

13.1.3　篇章分析　215

13.2　共指消解　215

13.2.1　提及檢測　216

13.2.2　提及聚類　216

13.3　小結　220

總結與展望　221

參考文獻　223

中英文術語對照表　228

附　　錄　234