自然語言處理

目   錄

第 1 章 緒論  1

　　1.1 自然語言處理的相關概念   1

　　1.2 自然語言處理的發展階段   3

　　1.3 自然語言處理的核心任務   6

　　1.4 本章小結  7

第 2 章 機器學習基礎  8

　　2.1 經典機器學習  8

　　　　2.1.1 基本概念 8

　　　　2.1.2 機器學習的分類  10

　　　　2.1.3 機器學習模型   11

　　　　2.1.4 學習準則 13

　　　　2.1.5 優化算法 17

　　　　2.1.6 評價指標 19

　　2.2 神經網絡與深度學習   21

　　2.3 本章小結   24

　　第 2 章習題 24

第 3 章 語言模型   27

　　3.1 語言模型概述  27

　　3.2 統計語言模型  28

　　　　3.2.1 模型概述 28

　　　　3.2.2 參數估計 30

　　　　3.2.3 參數平滑 31

　　　　3.2.4 語言模型評價   33

　　　　3.2.5 統計語言模型存在的問題  34

　　3.3 神經網絡語言模型   35

　　3.4 本章小結   37

　　第 3 章習題 38

第 4 章 文本表示   40

　　4.1 經典文本表示  40

　　　　4.1.1 基於向量空間模型的文本表示的基本概念  41

　　　　4.1.2 特征選擇 41

　　　　4.1.3 權重計算 44

　　4.2 分布式文本表示 45

　　　　4.2.1 基於潛在語義分析的分布式表示 46

　　　　4.2.2 基於預測的分布式表示  48

　　4.3 任務驅動的文本表示   54

　　　　4.3.1 CNN  55

　　　　4.3.2 RNN  58

　　　　4.3.3 基於門控的 RNN 61

　　　　4.3.4 註意力機制   64

　　　　4.3.5 Transformer 模型 69

　　4.4 基於預訓練模型的文本表示   71

　　　　4.4.1 基於雙向 LSTM 的語言模型——ELMo   72

　　　　4.4.2 基於單向 Transformer 的語言模型——GPT  73

　　　　4.4.3 基於雙向 Transformer 的語言模型——BERT 75

　　4.5 本章小結   77

　　第 4 章習題 78

第 5 章 詞法分析   81

　　5.1 語言中的詞匯  81

　　5.2 英文詞語規範化 82

　　5.3 中文分詞   83

　　　　5.3.1 分詞概述 83

　　　　5.3.2 中文分詞方法   83

　　5.4 詞性標註   89

　　　　5.4.1 詞性標註概述   89

　　　　5.4.2 詞性標註方法   90

　　5.5 詞法分析工具及語料   92

　　　　5.5.1 詞法分析工具   92

　　　　5.5.2 詞法分析語料   93

　　5.6 本章小結   94

　　第 5 章習題 94

第 6 章 句法分析   96

　　6.1 成分句法分析  96

　　　　6.1.1 概述   96

　　　　6.1.2 主要方法 98

　　　　6.1.3 評價指標 106

　　6.2 依存句法分析 106

　　　　6.2.1 概述  106

　　　　6.2.2 主要方法 108

　　　　6.2.3 評價指標 113

　　6.3 句法分析工具及相關語料庫   114

　　　　6.3.1 句法分析工具  114

　　　　6.3.2 句法分析語料庫與相關評測 114

　　6.4 本章小結   115

　　第 6 章習題 115

第 7 章 信息抽取   117

　　7.1 命名實體識別 117

　　　　7.1.1 基本概念 118

　　　　7.1.2 基於規則的命名實體識別 120

　　　　7.1.3 基於統計機器學習的命名實體識別 120

　　　　7.1.4 基於深度學習的命名實體識別   121

　　　　7.1.5 命名實體識別數據集   123

　　7.2 關系抽取   123

　　　　7.2.1 基本概念 124

　　　　7.2.2 基於規則的關系抽取方法 125

　　　　7.2.3 基於統計機器學習的關系抽取方法 126

　　　　7.2.4 基於深度神經網絡的關系抽取   126

　　　　7.2.5 基於弱監督的關系抽取方法 130

　　　　7.2.6 篇章級關系抽取方法   132

　　　　7.2.7 關系抽取數據集 133

　　7.3 事件抽取   134

　　　　7.3.1 相關概念 134

　　　　7.3.2 基於深度學習的事件抽取 137

　　　　7.3.3 基於聯合訓練的事件抽取 139

　　　　7.3.4 事件抽取數據集 141

　　7.4 基於預訓練語言模型與大語言模型的信息抽取   142

　　　　7.4.1 預訓練精調範式 142

　　　　7.4.2 基於 NL-LLM 信息抽取範式   143

　　　　7.4.3 基於 Code-LLM 信息抽取範式   145

　　7.5 本章小結   146

　　第 7 章習題 146

第 8 章 自動問答   149

　　8.1 概述  149

　　8.2 基於知識庫的自動問答   150

　　　　8.2.1 主要數據集   151

　　　　8.2.2 基於語義解析的知識庫問答方法  151

　　　　8.2.3 基於深度學習的知識庫問答方法  153

　　　　8.2.4 其他類型知識庫的問答方法 153

　　8.3 基於固定文檔的自動問答 155

　　　　8.3.1 主要數據集   155

　　　　8.3.2 基於深度學習的機器閱讀理解方法 156

　　8.4 基於自由文本數據的自動問答  158

　　　　8.4.1 相關數據資源  158

　　　　8.4.2 代表性開放域問答方法  158

　　　　8.4.3 其他開放域問答方法   160

　　8.5 本章小結   161

　　第 8 章習題 161

第 9 章 文本分類與情感分析  162

　　9.1 文本分類   162

　　　　9.1.1 文本分類的基本概念   162

　　　　9.1.2 文本分類的基本方法   163

　　9.2 情感分析   167

　　　　9.2.1 相關概念 168

　　　　9.2.2 情感詞典 169

　　　　9.2.3 篇章級情感分析 170

　　　　9.2.4 句子級情感分析 171

　　　　9.2.5 方面級情感分析 172

　　　　9.2.6 隱式情感分析  175

　　9.3 本章小結   178

　　第 9 章習題 178

第 10 章 文本生成   180

　　10.1 相關概念   181

　　10.2 文本生成模型 182

　　　　10.2.1 基於 RNN 的生成模型  183

　　　　10.2.2 基於 Transformer 的生成模型  186

　　　　10.2.3 基於變分自編碼器的生成模型  186

　　　　10.2.4 基於生成式對抗網絡的生成模型   191

　　　　10.2.5 非自回歸生成模型   191

　　　　10.2.6 未來展望   193

　　10.3 常見的文本生成任務及其方法   193

　　　　10.3.1 生成式自動文摘 193

　　　　10.3.2 機器翻譯   197

　　10.4 生成式預訓練模型   200

　　　　10.4.1 BART 模型  200

　　　　10.4.2 GPT-3 模型  201

　　　　10.4.3 DeepSeek 模型 202

　　10.5 文本生成的評價   204

　　　　10.5.1 人工評價   204

　　　　10.5.2 自動評價   206

　　10.6 本章小結   208

　　第 10 章習題  209

第 11 章 自然語言處理的挑戰與趨勢 211

　　11.1 低資源自然語言處理任務   211

　　　　11.1.1 低資源語言  211

　　　　11.1.2 低資源領域  213

　　11.2 自然語言推理 214

　　　　11.2.1 常識推理   214

　　　　11.2.2 時空推理   215

　　　　11.2.3 因果推理   216

　　　　11.2.4 推理的可靠性  220

　　11.3 從語言智能邁向通用人工智能   220

　　　　11.3.1 多模態技術  221

　　　　11.3.2 具身智能   221

　　11.4 本章小結   223

參考文獻   224