自然語言處理：基於機器學習視角

滕誌揚，2011年本科畢業於東北大學，2014年碩士畢業於中國科學院大學，2018年博士畢業於新加坡科技與設計大學（SUTD），專業方向是自然語言處理和機器學習。他於2018-2022年在西湖大學擔任助理研究員。2022-2023年，在新加坡南洋理工大學計算機科學與工程學院的S-lab高級智能實驗室曾先後擔任研究員和研究型助理教授。在自然語言處理領域的國際和國內頂級會議及期刊上共發表論文30多篇，並在2014年的CCL/NABD會議上獲得最佳論文獎。此外，還曾在EMNLP 2021、AACL-IJCNLP 2022和EMNLP 2022擔任領域主席。

目錄
中文版序
譯者序
前言
符號表
第一部分基礎知識
第1章緒論2
1.1 自然語言處理的概念2
1.2 自然語言處理任務3
1.2.1 基礎任務4
1.2.2 資訊抽取任務12
1.2.3 應用16
1.2.4 小結18
1.3 機器學習視角下的自然語言
處理任務18
總結19
註19
習題19
參考文獻21
第2章相對頻率35
2.1 機率建模35
2.1.1 最大似然估計35
2.1.2 詞建機率建模36
2.1.3 模型與機率分佈37
2.2 n元語言模型41
2.2.1 一元語言模型41
2.2.2 二元語言模型43
2.2.3 三元與高階語言模型46
2.2.4 生成式模型48
2.3樸素貝葉斯文本分類器49
2.3.1 樸素貝葉斯文本分類50
2.3.2 文本分類器的評估52
2.3.3 邊緣機率的計算53
2.3.4 特徵53
總結54
註釋54
習題54
參考文獻56
第3章特徵向量57
3.1 文本在向量空間中的表示57
3.1.1 聚類59
3.1.2 k均值聚類61
3.1.3 分類62
3.1.4 支持向量機63
3.1.5 感知機65
3.2 多分類66
3.2.1 定義基於輸出的特徵67
3.2.2 多分類支持向量機68
3.2.3 多分類感知機69
3.3 線性判別式模型70
3.3.1 判別式模型及其特徵70
3.3.2 線性模型的點積形式72
3.4 向量空間與模型訓練72
3.4.1 可分性與泛化性72
3.4.2 處理非線性可分資料73
總結74
註74
習題74
參考文獻76
第4章判別式線性分類器78
4.1 對數線性模型78
4.1.1 二分類對數線性模型的訓練79
4.1.2 多分類對數線性模型的訓練83
4.1.3 利用對數線性模型進行分類85
4.2 基於隨機梯度下降法訓練支援向量機85
4.2.1 二分類支援向量機的訓練86
4.2.2 多分類支援向量機的訓練87
4.2.3 感知機訓練的目標函數88
4.3 廣義線性模型88
4.3.1 統一線上訓練89
4.3.2 損失函數89
4.3.3 正規化92
4.4 模型融合92
4.4.1 模型表現比較92
4.4.2 模型整合93
4.4.3 半監督學習95
總結96
註釋96
習題97
參考文獻99
第5章資訊論觀點101
5.1 最大熵最大原理101
5.1.1 樸素最大熵模型103
5.1.2 條件熵104
5.1.3 最大熵模型與訓練資料105
5.2 KL散度與交叉108
5.2.1 交叉熵與最大似然估計109
5.2.2 熵模型困惑度110
5.3 互資訊111
5.3.1 點互資訊112
5.3.2 基於點互資訊的文本挖掘113
5.3.3 基於點互資訊的特徵選取115
5.3.4 字的點互資訊與向量表示115
總結117註
117
習題117
參考文獻120
第6章隱變量121
6.1 期望最大演算法121
6.1.1 k均值演算法123
6.1.2 期望最大演算法介紹125
6.2 基於期望最大演算法的隱變量模型127
6.2.1 無監督樸素貝葉斯模型127
6.2.2 IBM模型1 130
6.2.3 機率潛在語意分析136
6.2.4 產生模型的相對優勢138
6.3 期望最大演算法的理論基礎138
6.3.1 期望最大與KL散度139
6.3.2 基於數值最佳化的
期望最大演算法推導140
總結141
註142
習題142
參考文獻144
第二部分結構研究
第7章生成式序列標註任務146
7.1 序列標註146
7.2 隱馬可夫模型147
7.2.1 隱馬可夫模型的訓練149
7.2.2 解碼149
7.3 計算邊緣機率153
7.3.1 前向154 7.3.2
後向154 演算法7.
向-後向演算法156
7.3.4 二階隱馬可夫模型的前向-後向演算法156
7.4 基於期望最大演算法的無監督隱馬可夫模型訓練158
總結164
註164
習題165
參考文獻166
第8章判別式序列標註任務168
8.1 局部訓練的判別式序列標註模型168
8.2 標註偏置問題171
8.3 條件隨機場172
8.3.1 全域特徵向量173
8.3.2 解碼174 8.3.3 邊緣機率計算175 8.3.45 解碼174
8.3.3 邊緣機率計算175
8.3.訓練178
8.4 結構化感知機181
8.5 結構化支援向量機184
總結186
註釋186
習題186
參考文獻188
第9章序列分割189
9.1 基於序列標註的序列分割任務189
9.1.1 面向分詞的序列標註1190
9.99 . .2 面向句法組塊分析的序列標註特徵192
9.1.3 面向命名實體辨識的序列標註特徵192
9.1.4 序列分割輸出的評估方式193
9.2 面向序列分割的判別式模型193
9.2.1 分詞中的詞等級特徵194
9.2.2 基於動態規劃的精確搜尋解碼195
9.2.3 半馬可夫條件隨機場197
9.2.4 最大間隔模型202
9.3 結構化感知器與柱搜尋203
9.3.1 放寬特徵局部約束204
9.3 .2 柱搜索解碼205
總結207
註釋207
習題207
參考文獻208
第10章樹結構預測210
10.1 生成式成分句法分析210
10.1.1 概率上下文無關文法212
10.1.2 CKY解碼213
10.1.3 成分句法解析器的表現評估215
10.1.4 邊緣機率的計算215
10.2 成分句法分析的特徵218
10.2.1 詞彙化機率上下文無關文法218
10.2.2 判別式成分句法分析模型221
10.2.3 面向句法分析的對數線性成分模型222
10.