自然語言處理——原理、技術與應用（新形態版）

徐凡，博士，江西師範大學教授，博士生導師，省級領軍人才。擔任高性能計算江西省重點實驗室副主任。承擔國家自然科學基金和江西省傑出青年基金項目?等科研項目10余項。授權國家發明專利10余項。發表CCF推薦及SCI/EI收錄論文40余篇，指導的多名研究生學位論文獲評江西省優秀碩士學位論文。 黃琪，博士，江西師範大學副教授，碩士生導師。現任中國中文信息學會青年工作委員會委員、社會媒體處理委員會委員，江西省城市安全信息化學會理事、副秘書長；中國計算語言學大會CCL 2025程序委員會領域主席，Information Science、《系統仿真學報》等期刊審稿專家；在國際國內重要人工智能學術會議或期刊上發表論文10余篇，授權專利10余項。承擔國家自然科學基金項目1項、江西省自然科學基金項目1項，作為主要參與人參與國家自然科學基金項目4項。

目錄

第1篇基礎篇

第1章緒論

1.1概念

1.1.1語言

1.1.2自然語言

1.1.3自然語言處理

1.2任務體系

1.2.1資源建設

1.2.2基礎任務

1.2.3應用任務

1.2.4應用系統

1.3挑戰

1.4發展階段

1.4.1基於規則的理解

1.4.2基於統計的理解

1.4.3基於深度學習的理解

1.4.4基於大模型的理解

1.5本章小結

習題1

第2章數學基礎

2.1微積分基礎

2.1.1導數

2.1.2微分和積分

2.1.3導數法則

2.2概率論基礎

2.2.1事件和概率

2.2.2隨機變量與分布函數

2.2.3隨機變量的數字特征

2.2.4最大似然估計

2.2.5常見概率分布

2.3矩陣論基礎

2.3.1基本概念

2.3.2基本運算

2.3.3特殊類型的矩陣

2.3.4其他概念

2.4信息論基礎

2.4.1最優編碼

2.4.2熵

2.4.3噪聲信道模型

2.5隨機過程基礎

2.5.1馬爾可夫過程

2.5.2隱馬爾可夫模型

2.6本章小結

習題2

第3章模型基礎

3.1傳統機器學習模型

3.1.1Logistic Regression

3.1.2支持向量機

3.1.3最大熵模型

3.1.4隨機森林

3.1.5條件隨機場

3.1.6集成學習

3.2深度學習模型

3.2.1感知機

3.2.2前饋神經網絡

3.2.3遞歸神經網絡

3.2.4卷積神經網絡

3.2.5生成式對抗網絡

3.2.6註意力機制

3.2.7Transformer模型

3.2.8預訓練模型

3.3模型評價

3.3.1正確率

3.3.2精確率

3.3.3召回率

3.3.4F1值

3.3.5混淆矩陣

3.3.6ROC曲線

3.3.7AUC曲線

3.3.8BLEU

3.3.9ROUGE

3.4本章小結

習題3

第4章開發環境搭建

4.1開發環境介紹

4.2PyTorch快速入門

4.2.1張量

4.2.2常用函數

4.2.3數據集和數據加載器

4.2.4神經網絡模塊

4.2.5自動微分

4.2.6保存和加載模型

4.3本章小結

習題4

第2篇技術篇

第5章語言模型

5.1語言模型概述

5.2N元語言模型

5.2.1常用平滑方法

5.2.2語言模型的評估

5.3神經網絡語言模型

5.3.1BERT

5.3.2GPT 

5.3.3ChatGPT

5.3.4DeepSeekR1

5.4本章小結 

習題5

第6章詞法分析

6.1中文分詞

6.1.1基於規則的中文分詞方法

6.1.2基於神經網絡的中文分詞方法

6.2詞性標註

6.2.1基於規則的詞性標註方法

6.2.2基於統計的詞性標註方法

6.2.3基於神經網絡的詞性標註方法

6.3詞義消歧

6.3.1基於目標詞上下文的詞義消歧方法

6.3.2基於詞義釋義匹配的詞義消歧方法

6.3.3基於詞義知識增強預訓練的詞義消歧方法

6.4編程實戰

6.4.1中文分詞代碼實現

6.4.2詞性標註代碼實現

6.5本章小結

習題6

第7章句法分析

7.1短語句法分析

7.1.1基於CYK的短語句法分析

7.1.2基於移進歸約的短語句法分析

7.2依存句法分析

7.2.1生成式句法分析

7.2.2判別式句法分析

7.2.3基於圖模型的依存句法分析

7.2.4基於轉移的依存句法分析

7.3編程實戰

7.3.1短語句法分析代碼精講

7.3.2依存句法分析代碼精講

7.4本章小結

習題7

第8章語義分析

8.1語義表示

8.1.1謂詞邏輯表示

8.1.2產生式規則表示

8.1.3框架表示

8.1.4語義網絡表示

8.1.5格語法

8.1.6分布式知識表示

8.2詞匯級語義分析

8.2.1詞義消歧

8.2.2詞語相似度計算

8.3句子級語義分析

8.3.1基於短語句法的語義角色標註

8.3.2基於依存句法的語義角色標註

8.3.3基於神經網絡的語義角色標註

8.4編程實戰

8.4.1詞義消歧

8.4.2詞語相似度計算

8.4.3語義角色標註

8.5本章小結 

習題8

第9章篇章分析

9.1篇章分析理論概述

9.1.1Hobbs模型

9.1.2DLTAG理論

9.1.3RST

9.1.4PDTB表示體系

9.1.5中心理論

9.1.6言語行為理論

9.1.7篇章圖模型

9.1.8主位述位結構理論

9.1.9句群理論

9.1.10復句理論

9.2篇章結構分析

9.2.1基於RST的篇章結構分析

9.2.2基於PDTB的篇章結構分析

9.3指代消解

9.3.1基於傳統機器學習的指代消解

9.3.2基於深度學習的指代消解

9.4篇章連貫性建模

9.4.1基於特征工程的篇章連貫性建模

9.4.2基於深度學習的篇章連貫性建模

9.5編程實戰

9.5.1篇章結構分析工具

9.5.2指代消解代碼精講

9.6本章小結 

習題9

第3篇應用篇

第10章虛假信息檢測算法實踐

10.1引言

10.1.1時空結構神經網絡

10.1.2數據集

10.1.3評價指標

10.2模型實現

10.2.1模型訓練

10.2.2基於時空結構神經網絡的虛假信息檢測

10.2.3代碼實現

10.2.4模型評價

10.3本章小結

習題10

附錄

參考文獻