自然語言處理基礎及應用（附微課影片）（線上實訓版）

1.1　神奇的自然語言處理　1

1.2　自然語言處理的研究任務　2

1.2.1　自然語言理解任務　3

1.2.2　自然語言生成任務　3

1.3　自然語言處理的發展歷程　3

1.3.1　基於規則的自然語言處理　3

1.3.2　基於統計學習的自然語言處理　4

1.3.3　基於深度學習的自然語言處理　4

1.4　自然語言處理的挑戰　5

1.5　學習建議　6

1.6　本章小結　6

1.7　習題　6

2.1　搭建開發環境　7

2.1.1　為什麼選擇Python　8

2.1.2　使用圖形處理單元進行訓練　8

2.1.3　選擇Linux操作系統　9

2.1.4　Anaconda的下載與安裝　9

2.1.5　Python集成開發環境PyCharm的安裝　12

2.1.6　安裝CUDA與cuDNN　14

2.2　深度學習框架TensorFlow　16

2.2.1　TensorFlow　16

2.2.2　安裝TensorFlow　17

2.3　利用PyTorch進行深度學習　18

2.3.1　PyTorch　18

2.3.2　安裝PyTorch　19

2.3.3　PyTorch樣例　20

2.4　NumPy使用詳解　21

2.4.1　NumPy常用算法　21

2.4.2　NumPy的常用統計函數　23

2.5　實例：使用PyTorch模塊實現簡單線性回歸　25

2.6　本章小結　26

2.7　習題　26

3.1　卷積神經網絡概述　27

3.2　卷積神經網絡模型　28

3.2.1　CNN超參數　30

3.2.2　用於文本分類的CNN　32

3.3　CNN的變體　32

3.3.1　TextCNN模型　32

3.3.2　DPCNN模型　33

3.3.3　IDCNN模型　34

3.4　實例：使用PyTorch實現基於TextCNN的電影評論

　情感分析　35

3.4.1　數據集　35

3.4.2　代碼實現　36

3.4.3　文本分類評價指標　43

3.5　本章小結　44

3.6　習題　44

4.1　循環神經網絡概述　45

4.2　RNN模型　46

4.2.1　SRN　46

4.2.2　RNN的3種模式　47

4.3　基於門控的RNN　51

4.3.1　LSTM　51

4.3.2　LSTM的各種變體　53

4.3.3　雙向長短期記憶網絡　53

4.3.4　GRU　54

4.4　實例：基於THUCNews新聞標題數據集的文本

　分類　56

4.5　本章小結　61

4.6　習題　62

5.1　序列到序列模型　63

5.1.1　編碼器-解碼器結構　64

5.1.2　基於循環神經網絡的序列到序列模型　65

5.1.3　Seq2Seq模型的實現　66

5.2　註意力機制　68

5.2.1　註意力和註意力機制　68

5.2.2　註意力模型　69

5.2.3　註意力權重的可視化　70

5.3　Transformer　71

5.3.1　Transformer模型　72

5.3.2　位置編碼　72

5.3.3　自註意力機制　75

5.3.4　多頭註意力機制　78

5.4　Transformer模型的變體　79

5.5　本章小結　79

5.6　習題　80

6.1　序列標註概述　81

6.2　序列標註算法和模型　82

6.2.1　基於規則的序列標註算法　82

6.2.2　基於統計的序列標註模型　83

6.2.3　基於深度學習的序列標註模型　94

6.3　分詞與詞性標註實戰　95

6.3.1　語料庫與標註集　95

6.3.2　實例：基於人民日報標註語料庫的分詞及詞性

　標註　97

6.4　實例：基於人民日報標註語料庫的命名實體

　識別　102

6.5　本章小結　107

6.6　習題　107

7.1　文本的表示　108

7.1.1　詞的獨熱表示　108

7.1.2　詞的分布式表示　109

7.1.3　詞嵌入表示　110

7.2　語言模型　110

7.2.1　N-gram模型　111

7.2.2　N-gram模型的定義　111

7.2.3　語言模型評價指標　112

7.3　詞向量模型　113

7.3.1　神經網絡語言模型　113

7.3.2　C&W模型　115

7.3.3　CBOW模型和Skip-gram模型　116

7.3.4　GloVe模型　118

7.3.5　訓練詞向量　119

7.3.6　評價方法　122

7.4　向量化模型　125

7.4.1　PV-DM模型　125

7.4.2　PV-DBOW模型　126

7.5　實例：將網頁文本向量化　126

7.5.1　詞向量的訓練　127

7.5.2　計算網頁相似度　129

7.6　本章小結　132

7.7　習題　132

8.1　機器翻譯的發展　133

8.2　機器翻譯的分類　134

8.3　統計機器翻譯　136

8.4　神經機器翻譯　139

8.4.1　數據集　139

8.4.2　基於RNN的英譯中機器翻譯實戰　140

8.4.3　基於Transformer模型的中譯英機器翻譯

　實戰　145

8.5　機器翻譯評價　150

8.5.1　人工評價方法　150

8.5.2　自動評價方法　150

8.6　本章小結　151

8.7　習題　152

9.1　預訓練語言模型概述　153

9.1.1　預訓練起源　153

9.1.2　預訓練語言模型的發展史　154

9.1.3　預訓練語言模型的分類　156

9.2　GPT模型　157

9.2.1　GPT模型概述　157

9.2.2　GPT模型結構　157

9.3　BERT模型　160

9.3.1　整體結構　161

9.3.2　輸入表示　161

9.3.3　基本預訓練任務　167

9.3.4　更多預訓練任務　171

9.4　BERT模型的變體　171

9.4.1　ALBERT模型　171

9.4.2　RoBERTa模型　172

9.5　其他預訓練模型　172

9.5.1　T5模型　172

9.5.2　XLNet模型　173

9.5.3　BART模型　173

9.6　本章小結　174

9.7　習題　174

10.1　情感分析實戰　175

10.1.1　數據集　176

10.1.2　數據預處理　176

10.1.3　代碼實現　177

10.1.4　文本分類評價指標　181

10.1.5　實戰結果　182

10.2　文本摘要抽取實戰　182

10.2.1　數據集　183

10.2.2　數據預處理　184

10.2.3　代碼實現　185

10.2.4　文本摘要抽取評價指標　186

10.2.5　實戰結果　187

10.3　本章小結　187

10.4　習題　188

11.1　初識生成式人工智能　189

11.2　大模型的發展歷程　191

11.3　大模型的變革與挑戰　192

11.4　國產常用大模型　194

11.5　國產大模型應用舉例——利用文心一言輔助編程　195

11.6　本章小結　197

11.7　習題　197

參考文獻　198