自然語言處理：基於大語言模型的方法

車萬翔，博士，哈爾濱工業大學教授，博士生導師，斯坦福大學訪問學者。研究方向為自然語言處理。在CoNLL、SANICL、SemEval等國際評測獲得過冠軍。任ACL、DLING、EMNLP等國際會議領域主席。負責研發的語言技術平臺(LTP)已被600余家單位共享，並授權給百度、騰訊、華為等公司使用。曾獲黑龍江科技進步一等獎、技術發明二等獎；漢王青年創新獎一等獎；錢偉長中文信息處理科學獎等獎項。2017年主講的“Python語言程序設計”課程獲國家精品在線開放課程稱號。

目錄
推薦序III
推薦語IV
前言VI
數學符號X
第1 部分基礎知識
第1 章緒論2
1.1 自然語言處理的概念3
1.2 自然語言處理的難點.3
1.3 自然語言處理任務體系5
1.3.1 任務層級5
1.3.2 任務類別6
1.3.3 研究對象與層次6
1.4 自然語言處理技術發展歷史7
第2 章自然語言處理基礎11
2.1 文本的表示12
2.1.1 詞的獨熱表示12
2.1.2 詞的分佈表示13
2.1.3 詞嵌入表示18
2.1.4 文本的詞袋表示18
2.2 自然語言處理任務19
2.2.1 自然語言處理基礎任務19
2.2.2 自然語言處理應用任務25
2.3 基本問題30
2.3.1 文本分類問題30
2.3.2 結構預測問題30
2.3.3 序列到序列問題33
2.4 評價指標34
2.4.1 自然語言理解類任務的評價指標35
2.4.2 自然語言生成類任務的評價指標36
2.5 小結37
第3 章基礎工具集與常用數據集38
3.1 tiktoken 子詞切分工具39
3.2 NLTK 工具集40
3.2.1 常用語料庫和詞典資源41
3.2.2 常用自然語言處理工具集43
3.3 LTP 工具集45
3.3.1 中文分詞45
3.3.2 其他中文自然語言處理功能45
3.4 PyTorch 基礎46
3.4.1 張量的基本概念46
3.4.2 張量的基本運算47
3.4.3 自動微分 51
3.4.4 調整張量形狀52
3.4.5 廣播機制53
3.4.6 索引與切片54
3.4.7 降維與升維54
3.5 大規模預訓練數據集55
3.5.1 維基百科數據55
3.5.2 原始數據的獲取55
3.5.3 語料處理方法56
3.5.4 其他文本預訓練數據集59
3.5.5 文本預訓練數據集討論60
3.6 更多數據集60
3.7 小結62
第4 章自然語言處理中的神經網絡基礎63
4.1 多層感知器模型64
4.1.1 感知器64
4.1.2 線性回歸64
4.1.3 Logistic 回歸65
4.1.4 Softmax 回歸66
4.1.5 多層感知器67
4.1.6 模型實現68
4.2 捲積神經網絡70
4.2.1 模型結構70
4.2.2 模型實現72
4.3 循環神經網絡74
4.3.1 模型結構74
4.3.2 長短時記憶網絡75
4.3.3 模型實現77
4.3.4 基於循環神經網絡的序列到序列模型79
4.4 Transformer 模型79
4.4.1 註意力機制79
4.4.2 自註意力模型80
4.4.3 Transformer81
4.4.4 基於Transformer 的序列到序列模型85
4.4.5 Transformer 模型的優缺點85
4.4.6 PyTorch 內置模型實現 86
4.5 神經網絡模型的訓練87
4.5.1 損失函數87
4.5.2 梯度下降89
4.6 自然語言處理中的神經網絡實戰92
4.6.1 情感分類實戰92
4.6.2 詞性標註實戰102
4.7 小結104
第2 部分預訓練語言模型
第5 章語言模型107
5.1 語言模型的基本概念108
5.2 N 元語言模型108
5.2.1 N 元語言模型的基本概念108
5.2.2 N 元語言模型的實現109
5.2.3 N 元語言模型的平滑111
5.3 神經網絡語言模型112
5.3.1 前饋神經網絡語言模型113
5.3.2 循環神經網絡語言模型114
5.3.3 Transformer 語言模型116
5.3.4 基於神經網絡語言模型生成文本 117
5.4 語言模型的實現118
5.4.1 數據準備 118
5.4.2 前饋神經網絡語言模型119
5.4.3 循環神經網絡語言模型122
5.4.4 Transformer 語言模型125
5.5 語言模型性能評價129
5.6 小結130
第6 章預訓練詞向量131
6.1 預訓練靜態詞向量132
6.1.1 基於神經網絡語言模型的靜態詞向量預訓練132
6.1.2 Word2vec 詞向量132
6.1.3 負採樣135
6.1.4 GloVe 詞向量136
6.1.5 模型實現137
6.1.6 評價與應用143
6.2 預訓練動態詞向量148
6.2.1 雙向語言模型149
6.2.2 ELMo 詞向量151
6.2.3 模型實現 152
6.2.4 評價與應用162
6.3 小結 164
第7 章預訓練語言模型166
7.1 概述167
7.2 Decoder-only 模型167
7.2.1 GPT 168
7.2.2 GPT-2 172
7.2.3 GPT-3 173
7.3 Encoder-only 模型174
7.3.1 BERT 174
7.3.2 RoBERTa 185
7.3.3 ALBERT 189
7.3.4 ELECTRA 191
7.3.5 MacBERT 194
7.3.6 模型對比196
7.4 Encoder-Decoder 模型196
7.4.1 T5 197
7.4.2 BART 198
7.5 預訓練模型的任務微調：NLU 類201
7.5.1 單句文本分類202
7.5.2 句對文本分類205
7.5.3 閱讀理解207
7.5.4 序列標註211
7.6 預訓練模型的任務微調：NLG 類216
7.6.1 文本生成216
7.6.2 機器翻譯217
7.7 小結220
第3 部分 大語言模型
第8 章 大語言模型的預訓練222
8.1 大語言模型的基本結構223
8.1.1 Llama 223
8.1.2 Mixtral 226
8.1.3 縮放法則228
8.1.4 常見大語言模型對比230
8.2 註意力機制的優化230
8.2.1 稀疏註意力231
8.2.2 多查詢註意力與分組查詢註意力233
8.2.3 FlashAttention 234
8.3 位置編碼策略237
8.3.1 RoPE 237
8.3.2 ALiBi 240
8.4 長上下文處理策略242
8.4.1 位置插值法242
8.4.2 基於NTK 的方法245
8.4.3 LongLoRA 246
8.4.4 YaRN 247
8.5 並行訓練策略251
8.5.1 數據並行251
8.5.2 模型並行252
8.5.3 流水線並行254
8.5.4 混合並行254
8.5.5 零冗餘優化255
8.5.6 DeepSpeed 256
8.6 小結257
第9 章大語言模型的適配258
9.1 引言259
9.2 基於提示的推斷259
9.2.1 提示工程260
9.2.2 檢索與工具增強267
9.3 多任務指令微調269
9.3.1 現有數據集轉換271
9.3.2 自動生成指令數據集271
9.3.3 指令微調的實現273
9.4 基於人類反饋的強化學習276
9.4.1 基於人類反饋的強化學習算法的原理276
9.4.2 基於人類反饋的強化學習算法的改進279
9.4.3 人類偏好數據集280
9.5 參數高效精調280
9.5.1 LoRA 281
9.5.2 QLoRA 284
9.5.3 Adapter 288
9.5.4 Prefix-tuning 289
9.5.5 P-tuning 290
9.5.6 Prompt-tuning 291
9.6 大語言模型的中文適配 292
9.6.1 中文詞表擴充 292
9.6.2 中文增量訓練 295
9.7 大語言模型壓縮 296
9.7.1 知識蒸餾 296
9.7.2 模型裁剪 302
9.7.3 參數量化 305
9.8 小結 310
第10 章大語言模型的應用311
10.1 大語言模型的應用示例312
10.1.1 知識問答 312
10.1.2 人機對話 313
10.1.3 文本摘要 314
10.1.4 代碼生成 315
10.2 生成指令數據 316
10.2.1 Self-Instruct 316
10.2.2 Alpaca 319
10.2.3 WizardLM 322
10.3 大語言模型的量化與部署324
10.3.1 llama.cpp 324
10.3.2 transformers 329
10.3.3 vLLM 332
10.4 本地化開發與應 335
10.4.1 LangChain 335
10.4.2 privateGPT 338
10.5 工具調用與自動化 342
10.5.1 AutoGPT 342
10.5.2 HuggingGPT 346
10.6 小結348
第11 章大語言模型的能力評349
11.1 引言350
11.2 通用領域及任務評估350
11.2.1 語言理解能力350
11.2.2 文本生成能力352
11.2.3 知識與推理能力357
11.3 特定領域及任務評估360
11.3.1 數學360
11.3.2 代碼360
11.4 模型對齊能力評估362
11.4.1 有用性363
11.4.2 無害性365
11.4.3 安全性367
11.4.4 真實性367
11.5 大語言模型的評價方法368
11.5.1 評價設置：適配368
11.5.2 自動評價方法369
11.5.3 人工評價方法370
11.5.4 紅隊測試371
11.6 小結372
第12 章預訓練語言模型的延伸374
12.1 多語言預訓練模型375
12.1.1 多語言BERT 375
12.1.2 跨語言預訓練語言模型376
12.1.3 多語言預訓練語言模型的應用378
12.1.4 大規模多語言模型379
12.2 代碼預訓練模型379
12.2.1 代表性代碼預訓練模型380
12.2.2 代碼預訓練模型的對齊383
12.2.3 代碼預訓練模型的應用383
12.3 多模態預訓練模型384
12.3.1 掩碼圖像模型384
12.3.2 基於對比學習的多模態預訓練模型.386
12.3.3 圖到文預訓練模型388
12.3.4 圖像或視頻生成390
12.4 具身預訓練模型392
12.5 小結394
第13 章DeepSeek 系列模型原理簡介395
13.1 DeepSeek 系列模型概述396
13.2 模型架構優化398
13.2.1 算法優化398
13.2.2 基礎設施優化 402
13.3 基於強化學習習得推理能力405
13.3.1 DeepSeek-R1-Zero：僅通過強化學習習得推理能力405
13.3.2 DeepSeek-R1：規範性和泛化性408
13.3.3 蒸餾: 推理能力的遷移 411
13.4 小結 411
參考文獻413
術語表421