大模型技術與應用（微課版）

魏亮，博士，江蘇省未來網絡創新研究院團隊總監。國家發改委“未來網絡試驗設施”重大科技基礎設施工程中擔任SDN網絡組組長，網絡技術社區 SDNLAB 創始人，2019 年工信部工業互聯網創新發展工程項目負責人，2020年科技部國家重點研發計劃寬帶通信和新型網絡重點專項項目負責人。目前是中國計算學會網絡與數據通信專委會副主任、互聯網專委會常務委員、中國通信學會信息通信網絡技術委員會委員，信息技術新工科聯盟未來網絡工委秘書長。主要從事軟件定義網絡、可編程網絡、確定性網絡等方面的研究工作。發表論文11篇，申請技術發明專利 16 項，獲得軟件著作權 20 余項。曾作為項目參與人獲得中國通信學會技術發明一等獎。

模塊1　大模型概述　1

情景引入　1

知識準備　2

1.1　大模型基礎　2

1.1.1　大模型的定義與特征　2

1.1.2　大模型的發展歷程　3

1.1.3　大模型的核心分類　5

1.2　大模型的構建流程與資源　7

1.2.1　通用型構建流程　7

1.2.2　技術導向型構建流程　10

1.2.3　大模型相關資源　12

1.3　大模型面臨的挑戰與應對方法　14

1.3.1　技術挑戰　14

1.3.2　應用挑戰　15

1.3.3　倫理安全挑戰　16

實訓任務　18

1.4　開源大模型的本地化部署與基礎應用　18

模塊小結　26

模塊練習　27

模塊2　大模型基礎架構與原理　28

情景引入　28

知識準備　29

2.1　Transformer架構　29

2.1.1　概述　29

2.1.2　數據處理　30

2.1.3　編碼器組件　34

2.1.4　解碼器組件　39

2.1.5　輸出組件　40

2.1.6　機器翻譯示例　41

2.1.7　Transformer模型變體　42

2.2　Transformers庫　44

2.2.1　基本組成　45

2.2.2　使用方法　45

2.2.3　未來發展　46

實訓任務　46

2.3　基於Transformer的中英翻譯大模型的部署與使用　46

模塊小結　52

模塊練習　52

模塊3　大模型訓練技術　53

情景引入　53

知識準備　54

3.1　預訓練　54

3.1.1　數據準備　55

3.1.2　模型架構設計　56

3.1.3　分布式訓練與優化　57

3.2　微調　62

3.2.1　全參數微調　63

3.2.2　前綴微調　64

3.2.3　提示微調　66

3.2.4　LoRA　67

實訓任務　70

3.3　LoRA輕量化微調　70

模塊小結　79

模塊練習　79

模塊4　大模型推理技術　81

情景引入　81

知識準備　82

4.1　推理概述　82

4.1.1　推理的工作流程　82

4.1.2　核心挑戰　83

4.1.3　推理框架　83

4.2　模型壓縮和優化技術　88

4.2.1　模型量化　89

4.2.2　知識蒸餾　92

4.2.3　模型剪枝　94

4.2.4　稀疏激活　96

實訓任務　98

4.3　知識蒸餾執行流程與可視化　98

模塊小結　108

模塊練習　108

模塊5　多模態大模型技術　109

情景引入　109

知識準備　110

5.1　多模態大模型概述　110

5.1.1　基本概念　110

5.1.2　模型架構　111

5.2　多模態大模型預訓練與微調　115

5.2.1　預訓練　116

5.2.2　微調　118

5.3　多模態推理與生成　120

實訓任務　121

5.4　多模態大模型驅動的圖文生成實踐　121

模塊小結　132

模塊練習　132

模塊6　提示工程　133

情景引入　133

知識準備　134

6.1　提示工程概述　134

6.1.1　提示工程的核心要素　134

6.1.2　提示工程設計原則　138

6.2　常用提示方法　140

6.2.1　零樣本提示　141

6.2.2　少樣本提示　141

6.2.3　思維鏈提示　142

6.2.4　自洽性提示　145

6.2.5　思維樹提示　146

實訓任務　148

6.3　問答任務提示方法效果對比　148

模塊小結　155

模塊練習　155

模塊7　大模型智能體　156

情景引入　156

知識準備　157

7.1　大模型智能體簡介　157

7.2　大模型智能體的核心組件　158

7.2.1　記憶組件　158

7.2.2　工具調用組件　159

7.2.3　任務規劃組件　160

7.3　多智能體　161

7.4　大模型智能體主要協議　163

7.4.1　模型上下文協議　163

7.4.2　智能體對智能體協議　166

7.5　主流開發框架　168

實訓任務　171

7.6　電商大模型智能體構建與場景應用　171

模塊小結　179

模塊練習　179

模塊8　大模型問答系統開發實踐　180

情景引入　180

8.1　基礎知識準備　181

8.1.1　大模型問答系統　181

8.1.2　檢索增強生成　182

8.2　開源框架與應用　183

8.2.1　開源框架概述　184

8.2.2　AnythingLLM　184

8.2.3　大模型問答系統整體架構　186

8.3　大模型問答系統開發與部署　187

8.3.1　環境部署　188

8.3.2　構建本地知識庫　197

8.4　問答系統開發　203

8.4.1　API介紹　203

8.4.2　問答系統開發　206

模塊小結　211

模塊練習　211