智能計算系統實驗教程：從深度學習到大模型 第2版

陳雲霽 中國科學院計算技術研究所副所長、博導，處理器芯片全國重點實驗室主任，中國科學院大學崗位教授，中國計算機學會體系結構專委會主任。他帶領團隊研制了國際上首個深度學習處理器芯片“寒武紀1號”，相關成果兩獲計算機體系結構頂級國際會議最佳論文獎，並已應用在上億臺智能手機和服務器中。他的學術論文受五大洲、三十個國家、數百個知名機構廣泛跟蹤引用。他曾獲國家傑出青年科學基金、全國五一勞動獎章、中國青年五四獎章、全國創新爭先獎、何梁何利基金科學與技術創新獎。
 

前言

第1章　緒論1

1.1　人工智能發展背景1
1.1.1　深度學習2
1.1.2　大模型及智能體2
1.2　智能計算系統4
1.3　實驗設計7
1.4　實驗平臺11
1.4.1　硬件平臺11
1.4.2　軟件環境12

第2章　聊天機器人的部署與應用14

2.1　大模型部署與推理應用14
2.1.1　實驗目的14
2.1.2　實驗背景14
2.1.3　實驗環境28
2.1.4　實驗內容28
2.1.5　實驗步驟28
2.1.6　實驗思考32
2.2　大模型微調32
2.2.1　實驗目的32
2.2.2　實驗背景32
2.2.3　實驗環境35
2.2.4　實驗內容36
2.2.5　實驗步驟36
2.2.6　實驗思考40

第3章　多領域模型的部署與應用41

3.1　基於VGG19實現圖像分類41
3.1.1　實驗目的41
3.1.2　實驗背景41
3.1.3　實驗環境43
3.1.4　實驗內容43
3.1.5　實驗步驟43
3.1.6　實驗思考44
3.2　基於YOLOv5目標檢測的模型訓練44
3.2.1　實驗目的44
3.2.2　實驗背景44
3.2.3　實驗環境46
3.2.4　實驗內容47
3.2.5　實驗步驟47
3.2.6　實驗思考50
3.3　基於Tacotron 2 的語音合成50
3.3.1　實驗目的50
3.3.2　實驗背景50
3.3.3　實驗環境52
3.3.4　實驗內容52
3.3.5　實驗步驟52
3.3.6　實驗思考53
3.4　基於BERT的問答任務53
3.4.1　實驗目的53
3.4.2　實驗背景53
3.4.3　實驗環境56
3.4.4　實驗內容56
3.4.5　實驗步驟57
3.4.6　實驗思考58
3.5　基於Stable Diffusion的圖文生成59
3.5.1　實驗目的59
3.5.2　實驗背景59
3.5.3　實驗環境60
3.5.4　實驗內容60
3.5.5　實驗步驟61
3.5.6　實驗思考63
3.6　基於CodeV的Verilog代碼生成64
3.6.1　實驗目的64
3.6.2　實驗背景64
3.6.3　實驗環境65
3.6.4　實驗內容66
3.6.5　實驗步驟66
3.6.6　實驗思考76
3.7　基於DeepSeek-R1的數學推理76
3.7.1　實驗目的76
3.7.2　實驗背景76
3.7.3　實驗環境77
3.7.4　實驗內容77
3.7.5　實驗步驟77
3.7.6　實驗思考80
3.8　基於Qwen2.5-1M的長上下文理解80
3.8.1　實驗目的80
3.8.2　實驗背景81
3.8.3　實驗環境81
3.8.4　實驗內容81
3.8.5　實驗步驟81
3.8.6　實驗思考85

第4章　基於PyTorch的模型實現86

4.1　基於VGG19實現圖像分類86
4.1.1　實驗目的86
4.1.2　實驗背景87
4.1.3　實驗環境89
4.1.4　實驗內容89
4.1.5　實驗步驟89
4.1.6　實驗評估94
4.1.7　實驗思考94
4.2　實時風格遷移算法的推理94
4.2.1　實驗目的94
4.2.2　實驗背景94
4.2.3　實驗環境97
4.2.4　實驗內容97
4.2.5　實驗步驟97
4.2.6　實驗評估102
4.2.7　實驗思考103
4.3　實時風格遷移算法的訓練103
4.3.1　實驗目的103
4.3.2　實驗背景103
4.3.3　實驗環境104
4.3.4　實驗內容105
4.3.5　實驗步驟105
4.3.6　實驗評估111
4.3.7　實驗思考111
4.4　自定義基於PyTorch的CPU算子111
4.4.1　實驗目的111
4.4.2　實驗背景112
4.4.3　實驗環境112
4.4.4　實驗內容112
4.4.5　實驗步驟113
4.4.6　實驗評估117
4.4.7　實驗思考117
4.5　Transformer架構實現與應用118
4.5.1　實驗目的118
4.5.2　實驗背景118
4.5.3　實驗環境120
4.5.4　實驗內容120
4.5.5　實驗步驟120
4.5.6　實驗評估137
4.5.7　實驗思考137

第5章　基於Triton的大模型優化138

5.1　Triton入門：矩陣乘的實現139
5.1.1　實驗目的139
5.1.2　實驗背景139
5.1.3　實驗環境143
5.1.4　實驗內容143
5.1.5　實驗步驟143
5.1.6　實驗評估151
5.1.7　實驗思考152
5.2　Triton進階：Flash Attention的實現152
5.2.1　實驗目的152
5.2.2　實驗背景152
5.2.3　實驗環境154
5.2.4　實驗內容155
5.2.5　實驗步驟155
5.2.6　實驗評估174
5.2.7　實驗思考174
5.3　Triton實戰：模型應用的實現175
5.3.1　實驗目的175
5.3.2　實驗背景175
5.3.3　實驗環境175
5.3.4　實驗內容175
5.3.5　實驗步驟175
5.3.6　實驗評估204
5.3.7　實驗思考205

第6章　深度學習算子及模型實驗206

6.1　深度學習高性能算子庫206
6.1.1　CNNL介紹207
6.1.2　CNNL-Extra介紹209
6.1.3　MLU-OPS介紹210
6.1.4　Torch-MLU-Ops介紹210
6.2　基於三層神經網絡實現手寫數字分類211
6.2.1　實驗目的211
6.2.2　實驗背景212
6.2.3　實驗環境218
6.2.4　實驗內容218
6.2.5　三層神經網絡CPU訓練的實驗步驟219
6.2.6　三層神經網絡MLU推理的實驗步驟229
6.3　基於VGG19實現圖像分類234
6.3.1　實驗目的234
6.3.2　實驗背景235
6.3.3　實驗環境238
6.3.4　實驗內容238
6.3.5　CPU平臺上的實驗步驟239
6.3.6　MLU平臺上的實驗步驟247
6.4　基於Torch-MLU-Ops的Transformer模型推理252
6.4.1　實驗目的252
6.4.2　實驗背景252
6.4.3　實驗環境255
6.4.4　實驗內容255
6.4.5　實驗步驟255
6.4.6　實驗評估273
6.4.7　實驗思考273

第7章　智能編程語言274

7.1　智能編程模型274
7.1.1　核函數276
7.1.2　地址空間277
7.1.3　異步278
7.1.4　並行279
7.2　智能編程語言基礎284
7.2.1　C++標準和擴展284
7.2.2　數學運算和精度286
7.2.3　二進制的加載和執行288
7.3　智能計算開發平臺289
7.3.1　軟件棧289
7.3.2　開發環境293
7.3.3　編譯工具295
7.3.4　調試工具296
7.3.5　調優工具297
7.4　智能編程語言算子開發與集成實驗303
7.4.1　實驗目的303
7.4.2　實驗環境303
7.4.3　實驗內容303
7.4.4　實驗步驟304
7.4.5　實驗運行313
7.4.6　實驗評估314
7.4.7　實驗思考314
7.5　智能編程語言性能優化實驗315
7.5.1　實驗目的315
7.5.2　實驗環境315
7.5.3　實驗內容315
7.5.4　實驗步驟315
7.5.5　實驗運行326
7.5.6　實驗評估327
7.5.7　實驗思考328

第8章　*深度學習處理器運算器設計329

8.1　實驗目的329
8.2　實驗背景330
8.2.1　算法特征330
8.2.2　DLP總體架構331
8.3　實驗環境332
8.3.1　工具安裝332
8.3.2　代碼文件組織333
8.4　實驗內容333
8.5　實驗步驟334
8.5.1　內積運算器334
8.5.2　矩陣乘向量運算器340
8.5.3　矩陣乘法運算器343
8.5.4　編譯調試346
8.6　實驗評估348
8.7　實驗思考348

參考文獻349