大模型全流程開發——從深度學習到智能體構建（微課視頻版）
胡群超
- 出版商: 清華大學
- 出版日期: 2026-08-01
- 售價: $354
- 語言: 簡體中文
- ISBN: 7302721068
- ISBN-13: 9787302721062
-
相關分類:
DeepLearning
下單後立即進貨 (約4週~6週)
相關主題
商品描述
目錄大綱
目 錄 本書導讀
第 1 章 深度學習的入門與開發基礎知識........................................................1
視頻講解：21 分鐘，8 集
1.1 深度學習開發環境搭建 ........................................................................................... 1
1.1.1 開發環境選擇與搭建 ............................................................................................1
1.1.2 開發框架 ...............................................................................................................2
1.1.3 GPU 環境配置與加速工具....................................................................................4
1.1.4 常用開發硬件配置建議 ........................................................................................6
1.1.5 模型優化調試工具 ................................................................................................7
1.2 深度學習模型開發流程概述 .................................................................................... 8
1.3 問題定義與需求分析 ............................................................................................ 10
1.4 數據準備與預處理概述 ..........................................................................................11
1.5 深度學習模型概述 ................................................................................................ 12
1.6 模型對比與任務適配概述 ..................................................................................... 14
1.7 損失函數選擇概述 ................................................................................................ 16
1.8 深度學習模型訓練與優化概述............................................................................... 17
1.9 模型性能評估與可視化方法概述 ........................................................................... 19
1.10 模型部署環境概述 .............................................................................................. 22
1.11 項目工程管理 ..................................................................................................... 23
1.11.1 項目代碼組織結構 ............................................................................................23
1.11.2 參數、實驗與版本管理.....................................................................................25
1.12 深度學習項目快速入門 ....................................................................................... 26
第 2 章 數據準備與預處理....................................................................... 30
視頻講解：18 分鐘，8 集
2.1 數據采集與來源整理 ............................................................................................ 30
2.2 數據清洗處理及工具 ............................................................................................ 32
2.3 數據預處理方法與工具 ......................................................................................... 34
2.3.1 圖像數據預處理 ..................................................................................................34
2.3.2 文本數據預處理 ..................................................................................................35
2.3.3 語音數據預處理 ..................................................................................................37
2.3.4 跨模態數據預處理 ..............................................................................................39
2.4 數據標註方法與工具 ............................................................................................ 40
2.4.1 圖像數據標註 .....................................................................................................40
2.4.2 文本數據標註 .....................................................................................................42
2.4.3 語音數據標註 .....................................................................................................43
2.4.4 多模態數據標註 ..................................................................................................44
2.5 數據格式轉換與結構組織 ..................................................................................... 46
2.6 數據增強技術 ...................................................................................................... 48
2.7 特征提取與表示轉換 ............................................................................................ 50
2.8 數據管道與加載機制 ............................................................................................ 51
2.9 數據質量評估與分析 ............................................................................................ 53
2.10 Prompt 工程與模板設計 ..................................................................................... 55
第 3 章 模型構建與訓練.......................................................................... 57
視頻講解：41 分鐘，19 集
3.1 模型結構設計與構建方法 ..................................................................................... 57
3.1.1 常見模型結構範式 ..............................................................................................57
3.1.2 卷積神經網絡結構設計與變體 ...........................................................................60
3.1.3 循環神經網絡與序列建模...................................................................................62
3.1.4 Transformer 結構原理與模塊化構建方法 ...........................................................63
3.1.5 多輸入多輸出結構與混合模型設計 ...................................................................66
3.2 常用損失函數與評估指標選擇............................................................................... 68
3.2.1 分類任務常用選擇 ..............................................................................................68
3.2.2 回歸任務常用選擇 ..............................................................................................70
3.2.3 排序任務常用選擇 ..............................................................................................71
3.2.4 生成任務常用選擇 ..............................................................................................73
3.2.5 分割與匹配任務常用選擇...................................................................................74
3.2.6 多任務損失常用選擇 ..........................................................................................76
3.3 模型構建進階技巧 ................................................................................................ 78
3.3.1 模型模塊化設計 ..................................................................................................78
3.3.2 模型配置與動態構建 ..........................................................................................79
3.3.3 模型參數封裝與多模型切換設計 .......................................................................81
3.3.4 加載與應用預訓練大模型...................................................................................83
3.3.5 構建自定義模型 ..................................................................................................84
3.4 模型訓練與調優策略 ............................................................................................ 86
3.4.1 模型訓練流程 .....................................................................................................86
3.4.2 優化器與學習率調度 ..........................................................................................88
3.4.3 梯度處理技巧 .....................................................................................................90
3.4.4 混合精度訓練與 AMP 加速 ................................................................................91
3.5 正則化與過擬合控制技巧 ..................................................................................... 93
3.5.1 Dropout 與變種機制 ...........................................................................................93
3.5.2 常用正則化技術對比 ..........................................................................................94
3.5.3 Label Smoothing 與數據擾動增強 ......................................................................95
3.5.4 Early Stopping 與驗證集監控 .............................................................................97
3.5.5 模型容量與過擬合風險控制 ...............................................................................98
3.6 超參數調優與自動搜索 ........................................................................................100
3.6.1 超參數調節範圍與敏感性分析 .........................................................................100
3.6.2 網格搜索、隨機搜索與貝葉斯優化 .................................................................101
3.6.3 常用自動調參工具 ............................................................................................103
3.6.4 多目標優化與約束條件調優方法 .....................................................................105
3.7 微調與增量學習方法 ...........................................................................................108
3.7.1 全參數微調與凍結策略 ....................................................................................108
3.7.2 輕量化微調方法 ................................................................................................110
3.7.3 微調工具鏈介紹 ................................................................................................112
3.7.4 增量學習與遷移學習框架.................................................................................114
3.7.5 多任務學習與共享骨幹網絡設計 .....................................................................116
3.8 模型訓練中的常見問題與解決方法 .......................................................................118
3.8.1 訓練不收斂 / 損失振蕩的原因排查 ..................................................................118
3.8.2 過擬合與欠擬合判斷及應對策略 .....................................................................119
3.8.3 模型梯度消失 / 爆炸的分析與緩解 ..................................................................121
3.8.4 模型訓練速度與資源占用優化方法 .................................................................123
3.9 分布式與大規模訓練策略 ....................................................................................124
3.9.1 數據並行、模型並行與混合並行策略 ..............................................................124
3.9.2 Horovod、DeepSpeed、FSDP、Colossal-AI 框架介紹 ....................................126
3.9.3 大模型訓練中內存優化的常用技巧 .................................................................128
第 4 章 模型部署與優化........................................................................131
視頻講解：14 分鐘，5 集
4.1 模型部署基礎與流程概述 ....................................................................................131
4.2 模型格式與中間表示轉換 ....................................................................................133
4.3 推理引擎與加速框架 ...........................................................................................135
4.4 模型壓縮與優化技術 ...........................................................................................137
4.5 雲邊協同部署架構設計 ........................................................................................140
4.6 大模型部署與分布式推理 ....................................................................................142
4.7 性能分析與調試方法 ...........................................................................................144
4.8 模型安全性與魯棒性評估 ....................................................................................145
第 5 章 典型任務實踐與多模態應用..........................................................148
視頻講解：13 分鐘，5 集
5.1 計算機視覺任務實踐 ...........................................................................................148
5.1.1 計算機視覺任務概述與應用場景 .....................................................................148
5.1.2 圖像分類實踐 ...................................................................................................149
5.1.3 目標檢測與實例分割 ........................................................................................152
5.1.4 視頻理解與動作識別 ........................................................................................155
5.2 自然語言處理任務實踐 ........................................................................................157
5.2.1 自然語言處理任務概述與應用場景 .................................................................157
5.2.2 文本分類與情感分析 ........................................................................................158
5.2.3 文本生成任務 ...................................................................................................160
5.2.4 文本匹配與語義檢索 ........................................................................................163
5.2.5 序列標註任務 ...................................................................................................166
5.2.6 信息抽取與結構化轉換 ....................................................................................169
5.2.7 語義理解與問答系統 ........................................................................................171
5.3 語音與音頻處理任務實踐 ....................................................................................173
5.3.1 任務概述與應用場景 ........................................................................................173
5.3.2 自動語音識別任務實踐 ....................................................................................175
5.3.3 語音合成任務實踐 ............................................................................................177
5.3.4 噪聲抑制與回聲消除 ........................................................................................179
5.3.5 音頻事件檢測與分類 ........................................................................................182
5.3.6 語音增強與多麥克風陣列建模 .........................................................................185
5.4 多模態感知任務實踐 ...........................................................................................187
5.4.1 多模態基礎與任務類型 ....................................................................................187
5.4.2 圖文檢索與對齊 ................................................................................................188
5.4.3 圖文問答系統 ...................................................................................................191
5.4.4 多模態異常識別 ................................................................................................194
第 6 章 大模型應用..............................................................................199
視頻講解：11 分鐘，4 集
6.1 預訓練模型與微調技術實踐 .................................................................................199
6.1.1 預訓練模型的發展背景與範式 .........................................................................199
6.1.2 主流預訓練模型類型與結構概覽 .....................................................................201
6.1.3 微調目標與方法分類 ........................................................................................203
6.1.4 微調流程與關鍵技術細節.................................................................................204
6.1.5 微調工具與平臺的選擇 ....................................................................................206
6.1.6 微調實戰案例：LoRA + 指令問答任務 ...........................................................207
6.1.7 微調模型特有的評估與優化 .............................................................................210
6.1.8 微調技術的挑戰與發展趨勢 .............................................................................211
6.2 知識庫 RAG 系統構建實踐 ..................................................................................212
6.2.1 知識庫系統的背景與任務定義 .........................................................................212
6.2.2 文檔預處理與清洗策略 ....................................................................................213
6.2.3 文檔向量化與索引構建 ....................................................................................214
6.2.4 RAG 原理與技術流程 .......................................................................................218
6.2.5 多文檔融合與上下文對齊策略 .........................................................................221
6.2.6 知識圖譜及其構建過程 ....................................................................................223
6.2.7 知識圖譜與 RAG 融合系統 ..............................................................................227
6.2.8 RAG 知識問答案例實踐 ...................................................................................229
6.2.9 常用評估指標與優化方法.................................................................................231
6.2.10 面臨的挑戰與未來趨勢 ..................................................................................233
6.3 智能體 ................................................................................................................233
6.3.1 背景與任務定義 ................................................................................................233
6.3.2 智能體的結構與基本組件.................................................................................234
6.3.3 多智能體協同機制與調度策略 .........................................................................237
6.3.4 與外部系統的集成方法 ....................................................................................239
6.3.5 模型上下文協議 ................................................................................................241
6.3.6 MCP 在多智能體系統中的作用 ........................................................................250
6.3.7 多輪對話管理與上下文保持 .............................................................................251
6.3.8 多模態智能體擴展 ............................................................................................253
6.3.9 主流框架與工具鏈介紹 ....................................................................................255
6.3.10 智能體知識問答案例實踐 ...............................................................................256
6.3.11 常用評估指標與優化方法 ...............................................................................259
6.3.12 面臨的挑戰與發展趨勢 ..................................................................................260
參考文獻.............................................................................................261
