大模型從零開始跟我做——從Transformer到DeepSeek（微課視頻版）
董相誌、張興曉
- 出版商: 清華大學
- 出版日期: 2025-12-01
- 售價: $479
- 語言: 簡體中文
- ISBN: 730270497X
- ISBN-13: 9787302704973
-
相關分類:
Large language model
下單後立即進貨 (約4週~6週)
相關主題
商品描述
"本書聚焦大模型開發全流程，從Transformer 到GPT，深度解構大模型的技術核心，從0到1 重構復現大模型，直擊智能體開發與RAG知識庫開發前沿，全書通過代碼級實踐揭示大模型的技術原理與奧秘，鋪就一條從“理解原理”到“親手締造”的進階之路。 書中詳解Ollama 本地部署、FastAPI 服務器及雲端API 調用，覆蓋Qwen、DeepSeek 等主流模型部署方案。實戰智能體開發，基於大模型API 與LangChain 框架，實現工具調用、增強檢索、並行工作流；基於多重融合查詢、任務分解、假想文檔嵌入等實現RAG知識庫構建；解讀DeepSeek模型的技術演進路徑，剖析多頭潛在註意力、DeepSeekMoE架構、多Token預測、GRPO等前沿創新設計。 本書所有章節配備同步教學視頻，所有代碼采用PyTorch框架編寫，在無GPU的情況下，僅需16GB內存即可正確運行。 本書可作為本科院校和高職院校人工智能專業的學習教材，也可作為創新創業、實訓實習、大模型微專業和畢業設計的參考教材，適合社會各界工程人員學習參考。 "
作者簡介
"董相誌，魯東大學魯東大學信息與電氣工程學院副教授，近年來承擔了網絡工程專業、軟件工程專業、計算機科學與技術專業和電子信息工程專業的十四門專業課程的教學任務，以及大數據與人工智能的全校公選課。主講課程為人工智能、網絡編程、移動應用開發等。擔任了兩門研究生課程的教學任務。一門是生物信息學，一門是強化學習。2023年10月獲工信部人工智能優秀講師資格證書，2023年10月獲華為人工智能講師資格證書。以第一作者在清華大學出版社出版教材6部。主要教學研究方向為大數據處理與分析、人工智能、智能網聯、移動應用開發等。張興曉，魯東大學生命科學學院院長，教授。致力於科教融匯、產教融合協同育人培養模式及課程體系改革創新與實踐，主持“山東省教育服務新舊動能轉換專業對接產業專業群建設”、“山東省生物制藥本科專業建設”、“生物與醫藥學科專業群建設”等3項山東省專業建設項目。兼中國畜牧獸醫學會動物福利與健康養殖學會常務理事、山東省微生物學會理事，山東省制藥工程學會專業委員會委員、山東省免疫學會獸醫專業委員會委員。主要承擔生物科學專業、生物制藥專業、生物工程專業的專業核心課程教學任務，主講課程為《微生物學》、《藥學概論》、《生物信息學》等。專業課程教學過程中，註重學科交叉專業融合，運用互聯網、大數據、人工智能等現代信息技術改造傳統課程授課模式，打造特色方向。主編教材4部，副主編或參編教材5部。"
目錄大綱
目錄
CONTENTS
第1章 Transformer—晴空一鶴排雲上 / 1
1.1 詞嵌入向量 / 2
1.2 位置編碼 / 6
1.3 Q、K、V矩陣 / 10
1.4 自註意力 / 11
1.5 交叉註意力 / 14
1.6 掩碼註意力 / 16
1.7 多頭註意力 / 18
1.8 層標準化 / 23
1.9 前饋網絡 / 25
1.10 Transformer編碼器定義 / 27
1.11 Transformer解碼器定義 / 30
1.12 Transformer模型定義 / 33
1.13 模型訓練參數配置文件 / 40
1.14 中英文翻譯數據集處理 / 42
1.15 Transformer模型訓練 / 49
1.16 Transformer模型評估 / 58
1.17 Transformer模型測試 / 60
1.18 Transformer演進為大模型 / 64
本章小結 / 66
習題1 / 66
第2章 GPT—便引詩情到碧霄 / 67
2.1 生成式預訓練 / 68
2.1.1 預訓練數據集 / 68
2.1.2 詞典與分詞 / 70
2.1.3 劃分數據集 / 74
2.1.4 隨機加載數據 / 76
2.1.5 GPT輸入與輸出 / 77
2.1.6 增加位置編碼層 / 81
2.1.7 多頭自註意力層 / 86
2.1.8 增加前饋網絡層 / 88
2.1.9 增加解碼器層 / 88
2.1.10 GPT模型的完整定義 / 89
2.1.11 GPT模型的訓練 / 91
2.1.12 GPT模型的驗證與評估 / 95
2.1.13 GPT模型的保存與加載 / 96
2.2 大模型微調 / 98
2.2.1 微調任務數據集 / 98
2.2.2 LoRA微調方法 / 103
2.2.3 LoRA微調大模型 / 104
2.2.4 GPT微調模型訓練 / 110
2.2.5 微調銜接強化學習 / 114
2.3 人類反饋的強化學習 / 115
2.3.1 大模型的強化學習 / 115
2.3.2 收集反饋數據 / 117
2.3.3 構建獎勵模型 / 120
2.3.4 用PPO優化大模型 / 122
2.3.5 用DPO優化大模型 / 126
本章小結 / 129
習題2 / 129
第3章 大模型的部署與調用—直掛雲帆濟滄海 / 130
3.1 Ollama本地部署模式 / 130
3.1.1 Ollama的安裝與配置 / 131
3.1.2 Qwen2.5-0.5B大模型 / 132
3.1.3 Ollama HTTP服務接口 / 134
3.1.4 DeepSeek-R1-1.5B大模型 / 135
3.1.5 Open WebUI交互界面 / 136
3.2 FastAPI服務器的部署模式 / 137
3.2.1 FastAPI大模型服務 / 137
3.2.2 Streamlit交互界面 / 139
3.2.3 Gradio交互界面 / 143
3.3 調用雲端大模型API / 147
3.3.1 矽基流動大模型雲平臺 / 147
3.3.2 DeepSeek-V3-671B大模型 / 147
3.3.3 通義千問Qwen2.5-7B大模型 / 150
本章小結 / 151
習題3 / 152
第4章 用大模型API開發智能體—心有靈犀一點通 / 153
4.1 智能體源於大模型 / 153
4.2 智能體基礎工作流 / 155
4.3 大模型選型與調用 / 158
4.4 大模型結構化輸出 / 159
4.5 智能體工具與調用 / 162
4.6 智能體之增強檢索 / 168
4.7 智能體提示鏈工作流 / 172
4.8 智能體路由工作流 / 177
4.9 智能體並行工作流 / 184
4.10 智能體主控協作流 / 191
本章小結 / 202
習題4 / 203
第5章 用LangChain開發智能體—天工人巧日爭新 / 204
5.1 LangChain系統框架 / 204
5.2 LangChain聊天智能體 / 209
5.3 LangChain提示詞模板 / 215
5.4 LangChain鏈式結構原理 / 217
5.5 LangChain延伸鏈 / 219
5.6 LangChain並行鏈 / 221
5.7 LangChain分支鏈 / 222
5.8 LangChain思維鏈智能體 / 226
本章小結 / 229
習題5 / 230
第6章 用LangChain開發RAG知識庫—九層臺起壘土末 / 231
6.1 RAG基本框架 / 231
6.2 RAG向量知識庫 / 233
6.3 檢索與知識生成 / 238
6.4 多重查詢 / 241
6.5 多重融合查詢 / 245
6.6 任務分解 / 251
6.7 後退提示 / 258
6.8 假想文檔嵌入 / 262
本章小結 / 268
習題6 / 269
第7章 DeepSeek—大風起兮雲飛揚 / 270
7.1 DeepSeek-V2 / 270
7.1.1 基本參數與性能 / 270
7.1.2 模型結構與創新 / 272
7.1.3 多頭潛在註意力 / 273
7.1.4 旋轉位置編碼 / 275
7.1.5 DeepSeekMoE / 275
7.1.6 DeepSeek LLM / 276
7.1.7 模型參數與訓練策略 / 277
7.1.8 模型微調與強化學習 / 278
7.2 DeepSeek-V3 / 280
7.2.1 模型結構與創新 / 280
7.2.2 改進的DeepSeekMoE / 281
7.2.3 多Token預測 / 282
7.2.4 模型訓練策略 / 283
7.2.5 模型微調與強化學習 / 284
7.3 DeepSeek-R1 / 285
7.3.1 DeepSeek模型變體與參數 / 285
7.3.2 DeepSeek-R1-Zero的強化學習 / 286
7.3.3 DeepSeek-R1的強化學習 / 289
7.3.4 DeepSeek-R1的蒸餾模型 / 290
本章小結 / 291
習題7 / 292
