這就是豆包(豆包大模型是怎麼樣運行的
田蘊琦
- 出版商: 北京大學
- 出版日期: 2026-08-01
- 售價: $714
- 語言: 簡體中文
- 頁數: 442
- ISBN: 7301375840
- ISBN-13: 9787301375846
-
相關分類:
Large language model
下單後立即進貨 (約4週~6週)
商品描述
本書全面且深入地剖析了豆包大模型的運行機制，從底層技術原理到實際應用部署，構建了一套完整的知識體系。全書共9章，以Transformer基礎架構為起點，詳細闡述了從RNN/LSTM到自註意力機制的發展，解析了Transformer架構中Encoder-Decoder、Decoder-Only等不同架構的特點，以及位置編碼、註意力優化等關鍵技術，同時深入介紹了豆包大模型所采用的MoE架構及相關技術細節。在此基礎上，書中進一步探討了稀疏矩陣和UltraMem架構的原理與應用，包括稀疏矩陣的存儲格式、運算優化以及UltraMem架構的設計與核心技術。隨後，分別圍繞基礎語言模型、視覺圖像模型、多模態模型的核心架構展開講解，涵蓋各模型的技術創新、預訓練、應用場景及相關加速機制。此外，本書還闡述了強化學習和推理在豆包大模型中的應用，以及豆包Agent模型的核心技術與開源項目解析。最後，從應用開發實踐、部署和接入等角度，介紹了基於豆包大模型的API開發、微調和預訓練、RAG系統搭建，以及將豆包大模型接入Chatbox、NextChat、Office、VS Code、PyCharm等工具的具體方法。 全書內容兼具理論深度與實踐指導性，不僅為人工智能研究人員提供了豆包大模型運行機制的系統性知識，也為開發者在實際應用中部署和使用豆包大模型提供了詳盡的操作指南，助力讀者全面掌握豆包大模型的核心技術與應用實踐。
作者簡介
田蘊琦，計算機碩士，百度智能雲研發工程師，大模型工程師，在大規模機器學習、深度學習、數據搜索、行業垂直應用、研發管理等領域擁有豐富經驗。參與了百度ERNIE 4.5模型的研發工作及該模型在千帆平臺的上架事宜，全程參與了其中的模型路由與專家負載失衡設計工作；參與了應用智能體Agent Builder的研發工作。
目錄大綱
第1章 Transformer基礎架構與革新
1.1 Transformer架構概覽
1.1.1 從RNN/LSTM到自註意力機制的發展
1.1.2 Transformer架構的誕生：自註意力機制的集大成者
1.1.3 自註意力機制與FFN的原理
1.1.4 多頭註意力的並行機制
1.2 Encoder-Decoder與Decoder-Only架構
1.2.1 Encoder-Decoder架構的基本結構和應用
1.2.2 Decoder-Only架構：因果語言建模
1.2.3 Encoder-Only架構：雙向編碼
1.3 位置編碼與註意力優化
1.3.1 絕對位置編碼與相對位置編碼的實現
1.3.2 局部註意力與稀疏註意力
1.4 豆包大模型與MoE架構
1.4.1 MoE架構的核心原理
1.4.2 MoE架構的核心組件
1.4.3 執行流程
1.4.4 權重分配
1.4.5 豆包大模型中的MoE架構
1.4.6 豆包大模型中MoE架構的關鍵技術細節
第2章 稀疏矩陣和UltraMem架構
2.1 稀疏矩陣基礎與存儲格式
2.1.1 稀疏矩陣定義與應用場景
2.1.2 常見的稀疏矩陣存儲格式
2.1.3 存儲格式比較：內存占用與訪問效率
2.2 稀疏矩陣運算優化技術
2.2.1 稀疏矩陣-向量乘法加速策略
2.2.2 稀疏矩陣-矩陣乘法並行調度
2.3 UltraMem架構概述
2.3.1 UltraMem架構的誕生背景
2.3.2 UltraMem架構的設計目標與定位
2.3.3 UltraMem架構基礎
2.3.4 UltraMem架構核心
2.3.5 UltraMem架構的核心組件：高帶寬內存與稀疏加速單元
2.4 UltraMem微架構細節
2.4.1 稀疏索引壓縮策略
2.4.2 流水線設計與並行調度機制
2.4.3 低精度算術與量化技術
第3章 基礎語言模型的核心架構與應用
3.1 豆包語言模型核心技術與創新
3.1.1 模型的參數規模
3.1.2 優化策略與訓練加速
3.2 Seed-Coder開源模型與應用
3.2.1 背景介紹
3.2.2 預訓練
3.2.3 訓練後處理
3.2.4 基礎模型評估
3.2.5 Seed-Coder開源模型實踐
3.3 分片數據並行優化
3.3.1 具體技術細節
3.3.2 NVIDIA Megatron-LM框架介紹
3.3.3 核心框架層：Megatron-LM基礎架構
3.3.4 數據處理層：輸入與預處理
3.3.5 模型實現層：基礎模型與量化優化
3.3.6 優化器與訓練邏輯
3.3.7 預訓練與微調
3.3.8 預訓練主程序
3.3.9 SDP4Bit項目之於豆包大模型的價值總結
3.4 後訓練均勻量化
3.4.1 decoupleQ項目介紹
3.4.2 decoupleQ項目對豆包大模型的影響
第4章 視覺圖像模型的核心架構與應用
4.1 豆包視覺圖像模型的核心技術與創新
4.1.1 基於擴散模型的圖像生成架構
4.1.2 高分辨率圖像生成優化
4.2 圖像風格遷移與轉換
4.2.1 系統配置
4.2.2 工具模塊
4.2.3 自定義流水線
4.2.4 采樣器優化
4.2.5 重噪聲反演算法
4.2.6 圖像修覆
4.2.7 圖像風格遷移
4.3 文生圖大模型應用和即夢AI
4.3.1 系統配置
4.3.2 模型實現
4.3.3 擴散模型調度器
4.3.4 文生圖
4.3.5 Web測試
4.3.6 調試運行
4.4 DeepFlow深度監督和加速機制
4.4.1 DeepFlow介紹
4.4.2 DeepFlow對豆包大模型的影響
第5章 多模態模型的核心架構與應用
5.1 豆包開源多模態模型核心技術與創新
5.1.1 豆包多模態融合架構設計
5.1.2 豆包多模態大模型的預訓練任務體系與數據策略
5.2 多模態基礎模型BAGEL
5.2.1 技術架構與突破
5.2.2 數據處理
5.2.3 多模態模型架構：從宏觀到微觀
5.2.4 訓練機制：從配置到實現
5.2.5 模型評估與基準測試
5.2.6 進階功能：擴展與優化
5.2.7 BAGEL-7B-MoT多模態模型的推理測試
5.2.8 Web入口文件
5.3 多模態基礎模型Valley
5.3.1 Valley 2.0的優勢與特色詳解
5.3.2 多圖像理解測試
5.3.3 視頻理解測試
第6章 強化學習和推理
6.1 Seed-Thinking模型
6.1.1 背景介紹
6.1.2 數據組成
6.1.3 獎勵建模
6.1.4 具體方法
6.1.5 模型訓練
6.1.6 評估結果
6.2 HybridFlow框架
6.2.1 RLHF介紹
6.2.2 HybridFlow框架的誕生背景
6.2.3 HybridFlow框架原理詳解
6.3 HybridFlow框架源碼分析
6.3.1 模型架構
6.3.2 訓練算法
6.3.3 任務執行
6.3.4 訓練DeepSeek模型
6.3.5 訓練Qwen2模型
第7章 豆包Agent的核心架構與應用
7.1 豆包Agent核心技術與創新
7.2 豆包Agent開源項目源碼解析
7.2.1 核心功能介紹
7.2.2 準備數據
7.2.3 指令解析
7.2.4 提示模板
7.2.5 操作解析測試
7.2.6 推理測試
7.2.7 UI-TARS模型部署與測試
第8章 豆包大模型應用開發實踐
8.1 豆包API
