DeepSeek大模型實戰指南：架構、部署與應用(基於V4版本)

周濤 王卓 朱萬林

DeepSeek大模型實戰指南：架構、部署與應用(基於V4版本)

相關主題

商品描述

本書系統闡述了DeepSeek大模型架構、部署及 應用實戰的相關內容。從人工智能和大模型的基礎 理論出發，深入剖析了DeepSeek的底層技術，如 Transformer架構、混合專家、動態任務分配、稀 疏激活、歸一化、專家並行、註意力計算優化及雙 向流水線並行等關鍵技術，並詳細介紹了模型訓練 、優化和推理的前沿方法。書中不僅展示了 DeepSeek在多模態模型和推理系統中的技術優勢， 還提供了豐富的實戰案例，涵蓋了從本地部署到雲 端應用，再到API接入以及與辦公軟件、開發工具和 Web交互系統的無縫集成。通過理論解析與實踐演示 ，讀者將獲得從模型設計到實際應用全流程的詳細 指導。 本書 適合人工智能領域的技術開發者、系 統架構師，以及初探大模型應用的愛好者學習，也 可用作高等院校相關專業的教材及參考書。

目錄大綱

第1章 人工智能和DeepSeek概述
1.1 人工智能
1.1.1 什麼是人工智能
1.1.2 人工智能的起源與發展歷程
1.2 大模型
1.2.1 大模型的原理和作用
1.2.2 大模型的興起與現狀
1.2.3 主流大模型介紹
1.3 DeepSeek
1.3.1 DeepSeek簡介
1.3.2 DeepSeek對人工智能市場的影響
1.3.3 DeepSeek的產品
1.3.4 DeepSeek的應用場景
1.3.5 DeepSeek與其他模型的技術對比
第2章 DeepSeek底層架構技術
2.1 Transformer架構技術
2.1.1 Transformer簡介
2.1.2 Transformer的核心組件
2.1.3 多頭註意力機制
2.1.4 多頭潛在註意力
2.2 動態任務分配
2.2.1 動態任務分配的特點和原理
2.2.2 動態任務分配的應用場景
2.3 稀疏激活機制
2.3.1 稀疏激活機制簡介
2.3.2 稀疏激活機制的實現方式
2.3.3 稀疏激活機制的應用領域
2.4 混合專家架構技術
2.4.1 混合專家架構簡介
2.4.2 MoE的特點
2.4.3 MoE的應用
2.4.4 DeepSeek中的MoE
2.5 歸一化技術
2.5.1 歸一化技術的必要性
2.5.2 LayerNorm技術
2.5.3 RMSNorm技術
2.6 模型訓練與優化技術
2.6.1 多令牌預測（MTP）技術
2.6.2 高效並行策略
2.6.3 混合精度訓練與量化策略
2.6.4 EMA顯存優化
2.6.5 頭尾參數共享
第3章 DeepSeekMoE架構
3.1 DeepSeekMoE架構簡介
3.1.1 背景
3.1.2 DeepSeekMoE架構策略
3.1.3 DeepSeekMoE與傳統MoE架構的區別
3.2 DeepSeekMoE架構詳解
3.2.1 細粒度專家細分
3.2.2 共享專家隔離
3.2.3 負載平衡
3.3 DeepSeekMoE的微調
3.3.1 DeepSeekMoE微調技術介紹
3.3.2 ZeRO優化
3.3.3 具體實現
3.4 性能評估
3.4.1 訓練數據和分詞
3.4.2 硬件基礎設施
3.4.3 設置超參數
3.4.4 評估基準
3.4.5 評估結果
3.4.6 和稠密模型的對比
3.4.7 DeepSeekMoE 2B模型測試
3.5 消融研究
3.5.1 消融研究介紹
3.5.2 消融研究在大模型中的應用
3.5.3 DeepSeekMoE的消融研究
3.6 DeepSeekMoE 16B測試
3.6.1 訓練數據和分詞
3.6.2 設置超參數
3.6.3 評估基準
3.7 DeepSeekMoE 16B的對齊
3.7.1 測試設置
3.7.2 評估結果
第4章 DeepSeek推理模型架構
4.1 背景
4.2 DeepSeek-R1模型簡介
4.2.1 DeepSeek-R1模型演進
4.2.2 DeepSeek-R1模型的基本架構
4.2.3 訓練方案
4.2.4 開源信息
4.3 推理模型的相關技術
4.3.1 混合專家（MoE）架構
4.3.2 多頭潛在註意力
4.3.3 強化學習
4.4 DeepSeek-R1-Zero訓練方案
4.4.1 強化學習算法
4.4.2 獎勵建模
4.4.3 訓練模板
4.4.4 DeepSeek-R1-Zero的自我進化過程
4.4.5 在DeepSeek-R1-Zero的“頓悟時刻”
4.4.6 DeepSeek-R1-Zero性能測試
4.5 DeepSeek-R1訓練方案
4.5.1 冷啟動
4.5.2 推理導向的強化學習
4.5.3 拒 采樣和監督微調
4.5.4 全場景強化學習
4.6 蒸餾處理
4.6.1 AI大模型中的蒸餾處理
4.6.2 基礎模型的選擇與蒸餾過程
4.6.3 模型蒸餾的技術原理
4.6.4 評估蒸餾模型
第5章 條件記憶與稀疏大語言模型：Engram
5.1 大模型稀疏化的背景與動機
5.2 從“計算”到“記憶”：條件記憶範式的提出
5.3 Engram模塊的整體架構設計
5.4 基於哈希的稀疏N-gram檢索機制
5.5 上下文感知的記憶門控與融合機制
5.6 Engram與多分支Transformer架構的集成
5.7 系統層設計：計算與存儲的解耦
5.8 稀疏容量分配與縮放規律
第6章 DeepEP高效專家並行通信庫
6.1 背景
6.2 模塊介紹
6.3 Python接口層
6.3.1 輔助工具
6.3.2 專家並行通信管理
6.4 C++綁定層
6.4.1 分發與合並配置
6.4.2 緩沖區和共享內存管理
6.4.3 DeepEP多設備專家並行通信與調度
6.5 核心通信實現層
6.5.1 基礎配置與工具文件
6.5.2 通用輔助工具和底層GPU原語
6.5.3 API接口與啟動文件
6.5.4 設備和計算內核
6.5.5 跨節點通信
6.5.6 GPU調度布局計算
6.5.7 運行時管理
6.6 測試模塊
6.6.1 低延遲模式通信測試
6.6.2 單節點多GPU環境測試
6.6.3 跨節點專家並行內核測試
第7章 FlashMLA註意力計算內核庫
7.1 背景
7.2 功能模塊
7.3 Python接口層
7.4 核心CUDA實現
7.4.1 公共參數與基礎結構
7.4.2 C++接口封裝層
7.4.3 Kernel工具層
7.4.4 GPU解碼與調度工具層
7.5 測試驗證模塊
7.5.1 性能測

類似商品

最後瀏覽商品 (20)