圖解大模型算法基礎卷:認知與表示(讓AI理解世界)
王翠萍
- 出版商: 北京大學
- 出版日期: 2026-12-01
- 售價: $774
- 貴賓價: 9.5 折 $735
- 滿減折扣 天瓏日|滿千折百
- 語言: 簡體中文
- 頁數: 321
- ISBN: 7301378270
- ISBN-13: 9787301378274
-
相關分類:
Large language model、DeepLearning、Natural Language Processing
立即出貨 (庫存 < 4)
買這商品的人也買了...
-
深入理解 Android 網絡編程-技術詳解與最佳實踐$414$393 -
$534Android 深度探索(捲 2)-系統應用源代碼分析與 ROM 定製(附光盤) -
Android 安全攻防權威指南$534$507 -
Python 駭客密碼|加密、解密與破解實例應用 Cracking Codes with Python$520$410 -
$330網絡設備配置與調試項目實訓(第4版) -
Oracle 19c 從入門到精通 (視頻教學超值版)$534$507 -
反爬蟲 AST 原理與還原混淆實戰 (微課視頻版)$354$336 -
$576Azure、DevOps 和微服務軟件架構實戰, 2/e -
$445大數據 SQL 優化 : 原理與實踐 -
$1,034C# 12 和.NET 8 入門與跨平臺開發, 8/e -
$310惡意代碼分析與檢測技術 -
$580Web 漏洞分析與防範實戰 (捲2) -
$445微服務架構設計與實戰 -
UI 自動化測試與 AI 應用實戰:實作 Robot Framework × Playwright × Appium 從 Web、App 到 CI/CD 流程整合全方位攻略(iThome鐵人賽系列書)$650$507 -
$285Bootstrap 響應式網站開發任務式教程 (微課版) -
軟件測試項目實戰教程(微課視頻版)$414$393 -
7天上手!駭客特訓班 - 使用 TryHackMe$520$410 -
Blazor 全棧開發:C# 與 .NET 跨平臺實踐$474$450 -
$504軟件漏洞檢測與修覆 -
$418網絡安全技術項目化教程, 4/e (微課版) -
$299實用計算機網絡技術——基礎、組網和維護實驗指導(第3版) -
紫隊攻防演練:紅藍協作、對手模擬與偵測驗證實務$680$537 -
惡意軟件分析與檢測工程$893$848 -
$594n8n 工程實踐:工作流設計與系統構建 -
$474SDD 工程實戰:用 OpenSpec 從零構建真實項目
相關主題
商品描述
本書圍繞“AI如何理解世界”這一核心問題,系統講解人工智能算法的認知基礎與表示學習原理,構建了從數學理論到大模型預訓練的完整知識體系。 部分“數學與理論基礎”梳理概率論、線性代數、優化理論與信息論知識,深入解析熵、KL散度與損失函數的本質,構建AI學習與決策的數學框架;第二部分“表示學習與神經架構”聚焦嵌入與表示空間、狀態表示與序列表示演化、Transformer及大模型架構變體,揭示AI如何構建內部語義空間與世界模型;第三部分“大模型預訓練算法”解析語言建模、自監督學習、多模態模型與跨模態語義共享機制,深入講解GPT、BERT、DeepSeek等模型的架構與訓練流程,構建統一表示與多模態融合的技術體系。全書以“圖解+推導+實戰”為特色,強調理論邏輯與工程實踐的統一,既能幫助讀者夯實數學基礎,又能系統掌握表示學習與大模型預訓練的核心機制,適合人工智能領域的研究人員與工程開發人員學習進階。
作者簡介
王翠萍,山東大學計算機碩士,浙江大學計算機博士。現在就職於百度智能雲,負責大模型應用層算法研發與調優工作,工作期間對百度大模型產品中的對話系統、內容生成、意圖理解等核心模塊實現了算法優化,提高了產品的效率。基於LLM深入理解用戶所需,提升了模型在覆雜場景下的推理能力與用戶體驗,精通Transformer、BERT、GPT等模型架構,擅長LLM微調、RLHF、大規模分布式訓練。
目錄大綱
第1章 大模型訓練的數學基礎
1.1 概率建模與不確定性
1.1.1 隨機變量與常見分布(模型輸出視角)
1.1.2 條件概率與貝葉斯定理
1.1.3 期望、方差與不確定性
1.1.4 信息熵(預測不確定性)
1.1.5 實戰演練:基於樸素貝葉斯的分類模型
1.2 表示學習:向量與張量
1.2.1 向量空間與嵌入的本質
1.2.2 矩陣變換與神經網絡計算
1.2.3 特征值與奇異值分解
1.2.4 張量與高維表示(Transformer基礎)
1.2.5 實戰演練:基於PCA的數據降維
1.3 訓練機制:損失函數與優化
1.3.1 損失函數與訓練目標(交叉熵核心)
1.3.2 梯度下降與反向傳播
1.3.3 優化算法(SGD/Adam)
1.3.4 優化的收斂性與局部最優問題
1.3.5 實戰演練:在分類任務中對比交叉熵與MSE損失函數
1.4 數學如何貫穿大模型訓練
1.4.1 概率建模:輸入到輸出分布
1.4.2 表示學習:Token到向量空間
1.4.3 損失與梯度:模型如何學習
1.4.4 參數更新閉環
第2章 分布對齊與損失函數的本質
2.1 分布度量與對齊
2.1.1 熵、條件熵與不確定性
2.1.2 互信息
2.1.3 KL散度
2.1.4 JS散度
2.1.5 分布對齊在大模型中的作用
2.1.6 實戰演練:基於KL/JS散度與模型分布匹配
2.2 損失函數統一視角
2.2.1 交叉熵與KL散度
2.2.2 常見的損失函數
2.2.3 損失函數與優化收斂性
2.2.4 實戰演練:在分類任務中對比交叉熵與MSE損失函數
第3章 嵌入與表示空間
3.1 表示學習基礎
3.1.1 獨熱編碼到稠密嵌入
3.1.2 向量空間與語義表示
3.1.3 實戰演練:詞語向量化可視化
3.2 經典的嵌入方法
3.2.1 Word2Vec(上下文預測思想)
3.2.2 GloVe(共現統計與矩陣分解)
3.2.3 FastText(子詞建模與泛化能力)
3.2.4 實戰演練:語義聚類與OOV處理
3.3 向量空間操作(服務大模型推理)
3.3.1 向量相似度(語義匹配基礎)
3.3.2 向量偏移與語義推理(類比能力)
3.3.3 聚類與降維(表示結構理解)
3.3.4 實戰演練:相似度與聚類分析
3.4 從詞向量到大模型嵌入
3.4.1 靜態嵌入與動態嵌入
3.4.2 Token嵌入在Transformer中的作用
3.4.3 表示學習在大模型中的整體流程
第4章 狀態表示學習與序列表示演化
4.1 狀態表示學習
4.1.1 狀態表示與表示學習基礎
4.1.2 狀態空間與隱變量(抽象本質)
4.1.3 價值函數與狀態編碼
4.1.4 表示壓縮與抽象層次
4.1.5 實戰演練:基於大模型的文本狀態表示
4.2 序列表示與上下文建模
4.2.1 表示的動態性:從靜態到上下文表示
4.2.2 表示學習與序列建模(LLM核心)
4.2.3 表示演化與下一步預測機制
4.2.4 實戰演練:語言模型的序列預測建模
4.3 高層抽象與語義表示
4.3.1 層級表示與抽象建模
4.3.2 語義結構與表示空間
4.3.3 表示泛化與跨任務能力
4.3.4 實戰演練:語義表示與任務泛化建模
4.4 從狀態表示到大模型表示機制
4.4.1 從狀態到Token表示
4.4.2 表示演化與模型行為能力
第5章 Transformer與大模型專屬架構
5.1 Transformer架構
5.1.1 Transformer介紹
5.1.2 Transformer的核心組件
5.1.3 多頭註意力機制
5.1.4 實戰演練:基於Transformer的電影評論情感分類程序
5.2 Transformer作為大模型計算範式
5.2.1 從結構模型到計算範式的重構
5.2.2 基於註意力的全局信息計算機制
5.2.3 Transformer的統一計算範式
5.2.4 實戰演練:手寫MiniGPT模型
第6章 大模型架構變體
6.1 大模型架構演化(以DeepSeek為例)
6.1.1 DeepSeek中的多頭註意力機制
6.1.2 多頭潛在註意力機制
6.1.3 動態任務分配
6.1.4 稀疏激活機制
6.1.5 混合專家架構
6.1.6 DeepSeek-R1/R2的訓練流程
6.1.7 實戰演練:DeepSeek模型的微調
6.2 多模態架構擴展(以豆包為例)
6.2.1 豆包大模型與MoE
6.2.2 UltraMem架構
6.2.3 實戰演練:豆包大模型預訓練微調
第7章 大模型預訓練
7.1 從表示到生成:預訓練任務與目標設計
7.2 語言建模基礎
7.2.1 自回歸與自編碼機制對比
7.2.2 掩碼預測與序列建模
7.2.3 因果語言模型結構
7.2.4 實戰演練:實現n-gram語言模型
7.3 主流預訓練模型
7.3.1 BERT架構詳解
7.3.2 BART的去噪自編碼
7.4 GPT系列模型
7.4.1 GPT模型的架構演化
7.4.2 自回歸生成與註意力掩碼
7.4.3 預訓練與微調流程
7.5 實戰演練:基於BERT微調的問答系統
7.5.1 準備環境
7.5.2 數據處理
7.5.3 模型預處理與訓練
