ChatGPT原理與架構

程戈著

ChatGPT原理與架構
  • 出版商: 機械工業
  • 出版日期: 2023-12-01
  • 定價: $594
  • 售價: 7.5 折 $446
  • 語言: 簡體中文
  • 頁數: 220
  • 裝訂: 平裝
  • ISBN: 7111739566
  • ISBN-13: 9787111739562
  • 相關分類: Large language model

    • 立即出貨 (庫存 < 4)

買這商品的人也買了...

中文年末書展｜繁簡參展書2書75折 詳見活動內容 »

相關主題

商品描述

本書講解ChatGPT及其相關技術。
全書共11章，第1章深入分析了大語言模型的技術演化、技術堆疊等。
第2章詳細闡述了Transformer模型的理論基礎和主要組件。
第3章深入解析了GPT的生成式預訓練的過程與原理。
第4章主要探討了GPT-2的層歸一化、正交初始化和可逆的分詞方法等技術，並詳細分析了GPT-2的自回歸生成過程。
第5章介紹了GPT-3的稀疏註意力模式、後設學習和基於內容的學習等技術，並對貝葉斯推論在概念分佈中的應用進行了深入討論。
第6章詳細介紹了大語言模型的預訓練資料集和資料處理方法，同時闡述了分佈式訓練模式和技術路線。
第7章深入解析了PPO演算法的基本原理。
第8章主要闡述了人類回饋強化學習的微調資料集以及PPO在InstructGPT中的應用。
第9章深入探討了大語言模型在低算力環境的應用策略。
第10章主要介紹了在大語言模型開發中涉及的中間件程式設計技術。
第11章對大語言模型的發展趨勢進行了預測與展望。

作者簡介

程戈，博士生導師，湘潭大學計算機學院·網絡空間安全學院教授，湘潭大學技術轉移中心副主任，湘潭市京東智能城市與大數據研究院副院長，智慧司法與數字治理湖南省重點實驗室副主任，CCF計算法學會執委。大模型領域技術專家和佈道者，作為兩項科技部國家重點研發子課題的負責人，與成都數之聯等多家企業合作推動人工智能在司法領域的落地，帶領團隊開發了JusticeGPT司法大模型，不同於其他的以提升司法領域知識問答能力為核心的司法大模型，該大模型致力於提升司法文獻檢索增強編排以及工作流程自動化。

目錄大綱

前言
第1章人工智能的新裏程碑－ChatGPT
1.1 ChatGPT的發展歷程
1.2 ChatGPT的能力
1.3 大語言模型的技術演化
1.3.1 從符號主義到連結主義
1.3.2 Transformer模型
1.3.3 無監督預訓練
1.3 .4 有監督微調
1.3.5 人類回饋強化學習
1.4 大語言模型的技術堆疊
1.5 大語言模型帶來的影響
1.6 大語言模型復現的壁壘
1.6.1 算力瓶頸
1.6.2 資料瓶頸
1.6.3 工程瓶頸
1.7 大語言模型的限制
1.8 小結
第2章深入理解Transformer模型
2.1 Transformer模型簡介
2.2 自註意力機制
2.2.1 自註意力機制的計算過程
2.2.2 自註意力機制的本質
2.2.3 自註意力機制的優勢與限制
2.3 多頭註意力機制
2.3.1 多頭註意力機制的實現
2.3.2 多頭註意力機制的作用
2.3.3 多頭註意力機制的優化
2.4 前饋神經網絡
2.5 殘差連接
2.6 層歸一化
2.7 位置編碼
2.7.1 位置編碼的設計與實現
2.7.2 位置編碼的變體
2.7.3 位置編碼的優勢與局限性
2.8 訓練與優化
2.8.1 損失函數
2.8.2 優化器
2.8.3學習率調整策略
2.8.4 正規化
2.8.5 其他訓練與最佳化技巧
2.9 小結
第3章生成式預訓練
3.1 生成式預訓練簡介
3.2 GPT的模型架構
3.3 生成式預訓練流程
3.3.1 生成式預訓練的目標
3.3.2 生成式預訓練的誤差反向傳播過程
3.4 有監督微調
3.4.1 有監督微調的原理
3.4.2 有監督微調的特定任務
3.4.3 有監督微調的步驟
3.5 小結
第4章無監督多任務與零樣本學習
4.1 編碼器與解碼器
4.2 GPT-2的模型架構
4.2.1 層歸一化
4.2.2 正交初始化
4.2.3 可逆的分詞方法
4.2.4 可學習的相對位置編碼
4.3無監督多任務
4.4 多任務學習與零樣本學習的關係
4.5 GPT-2的自回歸生成過程
4.5.1 子詞單元嵌入
4.5.2 自回歸過程
4.6 小結
第5章稀疏註意力與基於內容的學習
5.1 GPT-3的模型架構
5.2 稀疏註意力模式
5.2.1 Sparse Transformer的特徵
5.2.2 局部帶狀註意力
5.2.3 跨層稀疏連接
5.3 元學習和基於內容的學習
5.3.1 元學習
5.3.2 基於內容的學習
5.4 概念分佈的貝葉斯推論
5.4.1 隱式微調
5.4.2 貝葉斯推論
5.5 思維鏈的推理能力
5.6 小結
第6章大語言模型的預訓練策略
6.1 預訓練資料集
6.2 預訓練資料的處理
6.3 分佈式訓練模式
6.3.1 資料並行
6.3.2 模型並行
6.4 分佈式訓練的技術路線
6.4.1 Pathways
6.4.2 Megatron-LM
6.4.3 ZeRO
6.5 訓練策略案例
6.5.1 訓練架構
6.5. 2 參數穩定性
6.5.3 訓練設定的調整
6.5.4 BF16最佳化
6.5.5 其他因素
6.6 小結
第7章近端策略最佳化演算法
7.1 傳統的策略梯度方法
7.1.1 策略梯度方法的基本原理
7.1.2 重要性取樣
7.1.3 優勢函數
7.2 Actor-Critic演算法
7.2.1 Actor-Critic演算法的基本步驟
7.2 .2 值函數與策略更新
7.2.3 Actor-Critic演算法的問題與挑戰
7.3 信任域策略最佳化演算法
7.3.1 TRPO演算法的目標
7.3.2 TRPO演算法的限制
7.4 PPO演算法的原理
7.5 小結
第8章人類回饋強化學習
8.1 強化學習在ChatGPT疊代中的作用
8.2 InstructGPT訓練資料集
8.2.1 微調資料集的來源
8.2.2 標註標準
8.2.3 資料分析
8.3 人類回饋強化學習的訓練階段
8.3.1 有監督微調階段
8.3.2 獎勵建模階段
8.3.3 強化學習階段
8.4 獎勵建模演算法
8.4.1 演算法思想
8.4.2 損失函數
8.5 PPO演算法在InstructGPT中的應用
8.6 多輪對話能力
8.7 人類回饋強化學習的必要性
8.8小結
第9章大語言模型的低算力領域遷移
9.1 指令自舉標註
9.2 人工智能回饋
9.3 低秩自適應
9.3.1 模型訓練與部署
9.3.2 秩的選擇
9.4 量化：降低部署的算力要求
9.5 SparseGPT剪枝演算法
9.6 開源大語言模型的低算力遷移案例
9.6.1 基座模型
9.6.2 自舉指令微調的羊駝系列
9.6.3 中文解決方案
9.6.4 醫療領域的遷移實例
9.6.5 司法領域的遷移實例
9.7 小結
第10章中間件編程
10.1 補齊短板—LangChain恰逢其時
10.2 多模態融合中間件
10.2.1 任務規劃
10.2.2 模型選擇
10.2.3 任務執行
10.2.4 響應生成
10.3 AutoGPT自主代理與任務規劃
10.4 中間件框架的競品
10.5 小結
第11章大語言模型的未來之路
11.1 強人工智能之路
11.2 資料資源枯竭
11.3 自回歸模型的

類似商品

最後瀏覽商品 (1)