MindSpore大語言模型實戰

陳雷

MindSpore大語言模型實戰 預覽內頁
  • 出版商: 人民郵電
  • 出版日期: 2024-10-01
  • 定價: $359
  • 售價: 8.5 折 $305
  • 語言: 簡體中文
  • 頁數: 161
  • ISBN: 7115644403
  • ISBN-13: 9787115644404
  • 相關分類: Large language model

    • 立即出貨

  • MindSpore大語言模型實戰-preview-1
  • MindSpore大語言模型實戰-preview-2
MindSpore大語言模型實戰-preview-1

買這商品的人也買了...

商品描述

隨著ChatGPT等大語言模型的迅速發展，大語言模型已經成為人工智能領域發展的快車道，不同領域湧現出各種強大的新模型。開發者想要獨立構建、部署符合自身需求的大語言模型，需要理解大語言模型的實現框架和基本原理。

本書梳理大語言模型的發展，首先介紹Transformer模型的基本原理、結構和模塊及在NLP任務中的應用；然後介紹由只編碼（Encoder-Only）到只解碼（Decoder-Only）的技術路線發展過程中對應的 BERT、GPT等大語言模型；接下來介紹大語言模型在部署、訓練、調優過程中涉及的各種關鍵技術，如自動並行、預訓練與微調、RLHF等，並提供相應的實踐指導；最後以開源大語言模型BLOOM和LLaMA為樣例，介紹其架構和實現過程，幫助讀者理解並構建、部署自己的大語言模型。本書還提供了基於MindSpore框架的豐富樣例代碼。

本書適合人工智能、智能科學與技術、電腦科學與技術、電子信息工程、自動化等專業的本科生和研究生閱讀，同時也為從事大語言模型相關工作的軟件開發工程師和科研人員提供翔實的參考資料。

作者簡介

陳雷

加拿大滑鐵盧大學電腦博士。現擔任香港科技大學(廣州)信息樞紐院長，數據科學與分析學域講座教授，廣州市大數據智能重點實驗室主任。研究方向包括數據驅動的人工智能、大數據分析、知識圖譜、眾包、區塊鏈、圖數據庫、概率和不確定數據庫，以及時空和時間序列數據庫。曾獲2020年度中國電子學會科學技術獎一等獎、2015年ACM SIGMOD時間檢測獎2022 WLDB研究論文獎、2014LDB示範獎。曾擔任ICDE2023和VLDB2019 PC聯合主席、VLDB Journal聯合主編、VLDB基金會執行委員。目前擔任IEEETKDE主編、DASFAA國際會議指導委員會主席、長江講座教授，當選IEEE會士和ACM傑出科學家，獲得國家傑出青年科學基金海外青年學者合作研究項目支持。

目錄大綱

第1章　大語言模型的發展 001

1.1　人工智能的發展階段 002

1.2　從深度學習到大語言模型 004

第2章　Transformer模型 006

2.1　Transformer模型的基本原理 007

2.1.1　註意力機制 007

2.1.2　自註意力機制 010

2.1.3　多頭註意力機制 011

2.2　Transformer模型的結構和模塊 013

2.2.1　位置編碼 014

2.2.2　編碼器 016

2.2.3　解碼器 020

2.2.4　模型代碼 024

2.3　Transformer模型在NLP任務中的應用 025

2.4　使用MindSpore實現基於Transformer模型的文本機器翻譯模型 026

2.4.1　數據集準備與數據預處理 026

2.4.2　模型構建 033

2.4.3　模型訓練與評估 034

2.4.4　模型推理 037

2.5參考文獻 040

第3章　BERT實踐 041

3.1　BERT基本原理 042

3.2　BERT結構 043

3.3　BERT預訓練 045

3.4　BERT微調 046

3.5　使用MindSpore實現數據並行的BERT預訓練 047

3.6　參考文獻 050

第4章　GPT實踐 051

4.1　GPT基本原理 052

4.2　GPT訓練框架 053

4.2.1　無監督預訓練 054

4.2.2　有監督微調 054

4.2.3　GPT下遊任務及模型輸入 055

4.3　使用MindSpore實現GPT的微調 056

4.3.1　數據預處理 056

4.3.2　模型定義 059

4.3.3　模型訓練 066

4.3.4　模型評估 067

4.4　參考文獻 067

第5章　GPT-2實踐 068

5.1　GPT-2的基本原理 069

5.2　GPT-2的技術創新與改進 070

5.3　GPT-2的優缺點 071

5.4　使用MindSpore實現GPT-2的微調 072

5.5　參考文獻 076

第6章　自動並行 077

6.1數據並行原理 078

6.2　算子並行原理 080

6.3　優化器並行原理 082

6.3.1　背景及意義 082

6.3.2　基本原理 083

6.4　流水線並行原理 085

6.4.1　背景及意義 085

6.4.2　基本原理 085

6.5　MoE並行原理 086

6.5.1　背景及意義 086

6.5.2　算法原理 088

6.6　自動並行策略搜索 089

6.6.1　策略搜索定位 090

6.6.2　策略搜索算法 091

6.6.3　MindSpore實踐 092

6.7　異構計算 092

6.7.1　計算流程 092

6.7.2　優化器異構 093

6.7.3　詞表異構 094

6.7.4　參數服務器異構 095

6.7.5　多層存儲 096

6.8　大語言模型性能分析 097

6.8.1　縮短單個模塊耗時 097

6.8.2　提高不同模塊任務間的並行度 097

6.9　MindFormers接口 099

6.9.1　準備工作 099

6.9.2　Trainer高階接口快速入門 099

6.9.3　Pipeline推理接口快速入門 101

6.9.4　AutoClass快速入門 101

6.9.5　Transformer接口介紹 102

6.10　參考文獻 103

第7章　大語言模型預訓練與微調 106

7.1　預訓練大語言模型代碼生成 107

7.1.1　多語言代碼生成模型CodeGeeX 107

7.1.2　多語言代碼生成基準HumanEval-X 109

7.2　提示調優 111

7.2.1　提示流程 111

7.2.2　提示模板 114

7.2.3　優缺點分析 115

7.3　指令調優 116

7.3.1　基本流程 116

7.3.2　指令模板 117

7.3.3　優缺點分析 118

7.4　參考文獻 119

第8章　基於人類反饋的強化學習 121

8.1　基本原理 122

8.2　強化學習 122

8.2.1　核心思想 122

8.2.2　關鍵元素 123

8.2.3　策略與價值函數 123

8.2.4　PPO算法 124

8.3　InstructGPT和ChatGPT中的RLHF 126

8.3.1　訓練流程 126

8.3.2　訓練任務 127

8.3.3　模型效果 128

8.4　優缺點分析 129

8.5　參考文獻 130

第9章　BLOOM和LLaMA模型實踐 131

9.1　BLOOM介紹 132

9.1.1　模型結構 132

9.1.2　預訓練數據集 134

9.2　BLOOM實現 136

9.2.1　BLOOM架構實現 136

9.2.2　BLOOM總結 142

9.3　基於BLOOM的微調 142

9.3.1　數據集準備 142

9.3.2　Checkpoint轉換 142

9.3.3　生成集群通信表 143

9.3.4　啟動預訓練或微調 143

9.3.5　微調後的對話效果 144

9.4　LLaMA模型介紹 148

9.4.1　模型結構 148

9.4.2　預訓練 152

9.4.3　SFT與RLHF 152

9.5　LLaMA模型實現 153

9.5.1　LLaMA模型模塊實現 153

9.5.2　LLaMA模型結構實現 155

9.6　基於LLaMA模型的微調 159

9.6.1　數據集準備 159

9.6.2　ckpt轉換 159

9.6.3　生成集群通信表 159

9.6.4　啟動微調 160

9.6.5　微調效果 160

9.7　參考文獻 161

類似商品

最後瀏覽商品 (12)