大模型技術深度解析(微課版)

目錄

第一部分大模型基礎

第1章預訓練語言模型基礎概述3

1.1Transformer簡介3

1.1.1Transformer架構3

1.1.2關鍵技術4

1.1.3作用與影響6

1.2預訓練語言模型概述7

1.2.1基於Transformer的模型架構7

1.2.2BERT模型8

1.2.3GPT系列模型9

1.2.4BART模型12

1.2.53種模型對比13

1.3總結與習題15

1.3.1本章總結15

1.3.2本章習題15

第2章大模型架構概述17

2.1ChatGPT模型簡介17

2.1.1模型架構17

2.1.2訓練過程18

2.1.3模型不足19

2.2Mamba模型簡介20

2.2.1模型架構20

2.2.2技術細節21

2.2.3模型原理22

2.3MoE模型簡介23

2.3.1模型架構23

2.3.2技術細節23

2.3.3計算優化26

2.4總結與習題27

2.4.1本章總結27

2.4.2本章習題28

目錄〖3〗第3章大模型基礎調優與評估29

3.1大模型微調29

3.1.1大模型微調技術起源29

3.1.2不同模型微調數據30

3.1.3LoRA技術32

3.1.4強化反饋技術37

3.1.5思維鏈技術42

3.1.6大模型微調技術對比46

3.2大模型對齊47

3.2.1大模型對齊的定義與意義47

3.2.2對齊方法分類49

3.2.3主要對齊技術51

3.2.4大模型對齊評估59

3.3大模型評估65

3.3.1大模型評估的介紹65

3.3.2大模型評估體系發展階段與分類66

3.3.3評估任務分類72

3.4總結與習題91

3.4.1本章總結91

3.4.2本章習題91

第二部分大模型優化方法

第4章大模型生成質量優化954.1大模型幻覺95

4.1.1大模型幻覺的分類方法95

4.1.2大模型幻覺的來源97

4.1.3大模型幻覺的檢測方法100

4.1.4大模型的幻覺評估103

4.1.5大模型幻覺的解決方案107

4.2檢索增強生成112

4.2.1檢索增強生成的概念、基本框架與動機112

4.2.2檢索增強生成的相關技術介紹114

4.2.3檢索增強生成的分類116

4.2.4檢索增強生成的方法介紹118

4.2.5評估指標與評估維度129

4.2.6檢索增強生成的應用131

4.2.7挑戰與未來133

4.3大模型中的知識沖突134

4.3.1知識沖突簡介134

4.3.2無源沖突137

4.3.3多源沖突142

4.4大模型的可控生成148

4.4.1可控生成的定義與意義148

4.4.2面向圖像的可控生成150

4.4.3面向文本的可控生成156

4.4.4數據集與評估方法159

4.5數據合成技術163

4.5.1合成數據介紹163

4.5.2合成數據的方法166

4.5.3合成數據的評價方法169

4.6總結與習題171

4.6.1本章總結171

4.6.2本章習題171

第5章大模型推理能力優化173

5.1大模型推理能力173

5.1.1大模型推理的主要任務173

5.1.2大模型推理能力分析174

5.1.3基於提示工程的方法175

5.1.4基於數據集構建的方法180

5.1.5基於蒙特卡洛的方法180

5.1.6逆轉詛咒的緩解方法181

5.1.7應用場景183

5.2知識編輯技術185

5.2.1知識編輯介紹185

5.2.2知識編輯方法186

5.2.3評估方法與基準199

5.2.4不足分析205

5.3總結與習題206

5.3.1本章總結206

5.3.2本章習題207

第6章大模型的計算存儲優化208

6.1大模型計算效率優化208

6.1.1大模型計算效率優化技術介紹208

6.1.2基於大模型訓練效率的優化方法210

6.1.3基於大模型推理效率的優化方法220

6.1.4基於大模型生成效率的優化方法231

6.2大模型壓縮技術236

6.2.1大模型壓縮介紹236

6.2.2大模型壓縮方法236

6.2.3大模型壓縮評估250

6.2.4小模型現狀255

6.2.5未來與挑戰275

6.3總結與習題276

6.3.1本章總結276

6.3.2本章習題277

第三部分大模型能力擴展

第7章大模型的復雜任務適應2817.1長文本處理與生成281

7.1.1長文本處理與生成技術介紹281

7.1.2長文本處理能力擴展的關鍵技術282

7.1.3長文本生成能力擴展的關鍵技術286

7.1.4長文本處理效率的提升技術290

7.1.5長文本處理的評價292

7.1.6長文本生成的評價296

7.1.7長文本生成的應用297

7.1.8未來挑戰與發展方向297

7.2大模型的表格處理299

7.2.1大模型的表格處理介紹299

7.2.2表格數據處理的難點300

7.2.3表格數據的建模方法301

7.2.4任務列舉310

7.2.5表格處理的限制與未來方向318

7.3總結與習題319

7.3.1本章總結319

7.3.2本章習題320

第8章基於模態的大模型能力擴展321

8.1多模態大模型321

8.1.1多模態大模型的介紹321

8.1.2多模態大模型相關技術基礎323

8.1.3多模態大模型分類329

8.1.4多模態學習的關鍵技術335

8.1.5多模態大模型訓練方法338

8.1.6多模態應用339

8.1.7多模態學習的挑戰與未來方向342

8.2圖提示學習345

8.2.1圖提示學習的概念、核心任務與動機345

8.2.2圖提示學習的相關技術348

8.2.3圖提示學習的分類349

8.2.4圖提示學習的方法350

8.2.5圖提示學習局限分析357

8.3總結與習題358

8.3.1本章總結358

8.3.2本章習題358

第9章基於反饋的大模型能力擴展360

9.1智能體360

9.1.1智能體的基礎概念與理論框架360

9.1.2智能體的關鍵模塊362

9.1.3智能體分類367

9.1.4智能體最新研究進展371

9.1.5智能體的安全性373

9.1.6智能體的垂域應用374

9.1.7智能體評估基準375

9.2大模型持續學習376

9.2.1持續學習介紹376

9.2.2持續學習的方法分類380

9.2.3持續預訓練382

9.2.4持續自適應預訓練385

9.2.5持續微調388

9.2.6外部知識395

9.2.7持續學習的發展趨勢397

9.3總結與習題399

9.3.1本章總結399

9.3.2本章習題399

第10章大模型合規發展401

10.1大模型人格401

10.1.1研究背景與意義401

10.1.2研究現狀與挑戰402

10.1.3研究方法403

10.1.4常用數據集415

10.1.5未來研究方向416

10.2大模型生成文本檢測418

10.2.1研究背景與定義418

10.2.2生成文本檢測方法421

10.2.3影響可檢測性的因素427

10.2.4挑戰和未來方向430

10.3總結與習題432

10.3.1本章總結432

10.3.2本章習題432