大模型驅動的多模態數據分析

(美)伊曼努爾·特魯默 王萌//王昊奮//茹炳晟

相關主題

商品描述

本書介紹如何使用新一代人工智能助手和大語言模型(LLM)來簡化和加速常見的數據科學任務。作者揭示了他在數據科學中充分利用 LLM 的 技術,包括模型選擇和專業化、參數調整技術和可靠的提示詞模板。首先,本書將深入介紹 LLM的工作原理。然後,讀者將深入了解如何使用 LLM進行無代碼數據分析、使用 OpenAI Python API 創建自定義運算符,以及使用 的LangChain框架構建覆雜的數據分析管道。

作者簡介

伊曼努爾·特魯默(Immanuel Trummer) 康奈爾大學計算機系副教授、康奈爾數據庫研究組成員,專註於數據分析與機器學習交叉領域,主要研究大語言模型在數據分析中的應用,涉及數據庫系統、查詢優化與大語言模型融合的數據管理技術,博士畢業於瑞士洛桑聯邦理工學院,曾獲SIGMOD Jim Gray博士論文榮譽提名、NSF CAREER獎,多篇成果入選VLDB/SIGMOD年度精選論文,在YouTube上發布的教學視頻累計播放量超過百萬。

目錄大綱

譯者序

前言

謝

第一分語言模型導論

第1章LLM數據分析應用2

1.1語言模型的功能與應用2

1.2你將學到什麼5

1.3如何使用語言模型6

1.3.1提示詞6

1.3.2提示詞示例7

1.3.3界面8

1.4使用語言模型進行數據

分析9

1.4.1語言模型的直接數據

分析方法9

1.4.2基於外工具的數據

分析11

1.5成本化13

1.5.1選擇佳模型13

1.5.2模型的配置15

1.5.3提示工程15

1.6高級軟件框架和智能體16

1.7本章小結17

第2章與ChatGPT對話18

2.1訪問網頁界面19

2.2初次接觸20

2.3使用ChatGPT處理文本22

2.4使用ChatGPT處理表格29

2.4.1網頁界面中的表格

處理30

2.4.2在本地平臺處理表格

數據32

2.5本章小結40

參考文獻40

第二分使用語言模型進行

數據分析

第3章OpenAI Python庫42

3.1前提條件43

3.2安裝OpenAI的Python庫44

3.3列出可用模型46

3.4對話補全48

3.5自定義模型行為51

3.5.1配置止條件51

3.5.2配置輸出生成52

3.5.3配置隨機化53

3.5.4自定義示例55

3.5.5更多參數56

3.6本章小結57

第4章文本數據分析58

4.1預備知識59

4.2分類59

4.2.1概述60

4.2.2創建提示詞61

4.2.3調用模型62

4.2.4端到端分類代碼63

4.2.5文檔分類65

4.2.6運行代碼66

4.2.7探索其他變體67

4.3文本提取68

4.3.1概述69

4.3.2生成提示詞70

4.3.3後處理71

4.3.4端到端提取代碼73

4.3.5實踐76

4.4聚類76

4.4.1概述77

4.4.2計算嵌入向量78

4.4.3向量聚類79

4.4.4文本聚類的端到端

代碼80

4.4.5實踐82

4.4.6嵌入向量的其他應用

場景82

4.5本章小結83

參考文獻83

第5章結構化數據分析84

5.1本章概述85

5.2遊戲銷售數據的自然語言

查詢接口86

5.2.1 SQLite數據庫配置87

5.2.2 SQL基礎89

5.2.3概述91

5.2.4為文本到SQL轉換

生成提示詞92

5.2.5完整代碼93

5.2.6實踐95

5.3通用自然語言查詢接口96

5.3.1執行查詢96

5.3.2提取數據庫結構97

5.3.3完整代碼98

5.3.4實踐101

5.4圖數據的自然語言查詢

界面103

5.4.1圖數據概述103

5.4.2設置Neo4j數據庫 …104

5.4.3 Cypher查詢語言106

5.4.4將問題轉換為Cypher

查詢107

5.4.5提示詞生成107

5.4.6完整代碼108

5.4.7實踐110

5.5本章小結110

第6章圖像和視頻分析112

6.1設置113

6.2回答關於圖像的問題113

6.2.1多模態輸入114

6.2.2代碼討論115

6.2.3實踐116

6.3圖像中的人物標記118

6.3.1概述118

6.3.2本地圖像編碼119

6.3.3向OpenAI發送本地

存儲的圖像121

6.3.4端到端實現122

6.3.5實踐125

6.4為視頻生成標題126

6.4.1概述126

6.4.2視頻幀編碼127

6.4.3端到端實現129

6.4.4實踐131

6.5本章小結132

第7章音頻數據分析133

7.1準備工作134

7.2轉錄音頻文件135

7.2.1語音轉錄135

7.2.2端到端代碼137

7.2.3實踐137

7.3通過語音查詢關系型

數據138

7.3.1預備知識139

7.3.2概述139

7.3.3錄制音頻140

7.3.4端到端代碼141

7.3.5實踐145

7.4語音到語音的翻譯147

7.4.1概述147

7.4.2生成語音148

7.4.3端到端代碼149

7.4.4實踐152

7.5本章小結154

第三分高級主題

第8章GPT替代方案156

8.1Anthropic157

8.1.1與Claude對話158

8.1.2 Python庫159

8.2Cohere160

8.2.1與Command R+

對話161

8.2.2 Python庫162

8.3Google164

8.3.1與Gemini對話164

8.3.2 Python庫164

8.4Hugging Face166

8.4.1 Web平臺167

8.4.2 Python庫169

8.5本章小結172

參考文獻172

第9章化成本和質量173

9.1示例場景174

9.2未調的分類器175

9.3模型調178

9.4模型選擇182

9.5提示工程184

9.6可調節分類器187

9.7微調192

9.8生成訓練數據193

9.9啟動微調任務196

9.10使用微調模型199

9.11本章小結201

第10章軟件框架202

10.1LangChain203

10.2使用LangChain分類204

10.2.1概述204

10.2.2創建分類鏈205

10.2.3代碼整合207

10.2.4實踐208

10.3智能體:賦予大語言模型

權208

10.4構建數據分析智能體211

10.4.1概述212

10.4.2使用LangChain

創建智能體213

10.4.3數據分析智能體的

完整代碼214

10.4.4實踐215

10.5添加自定義工具219

10.5.1貨幣轉換器219

10.5.2實踐222

10.6使用LlamaIndex建立多模態

數據索引223

10.6.1概述224

10.6.2安裝LlamaIndex …225

10.6.3實現簡單問答

系統225

10.6.4實踐226

10.7結語227

10.8本章小結228

參考文獻228

最後瀏覽商品 (20)