大模型產品設計實踐

目 錄

第1章 新的產品形態：大模型產品的出現與能力邊界1

1.1 大模型產品的發展脈絡 1

1.1.1 人工智能的技術發展 2

1.1.2 互聯網的產品發展 3

1.1.3 大模型重塑互聯網產品 5

1.1.4 大模型重塑產品經理角色 6

1.2 大模型產品的範圍 7

1.2.1 大模型產品的定義 8

1.2.2 大模型與軟件工程的差異 9

1.2.3 大模型與機器學習的差異 11

1.2.4 大模型產品與互聯網產品的差異 13

1.2.5 大模型產品產業的分化差異 15

1.3 小結 16

第2章 新的職能定位：大模型時代的產品經理 17

2.1 大模型產品經理概述 18

2.1.1 大模型產品經理的定位 18

2.1.2 大模型產品經理的分化 19

2.1.3 大模型產品經理的能力要求 20

2.1.4 大模型產品經理身兼數職的趨勢 22

2.2 大模型產品設計的底層思維轉變 23

2.2.1 使用模型產品和做模型產品的思維差異 23

2.2.2 對大模型效果的懷疑思維  24

2.2.3 從“先驗”到“後驗”思維  26

2.2.4 以示例數據為起點的設計思維  27

2.2.5 解決問題是產品經理與工程師的共同工作  28

2.2.6 產研與算力成本時刻納入設計考量  29

2.2.7 問題可能不是模型導致的  30

2.3 大模型產品的研發流程 31

2.3.1 產品調研 32

2.3.2 競品分析 33

2.3.3 需求分析  34

2.3.4 示例數據與可行性分析 35

2.3.5 方案設計與評測集準備  36

2.3.6 產品文檔撰寫與立項評審  37

2.3.7 產品研發與策略調優  38

2.3.8 線上運營與效果疊代  39

2.4 模型側產品經理的工作範圍與團隊協作變遷  40

2.4.1 工作內容重構：原型工作的弱化與新的工作項 40

2.4.2 產品團隊的角色變化：與算法、數據、研發的協作模式  42

2.4.3 數據能力升級：比算法更懂業務數據 43

2.5 小結 44

第3章 指令書寫：大模型產品落地的基礎 45

3.1 指令工程和指令書寫  46

3.1.1 指令工程是“指令”和“工程”  46

3.1.2 指令可能是唯一的“武器”  46

3.2 理解指令的基礎概念  46

3.2.1 指令的角色  46

3.2.2 指令的結構 47

3.2.3 模型上下文的概念  48

3.2.4 超參數對產品效果的影響  49

3.3 指令書寫技巧  50

3.3.1 輸出格式約束：保證模型結果的可用性 51

3.3.2 思維鏈：產品可行性評估的利器 52

3.3.3 正向引導：不要對模型說“不要” 53

3.3.4 少樣本學習：強化回答風格的雙刃劍  54

3.3.5 指令的位置：需要註意的用戶輸入細節 55

3.3.6 指令拆分：用數量換取質量 55

3.3.7 字符串轉義：產品經理也要查Bug  56

3.3.8 好的指令與不好的指令 57

3.3.9 疊代思維：像算法一樣疊代指令  58

3.4 指令書寫場景示例  58

3.4.1 情緒識別：識別用戶的情緒  59

3.4.2 事件提取：提取用戶聲明的事件  60

3.4.3 聊天總結：提取用戶的隱性聲明記憶 61

3.4.4 角色扮演：給用戶一個友好的服務員  63

3.4.5 文生圖Query改寫：幫用戶使用更復雜的模型  64

3.4.6 HTML頁面生成：用大模型畫原型圖  66

3.4.7 NL2SQL：用大模型查數據  67

3.4.8 單工具調用：用大模型幫用戶交友  69

3.4.9 多工具指令：用大模型幫用戶點餐 71

3.4.10 數據構造：模型訓練的必要手段  73

3.5 大模型局限場景與產品化應對 74

3.5.1 可預期的模型局限場景 75

3.5.2 令人費解的模型局限場景 76

3.6 指令工程的未來發展 77

3.7 小結  78

第4章 模型評測：貫穿產品生命周期的核心工作  79

4.1 模型評測概述  80

4.1.1 模型評測的含義  80

4.1.2 模型評測的必要性 81

4.1.3 產品經理要對模型的最終效果負責 81

4.2 常用任務類型與評測方法  82

4.2.1 客觀任務的評測  82

4.2.2 主觀任務的評測  84

4.2.3 絕對評估與相對評估  85

4.2.4 主觀任務客觀化  85

4.2.5 評測指標選擇示例  86

4.2.6 多輪能力評估  88

4.2.7 關於裁判大模型評分  88

4.2.8 自動化模型評測  90

4.2.9 性能評估  90

4.2.10 質量監控  92

4.3 示例數據構建  93

4.3.1 示例數據的必要性  93

4.3.2 模型應答理想態設計  93

4.4 評測集構建  94

4.4.1 為什麼需要場景化的評測集  94

4.4.2 評測集的來源  95

4.4.3 評測集構建時機  95

4.4.4 評測集構建規範  96

4.4.5 好的評測集和不好的評測集  97

4.4.6 常見評測誤區  98

4.5 小結  99

第5章 大模型產品方案設計：從GUI到LUI的轉型  100

5.1 大模型產品方案設計概述  101

5.1.1 大模型產品方案設計的含義  101

5.1.2 設計載體轉型：從原型圖到流程圖  101

5.2 大模型產品方案設計場景示例  103

5.2.1 社區輿情監控設計  103

5.2.2 留言板設計  105

5.2.3 用戶被動記憶提取設計  106

5.2.4 門店咨詢助手設計  107

5.2.5 宣傳海報繪本設計  109

5.2.6 小程序頁面生成助手設計  110

5.2.7 庫存查詢設計  111

5.2.8 AI交友設計  112

5.2.9 點餐垂域設計  113

5.2.10 自動化數據構造設計  115

5.3 產品方案的可行性分析  115

5.4 小結  117

第6章 知識庫：讓模型獲取額外信息 118

6.1 知識庫技術概述與應用邊界  119

6.1.1 知識庫的含義  119

6.1.2 知識庫解決問題的範圍  119

6.1.3 知識庫帶來的效果  120

6.1.4 知識庫的種類  121

6.1.5 知識的不同形態  123

6.1.6 知識庫應用的成本及投入  126

6.2 知識庫的工作原理  127

6.2.1 向量數據庫的原理  127

6.2.2 構建知識庫  131

6.2.3 使用知識  133

6.2.4 知識庫的效果評測  136

6.3 解析切片策略  139

6.3.1 文本解析策略  139

6.3.2 多模態的解析切片策略  140

6.3.3 好的知識與不好的知識  144

6.4 召回優化策略  145

6.4.1 知識打標與分庫策略  145

6.4.2 Query改寫策略  147

6.4.3 Rerank策略  152

6.4.4 QA泛化策略  153

6.4.5 混合檢索與多路召回策略  156

6.4.6 Embedding微調  159

6.4.7 知識庫召回策略的最優路徑選擇  160

6.4.8 知識自動更新機制  161

6.5 知識庫技術拓展  162

6.5.1 實時搜索  162

6.5.2 角標回溯  163

6.5.3 多跳檢索知識庫  164

6.5.4 多模態知識庫現狀  165

6.5.5 海量知識的數據治理  166

6.5.6 LLM Wiki  166

6.6 小結  167

第7章 工具調用：讓模型聯通外部世界  168

7.1 工具調用技術概述與應用邊界  169

7.1.1 工具調用的含義  169

7.1.2 工具調用解決問題的範圍  170

7.1.3 工具調用帶來的效果  170

7.1.4 工具調用的本質  172

7.1.5 工具調用的成本及投入  173

7.2 Function Calling的工作原理  174

7.2.1 一般單輪請求與響應  174

7.2.2 多輪對話的請求與響應  176

7.2.3 Function Calling的請求與響應  177

7.2.4 模型根據接口返回值回答用戶問題  180

7.2.5 Function Calling的效果評測  184

7.2.6 Function Calling的底層指令  186

7.3 工具調用效果優化策略  188

7.3.1 反問補槽  188

7.3.2 卡片交互  191

7.3.3 多工具調用  193

7.3.4 工具調用兜底  194

7.3.5 工具功能與效果優化  195

7.3.6 成本節約策略  199

7.4 工具調用技術拓展  201

7.4.1 工具調用前的反思  201

7.4.2 從海量工具中召回工具  202

7.4.3 MCP協議  203

7.4.4 Agent Skills 204

7.5 小結  207

第8章 模型微調：讓模型向人類預期對齊  208

8.1 微調技術概述與應用邊界 209

8.1.1 微調的含義 209

8.1.2 微調解決的產品問題  210

8.1.3 微調常見技術及特征  211

8.1.4 不同微調在模型生產周期中的作用  212

8.1.5 模型本身也是產品  213

8.1.6 微調的成本及投入  214

8.1.7 判斷何時使用微調  215

8.2 產品視角的微調工作流程  216

8.2.1 整體思路  216

8.2.2 訓練數據分布分析 217

8.2.3 理想態輸出設計  218

8.2.4 自動化數據構造方案設計  221

8.2.5 訓練與評測  224

8.2.6 對比實驗與效果優化  225

8.3 微調效果的產品優化策略  226

8.3.1 真實語料挖掘：找到產品真正需要提高的能力  226

8.3.2 長尾Case治理：平衡低頻的用戶需求  227

8.3.3 混合訓練：提高模型泛化能力  227

8.3.4 常見的微調誤區  228

8.4 小結  229

第9章 AI原生應用：Chatbot產品設計  230

9.1 Chatbot設計核心思路  231

9.1.1 設計思路  231

9.1.2 完整的酒吧場景  231

9.1.3 用戶意圖與模型應答方式設計  232

9.1.4 架構風格  233

9.2 級聯架構  234

9.2.1 級聯架構的特征和適用範圍  234

9.2.2 級聯方案架構圖  235

9.3 架構選擇—中樞架構  237

9.3.1 中樞架構的特征和適用範圍  237

9.3.2 中樞架構的設計—能力工具化  238

9.3.3 中樞方案架構圖  243

9.4 飽和式工程架構 244

9.4.1 飽和式工程架構的特征和適用範圍  245

9.4.2 記憶機制 246

9.5 Chatbot的優化策略  247

9.5.1 幹預機制  247

9.5.2 灰度測試  248

9.5.3 Badcase收集與反饋  248

9.5.4 數據飛輪  249

9.5.5 Harness  250

9.6 AI原生應用的未來發展  251

9.6.1 AI原生應用的發展潛力  251

9.6.2 AI原生應用的發展方向  252

9.7 小結  253

第10章 AI Coding：新的基本能力  255

10.1 AI Coding概述  256

10.2 使用Vibe Coding畫原型圖  256

10.2.1 Vibe Coding概述  257

10.2.2 Vibe需求文檔  258

10.2.3 Vibe原型圖設計  260

10.2.4 最終效果展示  262

10.2.5 Vibe概念的泛化  263

10.2.6 Vibe概念的局限  263

10.3 AI Coding的未來發展 264

10.3.1 AI Coding對行業的影響  265

10.3.2 個體需要在未來掌握的Coding能力  265

10.3.3 產品設計者如何面對不斷更新的技術  266

10.4 小結  267

附錄A 主要術語解釋