這就是上下文工程

樊中愷，百度主任架構師，文心應用技術負責人。他長期專註於 AI Native 架構和相關應用開發，主導了文心 APP 從技術預研到工程落地的全過程。在百度內部，他帶領團隊打破算法、工程、應用和產品的邊界，致力於打造*的 AI 大模型應用服務，推動生成式 AI 技術在多元場景中的深度應用和產業落地。

第 1章　什麼是上下文　　/ 1
1.1 大模型之前的上下文　　/ 1
1.2 無狀態 vs 有狀態　　/ 2
1.2.1 無狀態的 HTTP 協議　　/ 3
1.2.2 工程師的智慧：從無狀態到有狀態的橋梁　　/ 4
1.3 上下文工程的本質　　/ 6
1.4 本章要點　　/ 7
第 2章　大模型時代的上下文工程　　/ 8
2.1 上下文：不只是記憶，而是理解的基礎　　/ 8
2.2 上下文窗口：一個看似巨大實則緊張的空間　　/ 9
2.3 從Prompt到Context：認知躍遷　　/ 11
2.4 上下文的多重面孔　　/ 13
2.4.1 從時間的維度看上下文　　/ 13
2.4.2 從來源的維度看上下文　　/ 14
2.4.3 從結構的維度看上下文　　/ 15
2.4.4 從語言範式的維度看上下文　　/ 16
2.4.5 從密度的維度看上下文　　/ 20
2.5 上下文工程的核心難題　　/ 21
2.5.1 選擇的困境：當信息遠*容量　　/ 21
2.5.2 組織的藝術：順序和結構的重要性　　/ 22
2.5.3 演化的挑戰：如何管理動態變化　　/ 23
2.5.4 成本的權衡：現實的約束　　/ 24
2.5.5 不透明的困擾：黑盒中的不確定性　　/ 25
2.6 這是工程，不是魔法　　/ 26
2.7 重新理解“智能”　　/ 27
2.8 本章要點　　/ 27
第3章　構建上下文的層級結構　　/ 29
3.1 為什麼需要層級結構　　/ 30
3.2 構建單元：上下文的原子　　/ 31
3.2.1 原則一：單一職責　　/ 32
3.2.2 原則二：明確性　　/ 32
3.2.3 原則三：可驗證性　　/ 33
3.3 組合模式：上下文的分子　　/ 34
3.3.1 常見的組合模式　　/ 35
3.3.2 分子設計的要訣　　/ 37
3.4 功能模塊：上下文的器官　　/ 38
3.4.1 上下文的器官級模塊拆分實例　　/ 38
3.4.2 器官設計的關鍵原則　　/ 41
3.5 系統編排：上下文的完整架構　　/ 42
3.5.1 整體架構　　/ 43
3.5.2 代碼與提示詞的分工　　/ 44
3.5.3 系統設計的三個層面　　/ 46
3.6 實踐中的平衡　　/ 47
3.7 本章要點　　/ 48
第4章　動態管理對話中的上下文　　/ 49
4.1 上下文的生命周期　　/ 50
4.1.1 信息的誕生　　/ 50
4.1.2 信息的存續　　/ 50
4.1.3 信息的衰減　　/ 51
4.1.4 信息的消亡　　/ 51
4.2 四種基本操作　　/ 52
4.2.1 添加：讓新信息進入上下文　　/ 52
4.2.2 更新：修正上下文中的信息　　/ 54
4.2.3 壓縮：在保留信息的同時節省空間　　/ 54
4.2.4 刪除：讓信息徹底消失　　/ 56
4.3 管理策略的設計　　/ 57
4.3.1 策略一：滑動窗口　　/ 57
4.3.2 策略二：重要性排序　　/ 58
4.3.3 策略三：分層管理　　/ 60
4.3.4 策略四：語義聚類　　/ 62
4.3.5 策略選擇的考量　　/ 65
4.4 實現動態管理的技術要點　　/ 65
4.4.1 要點一：token 計數的*性　　/ 65
4.4.2 要點二：壓縮質量的保證　　/ 66
4.4.3 要點三：一致性的維護　　/ 67
4.4.4 要點四：性能的優化　　/ 68
4.5 一個完整的例子　　/ 69
4.6 常見問題與應對　　/ 72
4.6.1 問題一：信息丟失導致理解斷裂　　/ 72
4.6.2 問題二：壓縮摘要時歪曲原意　　/ 73
4.6.3 問題三：上下文管理的延遲影響體驗　　/ 73
4.6.4 問題四：多話題切換時的混亂　　/ 73
4.6.5 問題五：長對話後期質量下降　　/ 74
4.7 本章要點　　/ 74
第5章　RAG系統中的上下文工程　　/ 75
5.1 RAG 的基本架構　　/ 76
5.1.1 RAG 系統的核心環節　　/ 76
5.1.2 檢索結果的問題　　/ 77
5.2 構建RAG上下文的策略　　/ 79
5.2.1 策略一：結果的篩選與重排　　/ 79
5.2.2 策略二：去重與合並　　/ 81
5.2.3 策略三：矛盾檢測與處理　　/ 83
5.2.4 策略四：上下文補充　　/ 84
5.3 組裝*終的上下文　　/ 86
5.3.1 問題一：放在哪裏　　/ 87
5.3.2 問題二：怎樣標註　　/ 87
5.3.3 問題三：放多少　　/ 88
5.3.4 問題四：怎樣引導模型使用　　/ 90
5.3.5 完整的上下文組裝　　/ 90
5.4 進階技巧　　/ 91
5.4.1 技巧一：查詢改寫　　/ 91
5.4.2 技巧二：假設性文檔嵌入　　/ 92
5.4.3 技巧三：疊代檢索　　/ 93
5.4.4 技巧四：自適應上下文窗口　　/ 94
5.4.5 技巧五：引用溯源　　/ 94
5.5 RAG上下文的常見陷阱　　/ 96
5.5.1 陷阱一：檢索到了，但模型不用　　/ 96
5.5.2 陷阱二：過度依賴檢索結果　　/ 96
5.5.3 陷阱三：檢索與問題脫節　　/ 97
5.5.4 陷阱四：上下文爆炸　　/ 97
5.5.5 陷阱五：信息過時　　/ 97
5.6 一個完整的RAG上下文工程案例　　/ 99
5.7 本章要點　　/ 102
第6章　多 Agent 系統的上下文編排　　/ 103
6.1 多Agent系統的基本模式　　/ 104
6.1.1 模式一：中心化編排　　/ 104
6.1.2 模式二：層級式協作　　/ 105
6.1.3 模式三：對等協作　　/ 106
6.1.4 模式四：流水線　　/ 106
6.2 上下文共享的挑戰　　/ 107
6.2.1 挑戰一：信息量的爆炸　　/ 107
6.2.2 挑戰二：信息的異構性　　/ 108
6.2.3 挑戰三：時序和依賴　　/ 108
6.2.4 挑戰四：上下文的一致性　　/ 108
6.2.5 挑戰五：失敗處理　　/ 108
6.3 設計上下文共享機制　　/ 109
6.3.1 模式一：黑板模式　　/ 110
6.3.2 模式二：消息傳遞　　/ 112
6.3.3 模式三：共享狀態　　/ 114
6.3.4 模式四：上下文摘要傳遞　　/ 117
6.4 編排者的上下文設計　　/ 120
6.4.1 編排者面臨的獨特挑戰　　/ 121
6.4.2 編排者上下文的構成　　/ 121
6.4.3 任務分配的上下文設計　　/ 123
6.4.4 動態上下文管理　　/ 124
6.4.5 編排者的決策模式　　/ 126
6.5 實戰案例：投資研究報告系統　　/ 126
6.5.1 架構設計　　/ 127
6.5.2 Agent 定義　　/ 128
6.5.3 執行流程　　/ 129
6.5.4 關鍵的上下文構建函數　　/ 131
6.5.5 信息流動示意　　/ 133
6.6 本章要點　　/ 134
第7章　評估與優化上下文設計　　/ 136
7.1 為什麼評估如此重要　　/ 136
7.2 評估的三個層次　　/ 137
7.2.1 層次一：組件級評估　　/ 137
7.2.2 層次二：系統級評估　　/ 138
7.2.3 層次三：用戶級評估　　/ 138
7.3 核心評估指標　　/ 138
7.3.1 指標一：上下文利用率　　/ 138
7.3.2 指標二：答案忠實度　　/ 139
7.3.3 指標三：相關性*率　　/ 140
7.3.4 指標四：信息完整性　　/ 141
7.3.5 指標五：上下文效率　　/ 143
7.3.6 指標六：響應一致性　　/ 144
7.3.7 LLM as Judge　　/ 145
7.4 建立評估數據集　　/ 146
7.4.1 代表性　　/ 146
7.4.2 標註質量　　/ 148
7.4.3 持續更新　　/ 149
7.5 評估流程的自動化　　/ 150
7.5.1 自動化評估的基本架構　　/ 150
7.5.2 評估管道的設計　　/ 151
7.5.3 評估報告的內容　　/ 151
7.5.4 集成到 CI/CD　　/ 152
7.5.5 評估結果的可視化　　/ 152
7.5.6 評估的成本控制　　/ 154
7.6 常見優化策略　　/ 154
7.6.1 策略一：優化檢索質量　　/ 154
7.6.2 策略二：控制上下文大小　　/ 155
7.6.3 策略三：改善信息組織　　/ 156
7.6.4 策略四：增強指令引導　　/ 156
7.6.5 優化策略的選擇　　/ 157
7.7 持續優化的閉環　　/ 158
7.7.1 A/B 測試　　/ 158
7.7.2 建立基準線　　/ 159
7.8 本章要點　　/ 161
第8章　上下文工程的下一站　　/ 162
8.1 告別巴別塔，上下文的協議化　　/ 162
8.1.1 MCP，AI 時代的 USB 接口　　/ 163
8.1.2 關於 Skill　　/ 164
8.2 上下文即代碼　　/ 165
8.2.1 理念升級　　/ 166
8.2.2 S.I.D. 三層架構　　/ 166
8.2.3 動態渲染　　/ 168
8.2.4 類型*　　/ 168
8.2.5 模塊化與覆用　　/ 169
8.3 打破對話框的邊界　　/ 169
8.3.1 技術演進　　/ 170
8.3.2 A2UI　　/ 170
8.3.3 上下文對設計的約束　　/ 171
8.4 推理模型時代的上下文　　/ 172
8.5 展望　　/ 173
8.6 本章要點　　/ 174
後記　　/ 175