AI系統工程 架構與DevOps實踐

倫·巴斯（Len Bass） 軟件架構和軟件工程領域的領軍人物，擁有逾50年的研發和教學經驗，曾兩次獲得“Jolt生產力大獎”，成就卓著。他是計算機協會（ACM）、電氣和電子工程師協會（IEEE）的會員，曾在卡內基梅隆大學軟件工程研究所工作25年，擔任首席研究員，專註於軟件架構的分析，還曾擔任澳大利亞 信息通信技術研究院（NICTA） 主任研究員，積澱了數十年一線教學經驗。憑借在軟件架構領域的傑出貢獻，他先後獲得ACM傑出論文獎、IEEE傑出教育獎，其學術理念與實踐體系深刻熏陶、影響了 數代軟件工程師。<br />盧清華（Qinghua Lu） 澳大利亞聯邦科學與工業研究組織（CSIRO）Data61研究所首席研究科學家，2023年斬獲亞太地區“AI女性先鋒獎”。她深度參與澳大利亞人工智能安全標準制定與AI安全研究網絡搭建工作，牽頭推進多項 重點課題：經合組織OECD可信AI指標項目、 AI計量學工作組研究、歐盟通用AI實踐規範研討。研究領域主要涵蓋AI工程、負責任/安全AI以及軟件架構。目前，她已在 期刊和會議上發表論文逾150篇，同時是Responsible AI: Best Practices for Creating Trustworthy AI Systems的合著者。<br />英戈·韋伯（Ingo Weber） 慕尼黑工業大學教授，弗勞恩霍夫協會（Fraunhofer-Gesellschaft）數字化轉型與ICT基礎設施總監，研究領域涵蓋計算機科學的多個分支，尤其專註於業務流程管理與流程挖掘、軟件架構與工程、DevOps、區塊鏈以及應用AI等方向。撰寫出版多部學術專著與專業教材。<br />祝立明（Liming Zhu） CSIRO Data61研究所研究主任、新南威爾士大學特聘教授，身兼經合組織OECD.AI人工智能風險與問責小組成員，深度投身澳大利亞 人工智能中心“負責任AI規模化”智庫、ISO人工智能標準委員會，以及本國AI安全

一個趣味嘗試
譯者序
前言
致謝
作者簡介
第1章　導論　1
1.1　當我們談論事物時，我們在談論
什麼：術語　2
1.2　實現系統質量　3
1.3　生命周期過程　4
1.3.1　系統測試　5
1.3.2　系統部署　6
1.3.3　系統的運行與監控　6
1.3.4　系統分析　7
1.4　軟件架構　7
1.4.1　架構的角色　7
1.4.2　質量實現　7
1.4.3　資源　8
1.5　AI模型質量　8
1.5.1　數據　8
1.5.2　AI模型類型　9
1.5.3　模型開發生命周期　12
1.5.4　AI部分的資源分配　12
1.6　不確定性的處理　13
1.6.1　人類的價值觀　13
1.6.2　安全性　13
1.7　本章小結　13
1.8　討論題　14
1.9　延伸閱讀　14
第2章　軟件工程的背景　15
2.1　分布式計算　15
2.1.1　虛擬機和容器　16
2.1.2　分布式軟件架構　19
2.1.3　接口風格　21
2.2　DevOps的發展背景　23
2.2.1　基礎設施即代碼　24
2.2.2　DevOps流程　27
2.3　MLOps的發展背景　27
2.4　本章小結　29
2.5　討論題　29
2.6　延伸閱讀　30
第3章　人工智能的背景　31
3.1　術語　32
3.2　選擇模型　32
3.2.1　類別的選擇　33
3.2.2　選擇模型類型　34
3.3　模型訓練的準備工作　43
3.3.1　符號型AI執行　43
3.3.2　機器學習超參數　44
3.4　本章小結　45
3.5　討論題　46
3.6　延伸閱讀　46
第4章　基礎模型　47
4.1　基礎模型概述　47
4.2　TransFormer架構　48
4.2.1　向量空間　48
4.2.2　註意力機制　49
4.2.3　TransFormer架構的其他組成
部分　49
4.3　基礎模型架構的其他方案　49
4.4　定制基礎模型　50
4.4.1　提示工程　51
4.4.2　檢索增強生成　53
4.4.3　微調　54
4.4.4　蒸餾　54
4.4.5　防護機制　55
4.4.6　更新基礎模型　56
4.5　基於基礎模型的系統設計　58
4.5.1　專用機器學習模型與基礎模型
的成本　58
4.5.2　外部基礎模型、自建基礎模型
與開放權重基礎模型　60
4.6　基礎模型與組織成熟度　61
4.6.1　數據清洗實驗　61
4.6.2　組織成熟度　62
4.7　基礎模型的挑戰　63
4.8　本章小結　63
4.9　討論題　63
4.10　延伸閱讀　64
第5章　AI模型的生命周期　65
5.1　模型開發　65
5.1.1　數據管理　66
5.1.2　特征工程　68
5.1.3　數據集劃分　69
5.1.4　生成模型　70
5.1.5　模型訓練的工具支持　71
5.2　模型構建　72
5.3　模型測試　73
5.3.1　AI評估與測試相關術語　73
5.3.2　機器學習模型評估　74
5.3.3　使用AI生成測試　75
5.3.4　可重覆性　75
5.4　發布　76
5.5　本章小結　77
5.6　討論題　77
5.7　延伸閱讀　77
第6章　系統生命周期　78
6.1　設計　78
6.1.1　協同設計與開發　79
6.1.2　使用微服務　79
6.1.3　可修改性設計　80
6.2　開發非AI模塊　80
6.3　構建　81
6.4　測試　82
6.5　發布與部署　83
6.5.1　定期發布與持續部署　84
6.5.2　部署模式　86
6.5.3　版本偏差　88
6.5.4　根據資源選擇模型　89
6.6　運行、監控與分析　90
6.6.1　監控　90
6.6.2　事故　91
6.6.3　數據漂移　92
6.6.4　動態模型更新　92
6.6.5　混沌工程　93
6.6.6　分析　93
6.7　本章小結　94
6.8　討論題　94
6.9　延伸閱讀　95
第7章　可靠性　96
7.1　基本概念　96
7.1.1　在規定的工作條件下　96
7.1.2　應對異常輸入的運行機制　97
7.1.3　適應環境變化的操作機制　97
7.1.4　故障、失效與錯誤　97
7.2　故障預防　98
7.2.1　模型選擇與準備　98
7.2.2　數據質量、模型訓練與測試　99
7.2.3　特征工程　99
7.2.4　斷路器　100
7.2.5　職責劃分　100
7.2.6　故障模式與影響分析和
故障樹分析　100
7.3　故障檢測　100
7.3.1　完全失效　101
7.3.2　可疑輸出　101
7.3.3　運行過程中的錯誤檢測　101
7.4　故障恢覆　102
7.4.1　冗餘　103
7.4.2　錯誤管理　103
7.5　本章小結　104
7.6　討論題　104
7.7　延伸閱讀　104
第8章　性能　105
8.1　效率　106
8.1.1　效率的基本概念　106
8.1.2　提高效率的方法　107
8.1.3　基礎模型的效率考慮因素　111
8.2　準確性　111
8.2.1　準確性的基本概念　111
8.2.2　提高準確性的方法　113
8.3　本章小結　117
8.4　討論題　118
8.5　延伸閱讀　118
第9章　安全性　119
9.1　基礎概念　120
9.1.1　安全性的傳統定義　120
9.1.2　人工智能系統中的攻擊　121
9.2　安全風險緩解策略　122
9.2.1　提升安全性的過程方法　123
9.2.2　增強安全性的架構方法　123
9.2.3　數據預處理的安全性增強
方法　124
9.2.4　部署流水線中的測試　124
9.2.5　系統構建過程中的安全性
增強　125
9.2.6　運維階段的安全性強化　126
9.2.7　基礎模型　127
9.3　本章小結　128
9.4　討論題　129
9.5　延伸閱讀　129
第10章　隱私與公平性　130
10.1　人工智能系統中的隱私保護　131
10.2　人工智能系統中的公平性　132
10.3　實現隱私保護　132
10.3.1　組織方法　132
10.3.2　架構與數據預處理　132
10.3.3　測試與運維　134
10.3.4　基礎模型　134
10.4　實現公平性　135
10.4.1　組織方法和工具　135
10.4.2　架構　135
10.4.3　數據與模型準備　136
10.4.4　運維　136
10.4.5　基礎模型　137
10.5　本章小結　137
10.6　討論題　137
10.7　延伸閱讀　138
第11章　可觀測性　139
11.1　基本概念　139
11.2　從可監控性演進到可觀測性　140
11.2.1　可監控性：早期階段　140
11.2.2　結構化數據與追蹤的
演進　140
11.2.3　從結構化數據到
可觀測性　141
11.3　增強可觀測性的方法　142
11.3.1　架構　142
11.3.2　數據預處理與模型構建　143
11.3.3　系統構建　144
11.3.4　系統測試　144
11.3.5　運維　145
11.4　本章小結　145
11.5　討論題　145
11.6　延伸閱讀　146
第12章　弗勞恩霍夫案例研究：
基於預訓練語言模型的
招標系統應用　147
12.1　問題情境　148
12.1.1　需求：交互、集成、數據與
質量度量　149
12.1.2　開發與運營　149
12.2　案例研究描述與配置　150
12.2.1　MLOps方法與通用
架構　150
12.2.2　機器學習解決方案的
構建　152
12.2.3　利益相關者參與　153
12.2.4　概念驗證階段　153
12.2.5　實施階段　154
12.2.6　生產階段　159
12.3　本章小結　160
12.4　要點　161
12.5　討論題　161
12.6　延伸閱讀　161
第13章　ARM Hub案例研究：面向
澳大利亞中小型企業的智能
對話系統　162
13.1　導論　162
13.2　我們的研究方法　163
13.3　大語言模型在中小型制造企業中的應用　164
13.4　面向中小型制造企業的檢索
增強型對話系統　164
13.5　ARM Hub聊天機器人架構　165
13.5.1　ETL/文檔導入　166
13.5.2　文檔預處理與嵌入　166
13.5.3　向量搜索/向量索引　167
13.5.4　使用 RAG 鏈進行信息
檢索　167
13.5.5　用戶界面與響應記錄　168
13.6　ARM Hub 中的MLOps　169
13.6.1　對於ARM Hub ，MLOps
有哪些優勢　169
13.6.2　探索性數據分析　170
13.6.3　數據預處理/導入與提示
工程　170
13.6.4　模型微調　171
13.6.5　模型審查與治理　171
13.6.6　模型推理與服務部署　172
13.6.7　模型評估　173
13.7　研究進展　174
13.8　本章小結　174
13.9　要點　175
13.10　討論題　176
13.11　延伸閱讀　176
第14章　銀行業案例研究：銀行客戶
流失預測　177
14.1　客戶流失預測　177
14.1.1　模型數據的來源與驗證　179
14.1.2　模型特征工程與選擇　180
14.1.3　模型訓練與性能評估　181
14.1.4　模型打包、部署與推理　182
14.1.5　模型性能監控　183
14.2　銀行業面臨的主要挑戰　184
14.2.1　數據隱私與安全　184
14.2.2　人工智能決策的可追溯性
與透明性　184
14.3　本章小結　184
14.4　要點　185
14.5　討論題　185
14.6　延伸閱讀　185
第15章　AI工程的未來　186
15.1　邁向DevOps 2.0　186
15.2　AI對未來的影響　187
15.2.1　工程AI系統的未來　188
15.2.2　MLOps 的未來　189
15.2.3　架構的未來發展　190
15.3　AIWare/人工智能即軟件　191
15.4　AI的可信度與人類工程師的
作用　193
15.4.1　系統級防護機制　193
15.4.2　多智能體系統的設計　193
15.4.3　對AI模型的理解與質量
控制　193
15.4.4　基礎模型的專門化與
模型外學習　194
15.5　本章小結　194
15.6　討論題　194
15.7　延伸閱讀　195
參考文獻　196