人工智能工程設計

陳統，廣東軒轅網絡科技股份有限公司與軒轅研究院創始人、董事長，主持及參與了20余項科技項目和重大專項，參與編寫出版專著3本。 黃永健，廣東軒轅網絡科技股份有限公司副總裁，軒轅研究院院長，華南理工大學特聘研究員，中國通信工業協會人工智能專業委員會會員。 馮元勇，廣東軒轅網絡科技股份有限公司科技特派員，數據與智能總架構師，軒轅研究院資深研究員，中國科學院軟件研究所研究生畢業並獲得博士學位。 彭淩西， 廣州大學教授，主要研究方向是人工智能和網絡安全。 張英，廣東省衛生經濟學會人力資源分會會長，專註醫院人力資源、文化管理等領域研究與實踐。李媛婷，廣東醫通軟件有限公司創始人兼CEO，主導開發醫療、教育、政務等領域的重點項目。

目　　錄

第 1章　概述 1

1.1　人工智能發展歷程 1

1.2　人工智能工程設計思路 3

1.3　人工智能代表性研究成果 4

1.3.1　專家系統 4

1.3.2　深度神經網絡 4

1.3.3　人工智能生成內容和大模型 5

1.4　新趨勢和新特點 6

1.4.1　通用人工智能的湧現 6

1.4.2　智能系統面臨的挑戰 6

1.5　工作模式及生命周期模型 7

1.5.1　工作模式 7

1.5.2　生命周期模型 7

1.6　具體實現 8

1.7　小結 9

第 2章　智能系統規劃 10

2.1　從傳統信息化系統升級到智能系統 10

2.2　智能系統設計方法 14

2.2.1　系統設計策略和方法 14

2.2.2　業務架構設計策略和方法 15

2.2.3　智能系統頂層設計策略 16

2.3　小結 19

第3章　智能系統需求分析 20

3.1　業務架構分析與業務問題的提出 20

3.1.1　業務價值的源頭分析 20

3.1.2　業務分類分析 21

3.1.3　業務分解分析 22

3.2　場景識別 23

3.2.1　尋找切入點 23

3.2.2　場景評估 25

3.3　可行性分析 25

3.3.1　成本分析 25

3.3.2　風險分析 26

3.3.3　效益分析 27

3.4　需求獲取與需求分析 27

3.4.1　業務流與系統邊界 27

3.4.2　需求獲取 28

3.4.3　需求分析 28

3.5　案例分析：“學生課堂情緒預警管理”系統 30

3.5.1　問題提出 30

3.5.2　整理業務 30

3.5.3　尋找切入點 30

3.5.4　需求獲取 31

3.5.5　需求分析 31

3.6　小結 33

第4章　智能系統架構設計 34

4.1　架構設計的八項原則 34

4.2　智能系統總體架構設計 35

4.3　以算力為基礎的IaaS平臺 36

4.3.1　算力基礎設施 37

4.3.2　算力資源調度與管理平臺 38

4.3.3　算力加速與服務平臺 38

4.4　以數據為基礎的PaaS平臺 39

4.5　以大模型為基礎的MaaS平臺 40

4.6　面向智能應用的SaaS平臺 42

4.7　智能系統架構設計中要註意的問題 44

4.7.1　架構設計中的層次關系與處理策略 44

4.7.2　數據流設計 44

4.7.3　接口設計 45

4.8　智能系統開發、部署和運維 47

4.9　智能系統倫理、安全和隱私保護 48

4.10　小結 48

第5章　智能系統算力平臺設計 49

5.1　算力設計原則 49

5.2　算力資源識別 50

5.2.1　計算算力識別 50

5.2.2　存儲算力識別 51

5.2.3　網絡算力識別 51

5.3　算力資源需求分析 51

5.3.1　數據平臺對算力資源的需求 51

5.3.2　算法平臺對算力資源的需求 52

5.3.3　應用平臺對算力資源的需求 53

5.3.4　訓練平臺對算力資源的需求 53

5.3.5　運維管理系統對算力資源的需求 54

5.3.6　隱私計算、安全和倫理對算力資源的需求 55

5.4　算力資源調度和管理平臺 56

5.4.1　部署應用 56

5.4.2　選擇雲服務供應商 56

5.4.3　租用算力資源 57

5.4.4　資源調度和管理 57

5.4.5　安全和合規 57

5.5　算力加速技術與應用 57

5.5.1　硬件加速 57

5.5.2　軟件優化 58

5.5.3　虛擬化技術和容器化技術 59

5.6　算力資源管理和服務管理 59

5.6.1　算力資源監控 59

5.6.2　算力資源調度 60

5.6.3　算力資源來源 60

5.6.4　算力資源計費管理 60

5.6.5　算力資源服務管理 61

5.7　算力網絡設計 61

5.7.1　網絡拓撲設計 61

5.7.2　帶寬管理 61

5.7.3　網絡安全防護 61

5.8　小結 62

第6章　智能系統數據平臺設計 63

6.1　數據平臺的構成 64

6.2　數據集的構建 65

6.2.1　數據采集策略 65

6.2.2　數據集劃分方法 65

6.2.3　數據集質量評估 66

6.3　數據存儲與數據庫 67

6.3.1　面向智能系統的數據庫選型 67

6.3.2　數據庫規劃與設計 69

6.3.3　數據庫性能優化 70

6.3.4　數據庫安全與隱私保護 70

6.4　數據清洗 71

6.4.1　數據去重 71

6.4.2　缺失值處理 71

6.4.3　異常值處理 72

6.4.4　數據標準化與歸一化 72

6.5　數據標註 72

6.5.1　標註流程 73

6.5.2　標註方法 74

6.6　數據集管理 75

6.6.1　數據集版本控制 75

6.6.2　數據集生命周期管理 76

6.6.3　數據集質量管理 76

6.7　小結 77

第7章　智能系統算法設計 78

7.1　小模型場景下的算法設計 78

7.1.1　問題導向的設計理念 78

7.1.2　分類問題 79

7.1.3　回歸問題 80

7.1.4　分組問題 81

7.1.5　生成問題 83

7.1.6　預測問題 84

7.2　大模型微調技術 85

7.2.1　LoRA 85

7.2.2　前綴調優 86

7.2.3　提示調優 87

7.2.4　P調優 88

7.3　算法優化技巧 89

7.3.1　模型簡化和壓縮 89

7.3.2　高效的訓練策略 90

7.3.3　超參數調優 91

7.3.4　算法並行化和分布式訓練 91

7.4　小結 92

第8章　智能系統開發、部署和運維 93

8.1　智能體構件設計 93

8.1.1　智能體構件的職責規約 94

8.1.2　智能體構件的數據實現 95

8.1.3　智能體構件的業務流轉接口實現 96

8.1.4　智能體構件的交互實現 97

8.2　系統開發環境搭建工具 98

8.2.1　數據處理工具和框架 98

8.2.2　智能報告工具 98

8.2.3　開發工具 98

8.3　系統測試與質量保證 99

8.3.1　智能系統質量要素的獨特性 99

8.3.2　測試需求管理 99

8.3.3　測試方案生成 101

8.3.4　測試代碼編寫與測試自動化 101

8.3.5　測試報告生成 102

8.4　部署與交付 102

8.4.1　部署策略與流程 102

8.4.2　試運行 103

8.4.3　持續集成與持續部署 103

8.5　系統運維 104

8.5.1　運維策略與措施 104

8.5.2　系統監控與報警 104

8.5.3　故障排除與恢復 104

8.6　系統優化 105

8.6.1　需求預期管理 105

8.6.2　需求變更管理 105

8.6.3　系統優化實現技術 105

8.6.4　個性化及個性化版本管理 106

8.7　小結 106

第9章　智能系統倫理、安全和隱私保護策略 107

9.1　倫理考慮與指南 107

9.1.1　人工智能的倫理挑戰 108

9.1.2　倫理指南與實踐 108

9.1.3　社會責任與參與 109

9.2　安全性設計與應對策略 110

9.2.1　安全威脅與風險 110

9.2.2　安全性設計原則 111

9.2.3　應對策略與實踐 111

9.3　隱私保護與應對策略 114

9.3.1　隱私挑戰和風險 114

9.3.2　應對策略 115

9.4　小結 117

第 10章　行業應用 118

10.1　概述 118

10.1.1　大模型+營銷 118

10.1.2　大模型+辦公 119

10.1.3　大模型+遊戲 120

10.1.4　大模型+影視 121

10.1.5　大模型+制造 122

10.1.6　大模型+教育 122

10.2　醫療行業典型案例 123

10.3　金融行業典型案例 124

10.4　小結 126

第 11章　總結和展望 127

11.1　人工智能在應用中所面臨的挑戰 127

11.2　人工智能技術發展的趨勢及其對軟件開發的影響 129

11.2.1　技術發展方向 129

11.2.2　應用領域的拓展 134

11.2.3　大模型對軟件開發的影響 136

11.3　小結 138