大數據應用軟件工程：數據驅動的軟件開發實踐

目錄

第一部分數據時代呼喚大數據軟件

第1章從大數據分析到大數據應用軟件31.1什麼是大數據分析3

1.1.1什麼是大數據3

1.1.2從大數據到大數據分析4

1.2大數據分析案例5

1.2.1回歸預測: 大數據預言秋季流感5

1.2.2精準分類: Visa捕獲欺詐分子6

1.2.3個性推薦: 千人千面的智能購物體驗7

1.2.4智能生成: 內容創作的智能飛躍7

1.3進化: 從“手工作坊”到大數據分析軟件化8

1.3.1大數據分析1.0時代: “手工作坊”式大數據分析8

1.3.2大數據分析2.0時代: 大數據分析工程化10

1.3.3大數據分析3.0時代: 大數據分析軟件化10

第2章大數據應用軟件工程新思維12

2.1工程——科學的實際應用12

2.1.1工程化方法的起源12

2.1.2軟件工程的興起13

2.1.3軟件工程的“七條原理”與“七個階段”14

2.2大數據應用軟件開發的工程化之需16

2.2.1大數據應用軟件開發之困與難16

2.2.2用工程思維破解大數據應用軟件開發難題17

2.3大數據應用軟件開發與傳統軟件開發的“同”與“不同”19

2.3.1相同之處: 質量與時效的嚴苛保障19

2.3.2不同之處: 數據驅動與以數據為核心21

2.4“大數據應用軟件開發”應需而生23

2.4.1什麼是大數據應用軟件開發23

2.4.2大數據應用軟件開發原則24

2.4.3大數據應用軟件開發的能力需求24

目錄〖3〗第3章大數據應用軟件開發的“七種兵器”27

3.1感傳一體: 數據采集27

3.1.1數據采集定義28

3.1.2數據采集面臨的挑戰28

3.1.3數據采集技術29

3.2多模海量: 數據存儲30

3.2.1數據存儲的定義30

3.2.2數據存儲面臨的挑戰30

3.2.3數據存儲技術31

3.3去蕪存菁: 數據處理與融合32

3.3.1數據處理與融合的定義32

3.3.2數據處理與融合面臨的挑戰32

3.3.3數據處理與融合技術33

3.4直達根本: 特征工程34

3.4.1特征工程的定義34

3.4.2特征工程面臨的挑戰34

3.4.3特征工程技術35

3.5洞察玄機: 數據分析35

3.5.1數據分析的定義35

3.5.2數據分析面臨的挑戰36

3.5.3數據分析技術36

3.6明察秋毫: 數據可視化36

3.6.1數據可視化的定義37

3.6.2數據可視化面臨的挑戰37

3.6.3數據可視化技術38

3.7數鏈融合: 數據安全38

3.7.1數據安全的定義39

3.7.2數據安全面臨的挑戰39

3.7.3數據安全技術39

第二部分大數據應用軟件工程

第4章大數據應用軟件工程新範式434.1傳統軟件開發過程的範式轉移43

4.1.1傳統軟件開發範式分析43

4.1.2向大數據應用軟件開發的範式轉移45

4.2敏捷並行化大數據應用軟件工程範式48

4.2.1大數據應用軟件工程的主要流程48

4.2.2大數據應用軟件開發過程模型49

4.2.3敏捷並行化開發範式54

4.3案例: 用電大數據負荷預測系統56

4.3.1大數據賦能電力負荷預測56

4.3.2案例特點與開發流程58

第5章大數據需求分析61

5.1需求的來源與特點61

5.1.1業務功能→數據→需求61

5.1.2大數據背景下需求分析的特點62

5.2大數據需求分析的過程63

5.2.1大數據需求分析內容63

5.2.2需求確認、驗證和審查65

5.2.3需求規格說明書的制定66

5.3需求分析常用工具68

5.3.1需求引導工具——思維導圖69

5.3.2數據描述工具——數據流圖69

5.4案例分析70

5.4.1案例需求提出70

5.4.2案例需求分析71

5.4.3案例需求確認、驗證和審查78

第6章數據準備80

6.1數據集成80

6.1.1數據格式調查準備81

6.1.2數據源調查準備82

6.1.3數據接入與采集85

6.2數據處理86

6.2.1數據填充87

6.2.2數據去重87

6.2.3數據轉換88

6.2.4數據校驗88

6.2.5數據關聯90

6.3數據探索和數據評估91

6.3.1數據探索91

6.3.2數據評估92

6.4案例分析93

6.4.1案例數據集成94

6.4.2案例數據處理95

6.4.3案例數據探索和評估96

第7章大數據特征工程100

7.1特征構建100

7.1.1分類數據編碼100

7.1.2特征離散化102

7.1.3文本向量化102

7.1.4時間序列特征構建104

7.2特征選擇105

7.2.1過濾法106

7.2.2包裝法109

7.2.3嵌入法111

7.3特征降維114

7.3.1主成分分析114

7.3.2核主成分分析115

7.3.3線性判別分析115

7.3.4非負矩陣分解116

7.3.5截斷奇異值分解117

7.4特征衍生117

7.4.1多項式特征衍生118

7.4.2機器學習特征衍生118

7.4.3神經網絡特征衍生119

7.5特征分析工具120

7.5.1常用Python特征工程類庫120

7.5.2自動化特征工程工具Featuretools121

7.5.3處理時間序列的特征工程工具Tsfresh122

7.5.4分類編碼特征工具Categorical Encoding123

7.5.5全相關特征選擇工具boruta_py123

7.6案例分析124

7.6.1負荷特征提取與特征選擇124

7.6.2特征衍生與特征數據集構建130

第8章大數據建模訓練134

8.1模型構建工具134

8.1.1數據分析語言工具134

8.1.2集成學習工具136

8.1.3深度學習框架138

8.2算法選擇145

8.2.1傳統機器學習算法145

8.2.2集成學習算法172

8.2.3深度學習算法176

8.3模型評估指標180

8.3.1準確率和錯誤率180

8.3.2精確率和召回率180

8.3.3PR曲線和F1score181

8.3.4ROC曲線182

8.3.5AUC曲線183

8.3.6回歸問題的性能度量183

8.3.7推薦系統常見評估指標184

8.3.8其他評估指標185

8.4模型訓練186

8.4.1模型訓練準備186

8.4.2模型計算與參數優化189

8.4.3模型超參數選擇193

8.4.4異常處理方式195

8.5案例分析198

8.5.1負荷預測模型構建198

8.5.2負荷預測模型分析205

第9章大數據模型反饋優化207

9.1模型性能監控和評估208

9.1.1指標收集208

9.1.2綜合評分208

9.1.3評估報告209

9.2模型更新與疊代209

9.2.1模型重訓209

9.2.2超參數調優209

9.2.3遷移學習210

9.2.4新模型開發210

9.3模型版本管理210

9.3.1版本管理流程210

9.3.2版本管理工具211

9.4案例分析212

9.4.1電力檔案拓撲數據對齊優化模型212

9.4.2短期負荷預測模型修復215

第10章大數據模型即服務219

10.1模型服務化工具220

10.2模型服務開發221

10.2.1模型服務化改造221

10.2.2模型服務接口設計223

10.2.3模型服務參數配置和模型測試226

10.3模型服務部署和應用228

10.3.1模型部署和測試工具228

10.3.2模型服務部署流程230

10.3.3模型服務高級應用231

10.4案例分析232

10.4.1模型服務化工具選擇232

10.4.2模型服務化開發233

10.4.3模型服務化部署和應用234

第11章大數據可視化235

11.1可視化基本原理及流程235

11.1.1可視化基本原理235

11.1.2數據編碼及映射236

11.1.3可視化設計237

11.1.4可視化流程239

11.2大數據模型可視化的常見形式240

11.3常用可視化工具240

11.3.1ECharts240

11.3.2Python可視化241

11.3.3D3.js242

11.4案例分析243

第三部分從實踐到未來: 大數據應用軟件的實施與展望

第12章大數據行業應用實施方法249

12.1平臺搭建及優化249

12.1.1平臺規劃及搭建249

12.1.2平臺參數優化261

12.2模型部署和測試268

12.2.1模型部署流程268

12.2.2參數配置和測試280

12.3故障排查和處理282

12.3.1故障排查方法282

12.3.2常見異常問題283

12.4模型性能監控291

12.4.1模型評估指標檢測292

12.4.2數據協變量偏移檢測292

12.4.3數據標簽偏移檢測293

12.4.4數據概念偏移檢測294

12.4.5運行效率監控294

12.4.6實時預警監控295

第13章大數據應用軟件行業實施案例296

13.1全域智能的輪胎智能制造大數據可視化監控分析平臺297

13.1.1背景297

13.1.2應用實現297

13.1.3應用成效307

13.2多源數據融合的待遇資格智能認證大數據分析平臺308

13.2.1背景308

13.2.2應用實現308

13.2.3應用成效310

13.3個性化精準匹配的智慧人社主動服務平臺311

13.3.1背景311

13.3.2應用實現312

13.3.3應用成效317

13.4數據智能驅動的醫保基金分析平臺317

13.4.1背景317

13.4.2應用實現318

13.4.3應用成效323

第14章大數據應用軟件未來的發展趨勢324

14.1數據巨人: 大模型的崛起324

14.2數據之盾: 區塊鏈技術的重要性325

14.3數據之夢: 跨界融合的創新之路326

參考文獻328