大數據與人工智能導論 第二版

姚海鵬

北京郵電大學副教授，
主要研究方向為未來網絡體系架構、網絡大數據、物聯網等。

劉韻潔

中國工程院院士，現任中國聯通科技委主任，
兼任國家信息化專家諮詢委員會委員、國務院三網融合專家組成員、
中國通信學會常務理事、中國因特網協會常務理事，
國家未來網絡試驗設施重大科技基礎設施項目負責人，
面向服務的未來因特網體系結構及機制研究973項目首席科學家，
獲得“2014中國因特網年度人物”特別貢獻獎。
 

目 錄
第 1章　緒論　1
1.1　日益增長的數據　1
1.1.1　大數據基本概念　1
1.1.2　大數據發展歷程　2
1.1.3　大數據的特徵　3
1.1.4　大數據的基本認識　3
1.2　人工智能　4
1.2.1　認識人工智能　4
1.2.2　人工智能的派別與發展史　4
1.2.3　人工智能的現狀與應用　5
1.2.4　當人工智能遇上大數據　7
1.3　大數據與人工智能的機遇與挑戰　7
1.3.1　大數據與人工智能面臨的難題　7
1.3.2　大數據與人工智能的前景　8

第 2章　數據工程　10
2.1　數據的多樣性　10
2.1.1　數據格式的多樣性　10
2.1.2　數據來源的多樣性　11
2.1.3　數據用途的多樣性　11
2.2　數據工程的一般流程　12
2.3　數據的獲取　13
2.3.1　數據來源　14
2.3.2　數據採集方法　14
2.3.3　大數據採集平臺　15
2.4　數據的存儲與數據倉庫　16
2.4.1　數據存儲　16
2.4.2　數據倉庫　16
2.5　數據的預處理技術　17
2.5.1　數據預處理的目的　17
2.5.2　數據清理　18
2.5.3　數據集成　19
2.5.4　數據變換　19
2.5.5　數據歸約　19
2.6　模型的構建與評估　20
2.6.1　模型的構建　20
2.6.2　評價指標　20
2.7　數據的可視化　22
2.7.1　可視化的發展　22
2.7.2　可視化工具　23

第3章　大數據框架　28
3.1　Hadoop簡介　28
3.1.1　Hadoop的由來　28
3.1.2　MapReduce和HDFS　28
3.2　Hadoop大數據處理框架　30
3.2.1　HDFS組件與運行機制　30
3.2.2　MapReduce組件與運行機制　33
3.2.3　YARN框架和運行機制　34
3.2.4　Hadoop相關技術　35
3.2.5　Hadoop的安裝　36
3.3　MapReduce編程　39
3.3.1　MapReduce綜述　39
3.3.2　Map階段　40
3.3.3　Shuffle階段　40
3.3.4　Reduce階段　41
3.4　Spark簡介　41
3.4.1　Spark概述　41
3.4.2　Spark基本概念　42
3.4.3　Spark生態系統　42
3.4.4　Spark組件與運行機制　44
3.4.5　Spark的安裝　44
3.5　Storm簡介　47
3.5.1　Storm概述　47
3.5.2　Storm組件和運行機制　48
3.5.3　Storm的應用　50
3.5.4　Storm的安裝　50
3.6　Flink簡介　53
3.6.1　Flink概述　53
3.6.2　Flink組件和運行機制　54
3.6.3　Flink的應用　55
3.6.4　Flink的安裝和實例講解　56

第4章　機器學習算法　58
4.1　機器學習緒論　58
4.1.1　機器學習基本概念　58
4.1.2　評價標準　59
4.1.3　機器模型的數學基礎　61
4.2　決策樹理論　64
4.2.1　決策樹模型　65
4.2.2　決策樹的訓練　67
4.2.3　本節小結　72
4.3　樸素貝葉斯理論　72
4.4　線性回歸　75
4.5　邏輯斯蒂回歸　77
4.5.1　二分類邏輯回歸模型　77
4.5.2　二分類邏輯斯蒂回歸的訓練　79
4.5.3　Softmax分類器　81
4.5.4　邏輯斯蒂回歸和softmax的應用　81
4.5.5　本節小結　82
4.6　支持向量機　82
4.6.1　間隔　83
4.6.2　支持向量機的原始形式　84
4.6.3　支持向量機的對偶形式　85
4.6.4　特徵空間的隱式映射：核函數　87
4.6.5　支持向量機拓展　88
4.6.6　支持向量機的應用　89
4.7　集成學習　89
4.7.1　基礎概念　89
4.7.2　Boosting　91
4.7.3　Bagging　94
4.7.4　Stacking　95
4.8　神經網絡　95
4.8.1　生物神經元和人工神經元　95
4.8.2　感知機　97
4.8.3　BP神經網絡　98
4.8.4　Sklearn中的神經網絡　100
4.8.5　本節小結　101
4.9　聚類　101
4.9.1　聚類思想　101
4.9.2　性能計算和距離計算　101
4.9.3　原型聚類　102
4.9.4　密度聚類　103
4.9.5　層次聚類　104
4.9.6　Sklearn中的聚類　105
4.9.7　本節小結　105
4.10　降維與特徵選擇　105
4.10.1　維數爆炸與降維　105
4.10.2　降維技術　106
4.10.3　特徵選擇技術　108
4.10.4　Sklearn中的降維　108
4.10.5　本節小結　108

第5章　深度學習簡介　110
5.1　從神經網絡到深度神經網絡　110
5.1.1　深度學習應用　110
5.1.2　深度神經網絡的困難　111
5.2　捲積神經網絡　112
5.2.1　捲積神經網絡的生物學基礎　112
5.2.2　捲積神經網絡結構　113
5.3　循環神經網絡　116
5.3.1　循環神經網絡簡介　116
5.3.2　循環神經網絡結構　116
5.4　生成對抗網絡　118
5.4.1　生成對抗網絡簡介　118
5.4.2　生成對抗網絡結構　119

第6章　強化學習簡介　124
6.1　有限馬爾可夫決策過程　125
6.1.1　目標和獎勵　125
6.1.2　回報和分幕　126
6.1.3　策略和值函數　127
6.1.4　最優策略和最優狀態值函數　127
6.2　動態規劃　129
6.2.1　策略評估　129
6.2.2　策略改進　132
6.2.3　策略疊代　133
6.2.4　價值疊代　134
6.3　時序差分學習　135
6.3.1　時序差分預測　136
6.3.2　TD(0)學習　136
6.3.3　Sarsa算法　137
6.3.4　Q學習算法　138
6.4　策略梯度方法　139
6.4.1　策略梯度定理　140
6.4.2　蒙特卡羅策略梯度　141
6.4.3　“Actor-Critic”方法　142
6.5　深度強化學習　143
6.5.1　深度Q-learning　143
6.5.2　深度確定性策略梯度　146

第7章　數據分析實例　149
7.1　基本數據分析　149
7.1.1　數據介紹　149
7.1.2　數據導入與數據初識　149
7.1.3　分類　152
7.1.4　回歸　153
7.1.5　降維　154
7.2　深度學習項目實戰　155
7.2.1　Tensorflow與Keras安裝部署　155
7.2.2　使用捲積神經網絡進行手寫數字識別　156
7.2.3　使用LSTM進行文本情感分類　158
參考文獻　162
附錄A　矩陣基礎　163
附錄B　梯度下降　166
附錄C　拉格朗日對偶性　169
附錄D　Python語法知識　172
附錄E　Java語法基礎介紹　184