深度學習原理與應用

本書系統性地介紹了深度學習的原理、關鍵技術及相關應用，首先從基本概念、必備的線性代數、微積分、概率統計等數學知識等入手，這些預備知識可幫助讀者更好地理解深度學習技術。接著對深度學習方法和技術進行了詳細介紹，包括捲積神經網絡、反饋神經網絡、循環神經網絡、生成對抗網絡等，針對每個技術都力圖用簡單易懂的語言、詳盡的公式推導說明和生動的圖形展示知識點，並附上應用樣例，便於讀者將概念、原理、公式和應用融會貫通。本書還考慮到初學者盡快入門的需求，對深度學習開發工具和處理技巧進行了細致的梳理和總結。最後本書對深度學習應用前景、發展趨勢、未來研究趨勢等進行了分析，具有一定前瞻性。本書涵蓋了大量深度學習的技術細節，適用於不同層次的讀者。

1984年畢業於南京大學數學系，曾任中國電科第二十八研究所副所長、中國電科通信事業部副總經理、中國司法大數據研究院總經理等職，主持和參加研製了十餘項重大工程。
獲電子部科學技術進步一等獎1項，中國電子科技集團公司科學技術獎特等獎2項，中國電子科技集團公司科學技術獎一等獎3項。
2005年獲江蘇省有突出貢獻的中青年專家稱號。
發表論文20餘篇，獲發明專利1項，受理髮明申請專利2項，出版學術專著1部，國家電子行業標準1部。

目錄
第1章深度學習概述1
1．1什麼是深度學習1
1．2為什麼會出現深度學習6
1．3深度學習方法的分類8
1．4人工神經網絡的發展簡史9
思考題15

第2章必備的數學知識16
2．1線性代數16
2．1．1矩陣16
2．1．2向量21
2．2微積分22
2．2．1微分22
2．2．2積分26
2．3概率統計27
2．3．1隨機事件27
2．3．2概率的定義28
2．3．3條件概率和貝葉斯公式28
2．3．4常用概率模型29
2．3．5隨機變量與概率分佈30
2．3．6隨機變量的數字特徵31
2．3．7典型的概率分佈33
2．3．8統計與概率36
2．3．9樣本與總體37
2．3．10統計量與抽樣分佈37
2．3．11參數估計38

第3章神經網絡40
3．1生物神經元40
3．2 MP模型41
3．3前饋神經網絡42
3．4感知器43
3．4．1單層感知器43
3．4．2多層感知器45
3．5神經網絡的學習46
3．5．1數據驅動46
3．5．2損失函數47
3．5．3激活函數50
3．5．4似然函數55
3．5．5梯度與梯度下降法58
3．5．6學習率61
3．5．7學習規則62
3．6誤差反向傳播算法63
3．7隨機梯度下降法69
3．8神經網絡學習算法的基本步驟70
思考題71

第4章卷積神經網絡72
4．1卷積神經網絡的結構72
4．2輸入層76
4．3卷積層76
4．4池化層82
4．5全連接層84
4．6輸出層84
4．7卷積神經網絡的訓練方法85
4．8卷積神經網絡的可視化88
4．8．1特徵圖可視化88
4．8．2卷積核可視化94
4．8．3類激活圖可視化97
4．8．4可視化工具（Deep Visualization Toolbox） 98
4．9典型的捲積神經網絡99
4．9．1 LeNet神經網絡99
4．9．2 AlexNet 103
4．9．3 VGGNet 104
4．9．4 GoogLeNet 106
4．9．5 ResNet 108
4．9．6基於AlexNet的人臉識別108
思考題118

第5章反饋神經網絡119
5．1 Hopfield神經網絡119
5．2離散型Hopfield神經網絡121
5．2．1離散型Hopfield神經網絡的結構121
5．2．2離散型Hopfield神經網絡的狀態變化規律122
5．2．3離散型Hopfield神經網絡的穩態判別函數123
5．2．4離散型Hopfield神經網絡的聯想記憶126
5．2．5離散型Hopfield神經網絡的模式識別例子127
5．2．6離散型Hopfield神經網絡的權重設置128
5．2．7離散型Hopfield神經網絡的不足130
5．3連續型Hopfield神經網絡131
5．3．1連續型Hopfield神經網絡結構及其穩定性分析131
5．3．2連續型Hopfield神經網絡解決旅行商問題133
5．4玻爾茲曼機135
5．3受限玻爾茲曼機141
5．4對比散度算法146
5．5深度信念網絡148
思考題150

第6章自編碼器151
6．1自編碼器151
6．2降噪自編碼器153
6．3稀疏自編碼器155
6．4棧式自編碼器156
6．5變分自編碼器158
思考題161

第7章循環神經網絡162
7．1循環神經網絡概述162
7．2隱馬爾可夫鏈163
7．3循環神經網絡架構164
7．4 LSTM 166
7．4．1基於LSTM預測彩票170
7 ．4．2基於LSTM生成古詩詞180
思考題188

第8章生成對抗網絡189
8．1生成對抗網絡概述189
8．2生成對抗網絡190
8．3條件生成對抗網絡193
8．4深度對抗生成網絡195
8．5基於DCGAN生成人臉圖片196
8．5．1準備數據集196
8．5．2構建模型197
思考題204

第9章學習有關的處理技巧205
9．1訓練樣本205
9．2數據預處理206
9．3 Dropout與DropConnect 209
9．4正則化212
9．5權重的初值設置213
思考題214

第10章深度學習開發工具215
10．1 TensorFlow 215
10．1．1安裝TensorFlow 216
10．1．2 TensorFlow運行環境217
10．1．3 TensorFlow基本要素218
10．1．4 TensorFlow運行原理219
10．1．5 TensorFlow編程識別手寫數字實例221
10．1．6 TensorBoard可視化工具225
10．2 Caffe 226
10．2．1 Caffe的安裝228
10．2．2 Caffe的應用實例231
思考題232

第11章自動化機器學習233
11．1 AutoML簡介234
11．2 AutoML與傳統方法的對比234
11．3現有AutoML平台產品235
11．3．1谷歌Cloud AutoML 235
11．3．2百度EasyDL 235
11． 3．3阿里雲PAI 238

第12章深度學習的未來242
12．1物體識別242
12．2物體檢測243
12．3圖像分割251
12．4回歸問題253
12．4．1人體姿態估計253
12．4．2面部器官檢測255
12．5圖像標註生成255
12．6圖像風格變換257
12．7自動駕駛258
12．8強化學習259
12．9深度學習的最新應用260
12．9．1 AlphaGo圍棋機器人260
12．9．2人機對話262
12．9．3視頻換臉263
12．9．4無人機自動控制265
12．9．5機器人行動協同267
12．9．6醫療自動診斷269
12．10深度學習的發展趨勢分析271
12．10．1深度學習技術現狀271
12．10．2深度學習發展趨勢271

參考答案273
參考文獻277