深度學習原理與基於Keras編程方法

目錄

 

 

第1章概述1

1.1深度學習的發展歷史1

1.2深度學習的基本概念4

1.2.1人工智能4

1.2.2機器學習4

1.2.3深度學習7

1.2.4人工智能和機器學習、深度學習之間的關系10

1.3深度學習的應用領域11

1.3.1深度學習在計算機視覺中的應用11

1.3.2深度學習在自然語言處理中的應用14

1.3.3深度學習在語音識別中的應用15

1.3.4深度學習在棋類比賽中的應用15

1.3.5深度學習在遊戲開發中的應用16

1.3.6深度學習在醫療保健中的應用16

1.3.7深度學習在自動駕駛中的應用17

1.3.8深度學習在金融領域中的應用17

1.4深度學習程序的框架18

思考練習25

第2章神經網絡的基本原理26

2.1神經元模型和神經網絡26

2.1.1人工神經元模型26

2.1.2神經網絡28

2.2激活函數的定義和特點31

2.2.1Sigmoid激活函數32

2.2.2Tanh激活函數33

2.2.3ReLU和Leaky ReLU激活函數34

2.2.4Piecewise Linear激活函數34

2.2.5Softmax激活函數35

2.3神經網絡的訓練過程36

2.3.1樣本數據的預處理方法37

2.3.2網絡參數的初始化方法39

2.3.3前向傳播算法的原理40

2.3.4損失函數的定義41

2.3.5梯度下降方法的原理41

2.3.6反向傳播算法的原理44

2.4神經網絡的過擬合現象和解決辦法47

2.4.1過擬合現象47

2.4.2L1正則化方法和L2正則化方法47

2.4.3丟棄方法48

2.4.4提前停止方法48

思考練習49

第3章基於Keras的全連接前饋神經網絡編程方法50

3.1運行深度學習程序的硬件環境50

3.1.1運行深度學習程序的硬件類型50

3.1.2使用GPU運行深度學習程序的方法51

3.2運行深度學習程序的軟件環境55

3.2.1Anaconda的使用方法55

3.2.2CUDA Toolkit和cuDNN的安裝方法62

3.2.3TensorFlow庫和Keras庫的安裝方法71

3.2.4使用Jupyter Notebook運行深度學習程序的方法74

3.2.5使用PyCharm運行深度學習程序的方法79

3.2.6使用網站運行深度學習程序的方法83

3.3張量的特點和使用方法84

3.4基於Keras的使用全連接前饋神經網絡處理回歸問題的編程方法88

3.4.1基於Keras的使用線性回歸模型處理回歸問題的編程方法88

3.4.2基於Keras的使用單層全連接前饋神經網絡處理回歸問題的

編程方法98

3.4.3基於Keras的使用多層全連接前饋神經網絡處理回歸問題的

編程方法101

3.5基於Keras的使用全連接前饋神經網絡處理分類問題的編程方法104

3.5.1基於Keras的使用單層全連接前饋神經網絡處理分類問題的

編程方法104

3.5.2基於Keras的使用多層全連接前饋神經網絡處理分類問題的

編程方法114

思考練習117

第4章卷積神經網絡的原理與編程方法119

4.1卷積神經網絡119

4.1.1卷積神經網絡概述119

4.1.2卷積神經網絡的結構120

4.1.3卷積神經網絡應用案例121

4.2卷積計算123

4.2.1二維張量的卷積計算123

4.2.2三維張量的卷積計算128

4.2.3卷積計算的性質132

4.3池化計算134

4.3.1Valid池化134

4.3.2Same池化137

4.4基於Keras深度學習框架的卷積神經網絡編程方法139

4.4.1使用卷積神經網絡處理回歸問題的編程方法139

4.4.2使用卷積神經網絡處理分類問題的編程方法145

4.5卷積神經網絡的常用方法149

4.5.1卷積神經網絡的寬結構模型及編程方法150

4.5.2卷積神經網絡的深結構模型及編程方法154

4.5.3使用批歸一化方法的卷積神經網絡156

4.5.4使用數據增強方法的卷積神經網絡164

4.6經典的卷積神經網絡模型167

4.6.1LeNet5模型169

4.6.2AlexNet模型173

4.6.3VGG模型177

4.6.4其他經典卷積神經網絡模型180

4.7遷移學習方法185

4.7.1遷移學習的原理185

4.7.2遷移學習的編程方法186

思考練習189

第5章循環神經網絡的原理和編程方法190

5.1循環神經網絡190

5.1.1循環神經網絡簡介190

5.1.2簡單循環神經網絡的原理192

5.1.3循環神經網絡的其他結構196

5.2詞語嵌入編碼的原理和編程方法196

5.2.1語句的分詞問題196

5.2.2詞語嵌入編碼的原理198

5.3基於Keras深度學習框架的簡單循環神經網絡編程方法201

5.3.1數據集的準備202

5.3.2神經網絡模型的構建206

5.3.3神經網絡模型的編譯和擬合208

5.3.4單個樣本數據的預測210

5.4基於門控的循環神經網絡211

5.4.1長短期記憶模型網絡212

5.4.2門控循環單元網絡214

5.5基於Keras深度學習框架的長短期記憶模型網絡編程方法215

思考練習218

參考文獻219

附錄縮略詞語220