深度學習從入門到精通

本書基於當前流行的深度學習框架之一——Keras，從新手的角度出發，詳細講解Keras的原理，力求幫助讀者實現Keras從入門到精通。全書共9章，主要內容包括初識深度學習、深度學習的數據預處理技術、使用Keras開發深度學習模型、捲積神經網絡及圖像分類、循環神經網絡在文本序列中的應用、自編碼器、生成式對抗網絡、模型評估及模型優化，以及深度學習實驗項目。本書內容由淺入深、語言通俗易懂，從基本原理到案例應用、從基礎算法到對復雜模型的剖析，讓讀者在循序漸進的學習中理解Keras。

本書可作為高等院校電腦、通信、大數據等專業相關課程的教材，也可作為人工智能、圖像處理、電腦等方向的科研人員和深度學習技術愛好者的參考書。

谢佳标 曾就职于平安人寿担任资深数据挖掘专家，目前供职于世界百强企业，负责数据中台、数据化运营、金融科技、创新规划等项目及前沿研究。有13年的数据挖掘与分享相关工作的经验；曾经从事过电商、电购、电力、游戏、金融和物流等行业，熟悉不同行业的数据特点。R语言资深玩家，熟悉Python及深度学习Keras框架，有丰富的大数据挖掘和可视化实战经验。2017-2021年被评为微软数据科学和AI方向最具价值专家(微软MVP)。 书籍著作：《R语言与数据挖掘》、《数据实践之美：31位大数据专家的方法、技术与思想》《R语言游戏数据分析与挖掘》、《Keras深度学习：入门、实战与进阶》、《R语言数据分析与挖掘（微课）》

第 1章 初識深度學習　1

1.1　深度學習基礎理論　1

1.1.1　機器學習與深度學習　1

1.1.2　神經網絡基礎　2

1.1.3　常用深度學習模型　5

1.2　主流深度學習框架介紹　6

1.2.1　TensorFlow　6

1.2.2　PyTorch　7

1.3　深度學習開發環境搭建　7

1.3.1　硬件環境準備　7

1.3.2　軟件環境準備　7

1.3.3　安裝Anaconda　9

1.3.4　安裝TensorFlow 2　13

1.4　構建深度學習模型　14

1.4.1　MNIST數據集概述　14

1.4.2　數據預處理　15

1.4.3　構建及編譯模型　16

1.4.4　模型訓練　17

1.4.5　模型評估及預測　19

【本章知識結構圖】　21

【課後習題】　22

第　2章 深度學習的數據預處理技術　23

2.1　數據預處理技術　23

2.1.1　結構化數據預處理　23

2.1.2　非結構化數據預處理　25

2.2　利用OpenCV進行圖像預處理　26

2.2.1　讀取、顯示和保存圖像　26

2.2.2　圖像像素的獲取和編輯　28

2.2.3　圖像幾何變換　29

2.2.4　色彩通道分離和融合　31

2.2.5　顏色空間轉換　31

2.3　利用TensorFlow進行圖像預處理　32

2.3.1　圖像縮放　32

2.3.2　圖像裁剪　33

2.3.3　圖像色彩調整　34

2.3.4　圖像翻轉　35

2.4　利用jieba進行文本預處理　36

2.4.1　jieba分詞　36

2.4.2　添加自定義詞典　37

2.4.3　關鍵詞提取　39

2.4.4　詞性標註　40

2.5　利用Keras進行文本預處理　40

2.5.1　Unicode編碼　40

2.5.2　分詞器　41

2.5.3　獨熱編碼　41

2.5.4　填充序列　42

2.6　案例實訓：對業務員工作日報進行文本處理　43

【本章知識結構圖】　45

【課後習題】　46

第3章　使用Keras開發深度學習模型　48

3.1　Keras模型生命周期　48

3.1.1　定義網絡　48

3.1.2　編譯網絡　51

3.1.3　訓練網絡　51

3.1.4　評估網絡　52

3.1.5　做出預測　52

3.2　Keras模型類型　52

3.2.1　順序型API模型　52

3.2.2　函數式API模型　53

3.3　模型可視化　55

3.3.1　網絡拓撲可視化　55

3.3.2　TensorBoard可視化　55

3.4　回調函數　58

3.4.1　回調函數簡介　59

3.4.2　使用回調函數尋找最優模型　59

3.5　模型保存及加載　61

3.5.1　使用SavedModel格式保存及加載模型　61

3.5.2　使用JSON格式保存及加載模型　63

3.6　案例實訓：使用Keras預測泰坦尼克號上的旅客是否生存　64

【本章知識結構圖】　68

【課後習題】　68

第4章　捲積神經網絡及圖像分類　70

4.1　捲積神經網絡原理及實現　70

4.1.1　捲積神經網絡原理　71

4.1.2　捲積層原理　72

4.1.3　捲積層TensorFlow實現　74

4.1.4　池化層原理　76

4.1.5　池化層TensorFlow實現　78

4.1.6　全連接層　79

4.2　遷移學習　79

4.2.1　遷移學習概述　79

4.2.2　使用Keras Applications實現遷移學習　81

4.2.3　使用TensorFlow Hub實現遷移學習　84

4.2.4　使用遷移學習實現花卉圖像分類器　85

4.3　深度強化學習　90

4.3.1　強化學習基本概念　91

4.3.2　深度強化學習思路　91

4.3.3　Gym平臺　92

4.3.4　使用Keras-RL2的DQN算法實現 CartPole游戲　93

4.4　案例實訓：對CIFAR-10數據集進行圖像識別　95

【本章知識結構圖】　99

【課後習題】　99

第5章　循環神經網絡在文本序列中的應用　101

5.1　循環神經網絡　101

5.1.1　詞嵌入　102

5.1.2　簡單循環網絡原理及其Keras實現　106

5.1.3　長短期記憶網絡原理及其Keras實現　109

5.1.4　門控循環單元原理及其Keras實現　110

5.2　Seq2Seq模型　111

5.2.1　Seq2Seq原理　111

5.2.2　註意力機制　112

5.2.3　利用Keras實現Seq2Seq　113

5.2.4　利用TensorFlow Addons實現

Seq2Seq　116

5.3　Transformer模型　119

5.3.1　Transformer模型原理　120

5.3.2　利用KerasNLP實現Transformer　122

5.4　案例實訓：中文文本分類　122

【本章知識結構圖】　125

【課後習題】　126

第6章　自編碼器　127

6.1　簡單自編碼器　127

6.1.1　自編碼器基本結構　127

6.1.2　簡單自編碼器的Keras實現　129

6.2　稀疏自編碼器　132

6.2.1　稀疏自編碼器基本原理　132

6.2.2　稀疏自編碼器的Keras實現　132

6.3　堆棧自編碼器　134

6.3.1　堆棧自編碼器基本原理　134

6.3.2　堆棧自編碼器的Keras實現　136

6.4　捲積自編碼器　137

6.4.1　捲積自編碼器基本原理　137

6.4.2　捲積自編碼器的Keras實現　137

6.5　降噪自編碼器　139

6.5.1　降噪自編碼器基本原理　139

6.5.2　降噪自編碼器的Keras實現　139

6.6　循環自編碼器　142

6.6.1　循環自編碼器基本原理　142

6.6.2　循環自編碼器的Keras實現　143

6.7　案例實訓：使用自編碼器建立推薦系統　144

【本章知識結構圖】　148

【課後習題】　148

第7章　生成式對抗網絡　150

7.1　生成式對抗網絡概述　150

7.1.1　生成式對抗網絡基本結構　150

7.1.2　生成式對抗網絡常見類型　151

7.2　生成式對抗網絡Keras實現　152

7.2.1　GAN的Keras實現　152

7.2.2　DCGAN的Keras實現　157

7.3　案例實訓：使用GAN和DCGAN

生成數字5圖像　160

【本章知識結構圖】　164

【課後習題】　164

第8章　模型評估及模型優化　167

8.1　模型評估　167

8.1.1　數值預測評估方法　167

8.1.2　概率預測評估方法　169

8.2　模型優化　172

8.2.1　基於梯度下降的優化　172

8.2.2　自適應學習率算法　174

8.2.3　網格搜索　177

8.2.4　防止模型過擬合　178

8.3　在tf.keras中進行模型優化　181

8.3.1　在tf.keras中使用Scikit-learn優化模型　181

8.3.2　使用KerasTuner進行超參數調節　181

8.4　案例實訓1：使用Scikit-learn

優化CIFAR-10分類模型　181

8.5　案例實訓2：使用KerasTuner

優化CIFAR-10分類模型　184

【本章知識結構圖】　189

【課後習題】　189

第9章　深度學習實驗項目　191

9.1　TensorFlow Datasets實驗　191

9.2　tf.data定義高效的輸入流水線　192

9.3　在tf.keras中使用Scikit-learn優化模型　193

9.4　ImageDataGenerator類圖像增強　193

9.5　CNN模型識別手寫數字　194

9.6　CNN模型檢測駕駛員睡意　195