深度學習全書 — 公式 + 推導 + 代碼 + TensorFlow 全程案例

《深度學習全書——公式+推導+代碼+TensorFlow全程案例》共有15章，分為5部分，第一篇說明深度學習的概念，包括數理基礎，特點是結合編程解題，加深讀者印象，第二篇說明TensorFlow的學習地圖，從張量、自動微分、梯度下降乃至神經層的實踐，逐步解構神經網絡，第三篇介紹CNN算法、影像應用、轉移學習等，第四篇則進入自然語言處理及語音識別的領域，介紹RNN/BERT/Transformer算法、相關應用等，最後，介紹了強化學習的基礎知識，包括馬爾可夫決策過程、動態規劃、蒙特卡洛、Q Learning算法，當然，還有相關案例實踐。

 

 

 

目 錄

 

 

 

  第一篇 深度學習導論

 

 

第 1 章   深度學習導論 2

1-1 人工智能的三波浪潮 2

1-2 AI 的學習地圖 4

1-3 機器學習應用領域 5

1-4 機器學習開發流程 6

1-5 開發環境安裝 7

第 2 章   神經網絡原理 12

2-1 必備的數學與統計知識 12

2-2 線性代數 14

 

 

 

 

 

2-3 微積分 24

 

2-3-5    積分 37

2-4 概率與統計 41

 

2-4-1 數據類型 ……………… 42

2-4-2 抽樣 …………………… 43

2-4-3 基礎統計 ……………… 46

2-4-4 概率 …………………… 53

2-4-5 概率分佈 ……………… 59

2-4-6 假設檢定 ……………… 69

2-5 線性規劃 78

2-6 普通最小二乘法與最大似然

估計法 81

2-6-1 普通最小二乘法 81

2-6-2 最大似然估計法 84

2-7 神經網絡求解 88

 

 

2-3-1 微分 …………………… 24

2-3-2 微分定理 ……………… 29

2-3-3 偏微分 ………………… 32

2-3-4 簡單線性回歸求解 …… 36

 

深度學習全書——公式 + 推導 + 代碼 +TensorFlow 全程案例

 

 

  第二篇 TensorFlow 基礎篇

 

 

第 3 章 TensorFlow 架 構 與

主要功能 98

3-1 常用的深度學習框架 98

3-2 TensorFlow 架構 99

3-3 張量運算 100

3-4 自動微分 105

3-5 神經網絡層 109

第 4 章   神經網絡實踐 114

4-1 撰寫第一個神經網絡程序 114

4-1-1 最簡短的程序 114

4-1-2 程序強化 115

4-1-3    實驗 124

4-2 Keras 模型種類 129

4-2-1 Sequential model 129

4-2-2 Functional API 133

4-3  神 經層 135

4-3-1 完全連接神經層 135

4-3-2 Dropout Layer 137

4-4 激活函數 137

4-5 損失函數 142

4-6  優 化器 144

4-7 效果衡量指標 148

4-8 超參數調校 152

第 5 章 TensorFlow 其他常用

指令 156

5-1 特徵轉換 156

5-2 模型存盤與加載 157

5-3 模型匯總與結構圖 159

 

5-4 回調函數 161

5-4-1 EarlyStopping

Callbacks 162

5-4-2 ModelCheckpoint

Callbacks 163

5-4-3 TensorBoard Callbacks … 164

5-4-4 自定義 Callback 165

5-4-5 自定義 Callback 應用 … 168

5-4-6    總結 169

5-5 TensorBoard 169

5-5-1    TensorBoard 功能 169

5-5-2    測試 171

5-5-3    寫入圖片 172

5-5-4  直 方圖 173

5-5-5 效果調校 174

5-5-6 敏感度分析 175

5-5-7    總結 176

5-6 模型部署與 TensorFlow

Serving 176

5-6-1 自行開發網頁程序 176

5-6-2 TensorFlow Serving 178

5-7 TensorFlow Dataset 180

5-7-1 產生 Dataset 180

5-7-2 圖像 Dataset 184

5-7-3 TFRecord 與 Dataset … 186

5-7-4 TextLineDataset 189

5-7-5 Dataset 效果提升 191

第 6 章   捲積神經網絡 193

6-1    捲積神經網絡簡介 193

 

IV

 

目 錄

 

 

 

6-2    捲積 194

6-3    各式捲積 197

6-4  池 化層 201

6-5 CNN 模型實踐 202

6-6 影像數據增補 206

6-7 可解釋的 AI 211

 

第 7 章   預先訓練的模型   ………219

7-1 預先訓練的模型簡介 219

7-2 採用完整的模型 221

7-3 採用部分模型 225

7-4 轉移學習 229

7-5 Batch Normalization 說明 233

 

  第三篇 進階的影像應用

 

第 8 章   目標檢測 238

8-1 圖像辨識模型的發展 238

8-2 滑動窗口 239

8-3 方向梯度直方圖 242

8-4 R-CNN 目標檢測 252

8-5 R-CNN 改良 263

8-6 YOLO 算法簡介 266

8-7 YOLO 環境配置 269

8-8 以 TensorFlow 實踐 YOLO

模型… 274

8-9 YOLO 模型訓練 280

8-10 SSD 算法 285

8-11 TensorFlow Object Detection

API 285

8-12 目標檢測的效果衡量指標 294

8-13    總結 295

第 9 章   進階的影像應用 296

9-1 語義分割介紹 296

9-2 自動編碼器 297

9-3 語義分割實踐 305

9-4 實例分割 311

 

9-5 風格轉換—人人都可以是

畢加索 315

9-6 臉部辨識 327

9-6-1 臉部檢測 327

9-6-2 MTCNN 算法 332

9-6-3 臉部追蹤 334

9-6-4 臉部特徵點檢測 340

9-6-5 臉部驗證 346

9-7 光學文字辨識 349

9-8 車牌辨識 353

9-9 捲積神經網絡的缺點 357

第 10 章   生成對抗網絡 359

10-1 生成對抗網絡介紹 359

10-2 生成對抗網絡種類 361

10-3 DCGAN 364

10-4 Progressive GAN 375

10-5 Conditional GAN 380

10-6 Pix2Pix 385

10-7 CycleGAN 396

10-8 GAN 挑戰 406

10-9 深度偽造 406

 

V

 

深度學習全書——公式 + 推導 + 代碼 +TensorFlow 全程案例

 

 

  第四篇 自然語言處理

 

 

第 11 章 自然語言處理的介紹 …412

11-1 詞袋與 TF-IDF 412

11-2 詞匯前置處理 416

11-3 詞 向量 421

11-4 GloVe 模型 433

11-5 中文處理 436

11-6 spaCy 庫 439

第 12 章   自然語言處理的算法 444

12-1 循環神經網絡 444

12-2 長短期記憶網絡 451

12-3 LSTM 重要參數與多層

LSTM 456

12-4 Gate Recurrent Unit 467

12-5 股價預測 468

12-6 註意力機制 475

12-7 Transformer 架構 485

12-7-1 Transformer 原理 486

12-7-2 Transformer 效能 487

12-8 BERT 488

12-8-1 Masked LM 488

12-8-2 Next Sentence

Prediction 489

12-8-3 BERT 效能微調 490

12-9 Transformers 庫 491

12-9-1   Transformers 庫範例 … 491

 

12-9-2 Transformers 庫效能

微調 501

12-9-3 後續努力 507

12-10    總結 507

第 13 章   聊天機器人 508

13-1 ChatBot 類別 508

13-2 ChatBot 設計 509

13-3 ChatBot 實踐 511

13-4 ChatBot 工具框架 514

13-4-1 ChatterBot 實踐 514

13-4-2 Chatbot AI 實踐 517

13-4-3 Rasa 實踐 520

13-5 Dialog?ow 實踐 523

13-5-1 Dialog?ow 安裝 525

13-5-2 Dialog?ow 基本功能 … 527

13-5-3    履行 532

13-6    總結 536

第 14 章 語 音 識別 537

14-1 語音基本認識 538

14-2 語音前置處理 549

14-3 語音相關的深度學習應用 561

14-4 自動語音識別 574

14-5 自動語音識別實踐 577

14-6    總結 578

 

 

 

 

 

 

 

VI

 

目 錄

 

 

  第五篇 強化學習

 

 

第 15 章 強 化 學習 580

15-1 強化學習的基礎 581

15-2 強化學習模型 583

15-3 簡單的強化學習架構 586

15-4 Gym 庫 593

15-5 Gym 擴充功能 600

15-6 動態規劃 602

 

15-7  值 循環 607

15-8 蒙特卡洛 610

15-9 時序差分 619

15-10 其他算法 628

15-11 井字游戲 630

15-12 木棒小車 636

15-13    總結 637

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

VI