深度學習入門2：自製框架

深度學習框架中蘊藏著驚人的技術和有趣的機制，本書旨在揭開這些技術和機制的神秘面紗，幫助讀者正確理解技術，體會它們的有趣之處。為此，本書會帶領讀者從零開始創建一個深度學習框架——DeZero。DeZero 是本書原創的框架，它用最少的代碼實現了現代深度學習框架的功能。本書分60 個步驟來完成這個框架，在此過程中，讀者會加深對PyTorch、TensorFlow 和Chainer 等現代深度學習框架的理解，看清深度學習框架的本質。

本書沿襲《深度學習入門：基於Python 的理論與實現》的風格，語言通俗，代碼簡潔，講解詳細。在自製框架的過程中，讀者還能進一步鞏固Python 編程和軟件開發相關的知識。

本書適合對深度學習框架感興趣的讀者閱讀。

斋藤康毅（作者）

1984年生于日本长崎县，东京工业大学毕业，并完成东京大学研究生院课程。目前在某企业从事人工智能相关的研究和开发工作。著有《深度学习入门：基于Python的理论与实现》，同时也是Introducing Python、Python in Practice、The Elements of Computing Systems、Building Machine Learning Systems with Python的日文版译者。

 

郑明智（译者）

智慧医疗工程师。主要研究方向为医疗与前沿ICT技术的结合及其应用，密切关注人工智能、量子计算等领域。译有《深度学习基础与实践》《详解深度学习》《白话机器学习的数学》等书。

前言 xvii

第 1階段 自動微分 1

步驟1 作為“箱子”的變量 3

1.1 什麽是變量 3

1.2 實現Variable 類 4

1.3 （補充）NumPy的多維數組 6

步驟2 創建變量的函數 8

2.1 什麽是函數 8

2.2 Function類的實現 9

2.3 使用Function 類 10

步驟3 函數的連續調用 13

3.1 Exp函數的實現 13

3.2 函數的連續調用 14

步驟4 數值微分 16

4.1 什麽是導數 16

4.2 數值微分的實現 17

4.3 復合函數的導數 20

4.4 數值微分存在的問題 21

步驟5 反向傳播的理論知識 22

5.1 鏈式法則 22

5.2 反向傳播的推導 23

5.3 用計算圖表示 25

步驟6 手動進行反向傳播 27

6.1 Variable 類的功能擴展 27

6.2 Function類的功能擴展 28

6.3 Square類和Exp類的功能擴展 28

6.4 反向傳播的實現 29

步驟7 反向傳播的自動化 32

7.1 為反向傳播的自動化創造條件 33

7.2 嘗試反向傳播 36

7.3 增加backward方法 38

步驟8 從遞歸到循環 40

8.1 現在的Variable 類 40

8.2 使用循環實現 41

8.3 代碼驗證 42

步驟9 讓函數更易用 43

9.1 作為Python函數使用 43

9.2 簡化backward方法 45

9.3 只支持ndarray 46

步驟10 測試 50

10.1 Python的單元測試 50

10.2 square函數反向傳播的測試 52

10.3 通過梯度檢驗來自動測試 53

10.4 測試小結 54

第 2階段 用自然的代碼表達 59

步驟11 可變長參數（正向傳播篇) 61

11.1 修改Function 類 62

11.2 Add類的實現 64

步驟12 可變長參數（改進篇) 65

12.1 第 1 項改進：使函數更容易使用 65

12.2 第 2 項改進：使函數更容易實現 67

12.3 add函數的實現 69

步驟13 可變長參數（反向傳播篇) 70

13.1 支持可變長參數的Add類的反向傳播 70

13.2 修改Variable 類 71

13.3 Square類的實現 73

步驟14 重復使用同一個變量 75

14.1 問題的原因 76

14.2 解決方案 77

14.3 重置導數 79

步驟15 復雜的計算圖（理論篇） 81

15.1 反向傳播的正確順序 82

15.2 當前的DeZero 84

15.3 函數的優先級 87

步驟16 復雜的計算圖（實現篇） 88

16.1 增加“輩分”變量 88

16.2 按照“輩分”順序取出元素 90

16.3 Variable 類的backward 92

16.4 代碼驗證 93

步驟17 內存管理和循環引用 97

17.1 內存管理 97

17.2 引用計數方式的內存管理 98

17.3 循環引用 100

17.4 weakref模塊 102

17.5 代碼驗證 104

步驟18 減少內存使用量的模式 106

18.1 不保留不必要的導數 106

18.2 回顧Function 類 109

18.3 使用Config類進行切換 110

18.4 模式的切換 111

18.5 使用with 語句切換 112

步驟19 讓變量更易用 116

19.1 命名變量 116

19.2 實例變量ndarray 117

19.3 len函數和print 函數 119

步驟20 運算符重載（1） 122

20.1 Mul類的實現 122

20.2 運算符重載 125

步驟21 運算符重載（2） 128

21.1 與ndarray 一起使用 128

21.2 與float 和int 一起使用 130

21.3 問題1：左項為float 或int 的情況 131

21.4 問題2：左項為ndarray 實例的情況 133

步驟22 運算符重載（3） 134

22.1 負數 135

22.2 減法 136

22.3 除法 138

22.4 冪運算 139

步驟23 打包 141

23.1 文件結構 142

23.2 將代碼移到核心類 142

23.3 運算符重載 144

23.4 實際的_ _init_ _.py 文件 146

23.5 導入dezero 147

步驟24 復雜函數的求導 149

24.1 Sphere函數 150

24.2 matyas函數 151

24.3 Goldstein Price 函數 152

第3階段 實現高階導數 161

步驟25 計算圖的可視化（1） 163

25.1 安裝Graphviz 163

25.2 使用DOT語言描述圖形 165

25.3 指定節點屬性 165

25.4 連接節點 167

步驟26 計算圖的可視化（2） 169

26.1 可視化代碼的使用示例 169

26.2 從計算圖轉換為DOT語言 171

26.3 從DOT語言轉換為圖像 174

26.4 代碼驗證 176

步驟27 泰勒展開的導數 178

27.1 sin函數的實現 178

27.2 泰勒展開的理論知識 179

27.3 泰勒展開的實現 180

27.4 計算圖的可視化 182

步驟28 函數優化 184

28.1 Rosenbrock函數 184

28.2 求導 185

28.3 梯度下降法的實現 186

步驟29 使用牛頓法進行優化（手動計算） 190

29.1 使用牛頓法進行優化的理論知識 191

29.2 使用牛頓法實現優化 195

步驟30 高階導數（準備篇） 197

30.1 確認工作①：Variable 實例變量 197

30.2 確認工作②：Function 類 199

30.3 確認工作③：Variable 類的反向傳播 201

步驟31 高階導數（理論篇） 204

31.1 在反向傳播時進行的計算 204

31.2 創建反向傳播的計算圖的方法 206

步驟32 高階導數（實現篇） 209

32.1 新的DeZero 209

32.2 函數類的反向傳播 210

32.3 實現更有效的反向傳播（增加模式控制代碼） 211

32.4 修改_ _init_ _.py 213

步驟33 使用牛頓法進行優化（自動計算） 215

33.1 求二階導數 215

33.2 使用牛頓法進行優化 217

步驟34 sin函數的高階導數 219

34.1 sin函數的實現 219

34.2 cos函數的實現 220

34.3 sin函數的高階導數 221

步驟35 高階導數的計算圖 225

35.1 tanh函數的導數 226

35.2 tanh函數的實現 226

35.3 高階導數的計算圖可視化 227

步驟36 DeZero的其他用途 234

36.1 double backprop 的用途 234

36.2 深度學習研究中的應用示例 236

第4階段 創建神經網絡 243

步驟37 處理張量 245

37.1 對各元素進行計算 245

37.2 使用張量時的反向傳播 247

37.3 使用張量時的反向傳播（補充內容） 249

步驟38 改變形狀的函數 254

38.1 reshape函數的實現 254

38.2 從Variable 對象調用reshape 258

38.3 矩陣的轉置 259

38.4 實際的transpose 函數（補充內容） 262

步驟39 求和的函數 264

39.1 sum函數的反向傳播 264

39.2 sum函數的實現 266

39.3 axis 和keepdims 268

步驟40 進行廣播的函數 272

40.1 broadcast_to 函數和sum_to 函數 272

40.2 DeZero的broadcast_to 函數和sum_to 函數 275

40.3 支持廣播 277

步驟41 矩陣的乘積 280

41.1 向量的內積和矩陣的乘積 280

41.2 檢查矩陣的形狀 282

41.3 矩陣乘積的反向傳播 282

步驟42 線性回歸 288

42.1 玩具數據集 288

42.2 線性回歸的理論知識 289

42.3 線性回歸的實現 291

42.4 DeZero的mean_squared_error函數（補充內容） 295

步驟43 神經網絡 298

43.1 DeZero中的linear 函數 298

43.2 非線性數據集 301

43.3 激活函數和神經網絡 302

43.4 神經網絡的實現 303

步驟44 匯總參數的層 307

44.1 Parameter類的實現 307

44.2 Layer類的實現 309

44.3 Linear類的實現 312

44.4 使用Layer實現神經網絡 314

步驟45 匯總層的層 316

45.1 擴展Layer類 316

45.2 Model類 319

45.3 使用Model來解決問題 321

45.4 MLP類 323

步驟46 通過Optimizer更新參數 325

46.1 Optimizer類 325

46.2 SGD類的實現 326

46.3 使用SGD類來解決問題 327

46.4 SGD以外的優化方法 328

步驟47 softmax函數和交叉熵誤差 331

47.1 用於切片操作的函數 331

47.2 softmax函數 334

47.3 交叉熵誤差 337

步驟48 多分類 340

48.1 螺旋數據集 340

48.2 用於訓練的代碼 341

步驟49 Dataset類和預處理 346

49.1 Dataset類的實現 346

49.2 大型數據集的情況 348

49.3 數據的連接 349

49.4 用於訓練的代碼 350

49.5 數據集的預處理 351

步驟50 用於取出小批量數據的DataLoader 354

50.1 什麽是迭代器 354

50.2 使用DataLoader 358

50.3 accuracy函數的實現 359

50.4 螺旋數據集的訓練代碼 360

步驟51 MINST的訓練 363

51.1 MNIST數據集 364

51.2 訓練MNIST 366

51.3 改進模型 368

第5階段 DeZero高級挑戰 377

步驟52 支持GPU 379

52.1 CuPy的安裝和使用方法 379

52.2 cuda模塊 382

52.3 向Variable / Layer / DataLoader 類添加代碼 383

52.4 函數的相應修改 386

52.5 在GPU上訓練MNIST 388

步驟53 模型的保存和加載 391

53.1 NumPy的save 函數和load 函數 391

53.2 Layer類參數的扁平化 394

53.3 Layer類的save 函數和load 函數 395

步驟54 Dropout和測試模式 398

54.1 什麽是Dropout 398

54.2 Inverted Dropout 401

54.3 增加測試模式 401

54.4 Dropout的實現 402

步驟55 CNN的機制（1） 404

55.1 CNN的網絡結構 404

55.2 捲積運算 405

55.3 填充 407

55.4 步幅 408

55.5 輸出大小的計算方法 409

步驟56 CNN的機制（2） 411

56.1 三階張量 411

56.2 結合方塊進行思考 412

56.3 小批量處理 414

56.4 池化層 415

步驟57 conv2d函數和pooling函數 418

57.1 使用im2col 展開 418

57.2 conv2d函數的實現 420

57.3 Conv2d層的實現 425

57.4 pooling 函數的實現 426

步驟58 具有代表性的CNN（VGG16） 429

58.1 VGG16的實現 429

58.2 已訓練的權重數據 431

58.3 使用已訓練的VGG16 435

步驟59 使用RNN處理時間序列數據 438

59.1 RNN層的實現 438

59.2 RNN模型的實現 442

59.3 切斷連接的方法 445

59.4 正弦波的預測 446

步驟60 LSTM與數據加載器 451

60.1 用於時間序列數據的數據加載器 451

60.2 LSTM層的實現 453

附錄A in place 運算（步驟14的補充內容） 463

A.1 問題確認 463

A.2 關於復制和覆蓋 464

A.3 DeZero的反向傳播 465

附錄B 實現get_item函數（步驟47的補充內容） 466

附錄C 在Google Colaboratory上運行 469

後 記 473

參考文獻 477