深度學習的數學 — 使用 Python 語言 Math for Deep Learning: What You Need to Know to Understand Neural Networks

深度學習是一門註重應用的學科。瞭解深度學習背後的數學原理的人，可以在應用深度學習解決實際問題時游刃有餘。本書通過Python代碼示例來講解深度學習背後的關鍵數學知識，包括概率論、統計學、線性代數、微分等，並進一步解釋神經網絡、反向傳播、梯度下降等深度學習領域關鍵知識背後的原理。

本書適合有一定深度學習基礎、瞭解Pyho如編程語言的讀者閱讀，也可作為拓展深度學習理論的參考書。

罗纳德·T.纽塞尔（Ronald T. Kneusel），拥有超过 20年的机器学习行业经验，著有多本AI领域图书。 本书适合有一定深度学习基础、了解Python编程语言的读者阅读，也可作为用于拓展深度学习理论的参考书。

第 1 章 搭建舞臺 1

　　1.1 組件安裝 2

　　　　1.1.1 Linux 2

　　　　1.1.2 macOS 3

　　　　1.1.3 Windows 3

　　1.2 NumPy 4

　　　　1.2.1 定義數組 4

　　　　1.2.2 數據類型 4

　　　　1.2.3 二維數組 5

　　　　1.2.4 全 0 數組和全 1 數組 6

　　　　1.2.5 高級索引 6

　　　　1.2.6 讀寫磁盤 8

　　1.3 SciPy 8

　　1.4 matplotlib 9

　　1.5 scikit-learn 11

　　1.6 小結 12

第 2 章 概率論 13

　　2.1 基礎概念 13

　　　　2.1.1 樣本空間和事件 14

　　　　2.1.2 隨機變量 14

　　　　2.1.3 人類不擅於處理概率問題 15

　　2.2 概率法則 16

　　　　2.2.1 事件的概率 16

　　　　2.2.2 加法法則 18

　　　　2.2.3 乘法法則 19

　　　　2.2.4 加法法則的修正版 20

　　　　2.2.5 生日難題 20

　　　　2.2.6 條件概率 23

　　　　2.2.7 全概率公式 24

　　2.3 聯合概率和邊緣概率 25

　　　　2.3.1 聯合概率表 25

　　　　2.3.2 概率的鏈式法則 29

　　2.4 小結 30

第 3 章 概率論進階 31

　　3.1 概率分佈 31

　　　　3.1.1 直方圖與概率 32

　　　　3.1.2 離散型概率分佈 34

　　　　3.1.3 連續型概率分佈 39

　　　　3.1.4 中心極限定理 42

　　　　3.1.5 大數法則 45

　　3.2 貝葉斯定理 45

　　　　3.2.1 回到判斷女性是否患有乳腺癌的例子 46

　　　　3.2.2 更新先驗 47

　　　　3.2.3 機器學習中的貝葉斯定理 48

　　3.3 小結 50

第 4 章 統計學 51

　　4.1 數據類型 51

　　　　4.1.1 定類數據 52

　　　　4.1.2 定序數據 52

　　　　4.1.3 定距數據 52

　　　　4.1.4 定比數據 52

　　　　4.1.5 在深度學習中使用定類數據 53

　　4.2 描述性統計量 54

　　　　4.2.1 均值和中位數 54

　　　　4.2.2 用於衡量變化的統計量 57

　　4.3 分位數和箱形圖 60

　　4.4 缺失數據 64

　　4.5 相關性 66

　　　　4.5.1 皮爾森相關性 67

　　　　4.5.2 斯皮爾曼相關性 70

　　4.6 假設檢驗 71

　　　　4.6.1 假設 72

　　　　4.6.2 t 檢驗 73

　　　　4.6.3 曼-惠特尼 U 檢驗 77

　　4.7 小結 79

第 5 章 線性代數 80

　　5.1 標量、向量、矩陣和張量 80

　　　　5.1.1 標量 81

　　　　5.1.2 向量 81

　　　　5.1.3 矩陣 82

　　　　5.1.4 張量 82

　　5.2 用張量進行代數運算 84

　　　　5.2.1 數組運算 85

　　　　5.2.2 向量運算 86

　　　　5.2.3 矩陣乘法 93

　　　　5.2.4 克羅內克積 97

　　5.3 小結 98

第 6 章 線性代數進階 99

　　6.1 方陣 99

　　　　6.1.1 為什麽需要方陣 100

　　　　6.1.2 轉置、跡和冪 101

　　　　6.1.3 特殊方陣 103

　　　　6.1.4 三角矩陣 104

　　　　6.1.5 行列式 104

　　　　6.1.6 逆運算 107

　　　　6.1.7 對稱矩陣、正交矩陣和酉矩陣 108

　　　　6.1.8 對稱矩陣的正定性 109

　　6.2 特徵向量和特徵值 110

　　6.3 向量範數和距離度量 113

　　　　6.3.1 L 範數和距離度量 113

　　　　6.3.2 協方差矩陣 114

　　　　6.3.3 馬氏距離 116

　　　　6.3.4 K-L 散度 118

　　6.4 主成分分析 120

　　6.5 奇異值分解和偽逆 122

　　　　6.5.1 SVD 實戰 123

　　　　6.5.2 SVD 的兩個應用 124

　　6.6 小結 126

第 7 章 微分 127

　　7.1 斜率 127

　　7.2 導數 129

　　　　7.2.1 導數的正式定義 129

　　　　7.2.2 基本法則 130

　　　　7.2.3 三角函數的求導法則 133

　　　　7.2.4 指數函數和自然對數的求導法則 135

　　7.3 函數的極小值和極大值 137

　　7.4 偏導數 140

　　　　7.4.1 混合偏導數 142

　　　　7.4.2 偏導數的鏈式法則 142

　　7.5 梯度 143

　　　　7.5.1 梯度的計算 144

　　　　7.5.2 可視化梯度 146

　　7.6 小結 148

第 8 章 矩陣微分 149

　　8.1 一些公式 149

　　　　8.1.1 關於標量的向量函數 150

　　　　8.1.2 關於向量的標量函數 151

　　　　8.1.3 關於向量的向量函數 152

　　　　8.1.4 關於標量的矩陣函數 152

　　　　8.1.5 關於矩陣的標量函數 153

　　8.2 一些性質 154

　　　　8.2.1 關於向量的標量函數 154

　　　　8.2.2 關於標量的向量函數 156

　　　　8.2.3 關於向量的向量函數 156

　　　　8.2.4 關於矩陣的標量函數 157

　　8.3 雅可比矩陣和黑塞矩陣 158

　　　　8.3.1 雅可比矩陣 159

　　　　8.3.2 黑塞矩陣 163

　　8.4 矩陣微分的一些實例 168

　　　　8.4.1 元素級運算求導 168

　　　　8.4.2 激活函數的導數 169

　　8.5 小結 171

第 9 章 神經網絡中的數據流 172

　　9.1 數據的表示 172

　　　　9.1.1 在傳統神經網絡中表示數據 173

　　　　9.1.2 在深度捲積網絡中表示數據 173

　　9.2 傳統神經網絡中的數據流 175

　　9.3 捲積神經網絡中的數據流 178

　　　　9.3.1 捲積 179

　　　　9.3.2 捲積層 183

　　　　9.3.3 池化層 185

　　　　9.3.4 全連接層 186

　　　　9.3.5 綜合應用 186

　　9.4 小結 189

第 10 章 反向傳播 190

　　10.1 什麽是反向傳播 190

　　10.2 手把手進行反向傳播 191

　　　　10.2.1 計算偏導數 192

　　　　10.2.2 用 Python 進行實現 194

　　　　10.2.3 訓練和測試模型 197

　　10.3 全連接網絡的反向傳播 199

　　　　10.3.1 誤差的反向傳播 199

　　　　10.3.2 關於權重和偏置求偏導數 201

　　　　10.3.3 Python 實現代碼 203

　　　　10.3.4 測試 Python 實現代碼 206

　　10.4 計算圖 208

　　10.5 小結 210

第 11 章 梯度下降 211

　　11.1 基本原理 211

　　　　11.1.1 一維函數的梯度下降 212

　　　　11.1.2 二維函數的梯度下降 214

　　11.2 隨機梯度下降 219

　　11.3 動量機制 221

　　　　11.3.1 什麽是動量 221

　　　　11.3.2 一維情況下的動量機制 222

　　　　11.3.3 二維情況下的動量機制 223

　　　　11.3.4 在訓練模型時引入動量 225

　　　　11.3.5 涅斯捷洛夫動量 229

　　11.4 自適應梯度下降 231

　　　　11.4.1 RMSprop 231

　　　　11.4.2 Adagrad 232

　　　　11.4.3 Adam 233

　　　　11.4.4 關於優化器的一些思考 234

　　11.5 小結 235

附錄 學無止境 236

　　概率與統計 236

　　線性代數 237

　　微積分 237

　　深度學習 237