深度學習入門

(日)瀧雅人著楊秋香

瀧雅人，理學博士，2009年完成東京大學大學院理學系研究科物理學專業博土後期課程。
現任理化學研究所跨學科理論與數學科學計劃（iTHEMS）不錯研究員。

目錄
譯者序
原書序
原書前言
第1章緒論 1
第2章機器學習與深度學習 3
2.1 為什麼要進行深度學習 3
2.2 什麼是機器學習 4
2.2.1 典型任務 4
2.2.2 形式各異的數據集 5
2.3 統計學基礎 6
2.3.1 樣本和估計 7
2.3.2 點估計 8
2.3.3 極大似然估計11
2.4 機器學習基礎12
2.5 特徵學習與深度學習的進展23
2.5.1 特徵學習23
2.5.2 深度學習的出現24

第3章神經網絡26
3.1 神經細胞網絡26
3.2 形式神經元27
3.3 感知器29
3.3.1 由形式神經元到感知器29
3.3.2 感知器與馬文·明斯基（Marvin Lee Minsky） 30
3.4 順序傳播神經網絡的組成31
3.5 神經網絡的機器學習35
3.5.1 回歸35
3.5.2 二元分類36
3.5.3 多元分類37
3.6 激活函數37
3.6.1 sigmoid函數及其變體38
3.6.2 正則化線性函數38
3.6.3 maxout 39
3.7 為什麼深度學習是重要的40

第4章基於梯度下降法的機器學習41 
4.1 梯度下降法41
4.2 改進的梯度下降法46
4.2.1 梯度下降法的問題46
4.3 權重參數初始值的選取方法53
4.4 訓練預處理55
4.4.1 數據的規格化55
4.4.2 數據的白化55
4.4.3 圖像數據的局部對比度

第5章深度學習的正則化59
5.1 泛化性能與正則化59
5.1.1 泛化誤差與過度學習59
5.1.2 正則化61
5.2 權重衰減62
5.3 早期終止63
5.4 權重共享65
5.5 數據擴增與噪聲註入65
5.6 bagging算法66
5.7 dropout 67
5.8 深度表示的稀疏化72
5.9 批量規格化72
5.9.1 內部協變量移位72
5.9.2 批量規格化73

第6章誤差反向傳播法74
6.1 Perceptron（感知器）和delta 學習規則74
6.2 誤差反向傳播法76
6.3 誤差反向傳播法的梯度快速計算82
6.4 梯度消失與參數爆炸及其對策84
6.4.1 預學習85
6.4.2 ReLU函數85

第7章自編碼器87
7.1 數據壓縮與主成分分析87
7.2 自編碼器基礎及應用90
7.3 稀疏自編碼器93
7.4 堆棧式自編碼器及預學習97
7.5 降噪自編碼器98
7.6 壓縮式自編碼器99
7.6.1 壓縮式自編碼器流形學習99
7.6.2 與其他自編碼器的關係100

第8章捲積神經網絡101
8.1 一次視覺功能和捲積101
8.1.1 黑貝爾和威傑爾的層假說101
8.1.2 神經網絡與捲積
8.2 捲積神經網絡104
8.3 CNN的誤差反向傳播法112
8.4 完成學習的模型和遷移學習114
8.5 CNN會捕捉到哪些模式114
8.6 反捲積網絡* 115
8.7 Inception組件* 116

第9章循環神經網絡117
9.1 時間序列數據117
9.2 循環神經網絡118
9.3 機器翻譯的應用123
9.4 RNN的問題123
9.5 長短時記憶124
9.6 循環神經網絡與自然語言的處理* 130

第10章玻爾茲曼機133
10.1 圖模型與概率推論133
10.1.1 有向圖模型* 133
10.1.2 無向圖模型* 136
10.2 有/無隱性變量的玻爾茲曼機139
10.3 玻爾茲曼機的學習及計算量的爆發142
10.4 吉布斯採樣和玻爾茲曼機150
10.5 平均場近似159
10.6 受限玻爾茲曼機162
10.7 對比散度法及其理論167
10.8 深度信念網絡175
10.9 深度玻爾茲曼機181

第11章深度強化學習188
11.1 強化學習188
11.2 近似函數與深度Q網絡197
11.2.1 Q學習與近似函數197
11.2.2 深度Q學習199
11.3 雅達利遊戲和DQN 201
11.4 策略學習203
11.4.1 基於梯度上升法的策略學習
11.4.2 策略梯度定理的證明
11.5 AlphaGo 205
附錄210
附錄A 概率基礎210
A.1 隨機變量和概率分佈210
A.2 連續隨機變量和概率密度函數212
A.3 期望值與方差214
A.4 信息量與散度215
附錄B 變分法217
B.1 泛函數217
B.2 歐拉·拉格朗日方程式217 
參考文獻219