深入淺出神經網絡與深度學習

【作者簡介】邁克爾·尼爾森（Michael Nielsen）

計算機科學家、量子物理學家、科普作家，Y Combinator Research的研究Fellow，曾受邀在哈佛大學、斯坦福大學、麻省理工學院、劍橋大學、牛津大學等高校以及谷歌和微軟等公司做主題演講，另著有高分作品《重塑發現》和《量子計算和量子信息》。
 

【譯者簡介】朱小虎

University AI創始人兼首席科學家、Center for Safe AGI創始人、谷歌開發者機器學習專家、百度深度學習佈道者。和團隊核心成員一起創建了TASA、DL Center（深度學習知識中心全球價值網絡）和AI Growth（行業智庫培訓）等。舉辦過多場國際性人工智能峰會和活動。在多個技術平臺寫下了近百萬字的人工智能精品技術內容。曾受邀為多所國內高校制定人工智能學習規劃和教授人工智能前沿課程，也曾為多家世界500強企業提供人工智能方面的戰略佈局建議及落地實施等方面的咨詢建議。

第1章 使用神經網絡識別手寫數字　1

1.1　感知機　2

1.2　sigmoid神經元　7

1.3　神經網絡的架構　11

1.4　一個簡單的神經網絡：分類手寫數字　13

1.5　利用梯度下降算法進行學習　17

1.6　實現分類數字的神經網絡　25

1.7　邁向深度學習　37
 

第2章 反向傳播算法工作原理　41

2.1　熱身：使用矩陣快速計算輸出　41

2.2　關於代價函數的兩個假設　43

2.3　阿達馬積s⊙t　45

2.4　反向傳播的4個基本方程　45

2.5　基本方程的證明（選學）　50

2.6　反向傳播算法　51

2.7　反向傳播代碼　53

2.8　就何而言，反向傳播算快　55

2.9　反向傳播：全局觀　56
 

第3章 改進神經網絡的學習方法　60

3.1　交叉熵代價函數　60

3.1.1　引入交叉熵代價函數　64

3.1.2　使用交叉熵來對MNIST數字進行分類　71

3.1.3　交叉熵的含義與起源　72

3.1.4　softmax　74

3.2　過擬合和正則化　78

3.2.1　正則化　84

3.2.2　為何正則化有助於減輕過擬合　89

3.2.3　其他正則化技術　93

3.3　權重初始化　102

3.4　復探手寫識別問題：代碼　106

3.5　如何選擇神經網絡的超參數　116

3.6　其他技術　126

3.6.1　隨機梯度下降算法的變化形式　126

3.6.2　其他人工神經元模型　129

3.6.3　有關神經網絡的故事　132
 

第4章 神經網絡可以計算任何函數的可視化證明　134

4.1　兩個預先聲明　136

4.2　一個輸入和一個輸出的普遍性　137

4.3　多個輸入變量　146

4.4　不止sigmoid神經元　154

4.5　修補階躍函數　156

4.6　小結　159
 

第5章 為何深度神經網絡很難訓練　160

5.1　梯度消失問題　163

5.2　梯度消失的原因　168

5.2.1　為何出現梯度消失　170

5.2.2　梯度爆炸問題　171

5.2.3　梯度不穩定問題　172

5.2.4　梯度消失問題普遍存在　172

5.3　復雜神經網絡中的梯度不穩定　173

5.4　深度學習的其他障礙　174
 

第6章 深度學習　175

6.1　捲積神經網絡入門　176

6.1.1　局部感受野　178

6.1.2　共享權重和偏置　180

6.1.3　池化層　182

6.2　捲積神經網絡的實際應用　184

6.2.1　使用修正線性單元　188

6.2.2　擴展訓練數據　189

6.2.3　插入額外的全連接層　191

6.2.4　集成神經網絡　192

6.3　捲積神經網絡的代碼　195

6.4　圖像識別領域近期的進展　208

6.4.1　2012年的LRMD論文　208

6.4.2　2012年的KSH論文　209

6.4.3　2014年的ILSVRC競賽　211

6.4.4　其他活動　212

6.5　其他深度學習模型　214

6.5.1　循環神經網絡　214

6.5.2　長短期記憶單元　216

6.5.3　深度信念網絡、生成模型和玻爾茲曼機　216

6.5.4　其他想法　217

6.6　神經網絡的未來　217

6.6.1　意圖驅動的用戶界面　217

6.6.2　機器學習、數據科學和創新的循環　218

6.6.3　神經網絡和深度學習的作用　218

6.6.4　神經網絡和深度學習將主導人工智能　219
 

附錄　是否存在關於智能的簡單算法　222
版權聲明