深度學習理論與實戰：基礎篇

李理，畢業於北京大學，研究方向為自然語言處理，
有十多年自然語言處理和人工智能研發經驗，
先後在去哪兒網、百度和出門問問等企業工作，
從事過分佈式爬蟲、搜索引擎、廣告系統，
主持研發過多款智能硬件的問答和對話系統。
現在是環信人工智能研發中心的VP，負責環信中文語義分析開放平臺和環信智能機器人的設計與研發。
目前他致力於語音識別、自然語言處理等人工智能技術在企業中的推廣和落地，
以提高企業服務的水平和效率。

第1章人工智能的基本概念1 
1.1人工智能的發展歷史1 
1.2機器學習4 
1.3常見的監督學習模型8 
1.4衡量指標16 
1.5損失函數17 
1.6優化18 
1.7過擬合20 
1.8機器學習示例：線性回歸22 

第2章神經網絡27 
2.1手寫數字識別問題27 
2.2單個神經元和多層神經網絡30 
2.3用代碼實戰多層神經網絡33 
2.4多層神經網絡構建代碼解析33 
2.5反向傳播算法的推導39 
2.6代碼實現反向傳播算法47 
2.7為什麼反向傳播算法是一個高效的算法50 
2.8優化技巧50 

第3章捲積神經網絡59 
3.1捲積神經網絡簡介59 
3.2局部感知域59
3.3特徵映射62 
3.4池化63 
3.5構建完整的捲積神經網絡65 
3.6填充和步長65 
3.7 CNN識別MNIST手寫數字66 
3.8 CNN模型識別CIFAR¬10圖像71 
3.9使用殘差網絡識別MNIST圖像92 

第4章循環神經網絡101 
4.1基本概念101 
4.2 RNN的擴展102 
4.3 Word Embedding簡介103 
4.4姓名分類104 
4.5 RNN生成莎士比亞風格句子114 
4.6機器翻譯123 
4.7漢語—英語翻譯的批量訓練146 

第5章生成對抗網絡156 
5.1為什麼研究生成模型156 
5.2生成模型的原理以及GAN與其他生成模型的區別159 
5.3 GAN的原理165
5.4深度捲積生成對抗網絡168 
5.5反捲積168 
5.6 DCGAN實戰175 
第6章TensorFlow 196 
6.1 TensorFlow簡介196 
6.2 Opitimizer 219 
6.3數據的處理和輸入226 
6.4常見網絡結構250 
6.5 RNN在TensorFlow中的實現258 
6.6 TensorBoard 276 
6.7高層API 281 
6.8調試309 
6.9 TensorFlow Serving 316 

第7章PyTorch 343 
7.1基礎知識343 
7.2 PyTorch神經網絡簡介350 
7.3訓練一個分類器354 
7.4使用NumPy實現三層神經網絡363
7.5使用Tensor實現三層神經網絡364 
7.6使用autograd實現三層神經網絡365 
7.7使用自定義的ReLU函數367 
7.8和TensorFlow的對比369 
7.9使用nn模塊實現三層神經網絡370 
7.10使用optim包372 
7.11自定義nn模塊373 
7.12流程控制和參數共享374 
7.13遷移學習示例375 
7.14數據的加載和預處理382 

第8章Keras 393 
8.1 Keras簡介393 
8.2 Hello World 393 
8.3 Sequential API 395 
8.4多分類398 
8.5兩分類400 
8.6 1D捲積進行序列分類400 
8.7多層LSTM序列分類402
8.8有狀態的LSTM 404 
8.9 Functional API 405 
8.10判斷兩個數字是否是同一個數字410 
8.11圖片問答411 
8.12視頻問答413