深度學習必學的十個問題 — 理論與實踐

深度學習是目前***的技術領域。本書兼顧了數學上的理解和代碼實踐，內容主要包括基礎知識和深度學習模型。第1章 介紹深度學習的簡潔發展思路和表示學習機制； 第2章、第3章介紹神經網絡的基於梯度的優化方法、神經網絡的優化難點以及相應的解決方法； 第4章討論神經網絡遇到的過擬合問題； 第5章分析神經網絡的最小組成部分——神經元； 第6章討論三種方案解決深層網絡的訓練難題： 批標準化、SELU、ResNet； 第7章、第8章講述了兩種重要的神經網絡模型： 捲積神經網絡和循環神經網絡； 第9章討論了對於神經網絡的無監督學習方式； 第10章詳細討論以變分自編碼器和對抗生成網絡為代表的概率生成網絡。 本書適合對於深度學習感興趣的大學生、工程師閱讀參考。閱讀本書需要具備基礎的Python編程技術和基本的數學知識。

李軒涯
單位：百度公司
職務、職稱：高級工程師
性別：男
年齡：33
專業：計算機科學與技術
學歷：博士
研究成果：中國計算機學會傑出會員、常務理事，中國計算機實踐教育聯合會副理事長。
現主管百度校企合作、校企聯合人才培養、校園粉絲生態圈，幫助百度技術、人才及產品品牌在高校領域的推廣與影響力傳播。

第1章 作為機器學習模型的神經網絡
1.1 表示學習
1.2 感知器與神經網絡
1.3 使用keras

第2章 神經網絡的訓練
2.1 基於梯度的一階優化
2.2 基於梯度的二階優化
2.3 普通訓練方法的局限
2.4 誤差反向傳播算法的本質
2.5 使用keras

第3章 神經網絡的優化難題
3.1 局部極小值，鞍點和非凸優化
3.2 隨機梯度下降的優勢
3.3 梯度方向優化
3.4 動態調整學習率
3.5 使用keras

第4章 神經網絡的過擬合
4.1 參數綁定和提前終止
4.2 數據增強和噪聲添加
4.3 Dropout
4.4 使用keras

第5章 神經網絡的神經單元
5.1 梯度消失和梯度爆炸
5.2 隱藏單元設計原則和sigmoid的非零中心
5.3 基於線性函數的改進和maxout單元
5.4 使用keras

第6章 神經網絡的深度訓練
6.1 預處理和批標準化
6.2 批標準化的不同視角：協變量偏差和協調更新
6.3 自歸一化神經網絡
6.4 ResNet
6.5 使用keras

第7章 卷積神經網絡
7.1 局部連接和權重共享
7.2 卷積操作的重要概念
7.3 卷積核的參數學習
7.4 基於感受野的三個卷積技巧
7.5 使用keras

第8章 循環神經網絡
8.1 理解循環結構
8.2 循環結構的參數學習
8.3 正交初始化和記憶容量
8.4 理解LSTM
8.5 使用keras

第9章 無監督表示學習：自編碼器
9.1 自編碼器
9.2 稀疏自編碼器
9.3 收縮自編碼器
9.4 使用keras

第10章 概率生成模型
10.1 變分自編碼器
10.2 生成對抗網絡
10.3 使用keras

參考文獻