深度學習理論及實踐 從機器學習到深度強化學習

魏翼飛，北京郵電大學電子工程學院副院長、教授、博士研究生導師。加拿大卡爾頓大學聯合培養博士，愛爾蘭都柏林城市大學博士後，美國休斯頓大學訪問學者，愛爾蘭DCU 訪問學者。主要研究深度學習、強化學習，以及區塊鏈技術。作為負責人先後主持完成3項 自然科學基金項目，參與完成3項 科技重大專項等 項目。在 外學術期刊發表30余篇SCI檢索論文，獲授權發明專利30余項。

第1章 人工智能與深度學習概述
1.1 人工智能與機器學習
1.1.1 人工智能的發展歷程
1.1.2 機器學習及深度學習的發展歷程
1.1.3 人工智能與機器學習及深度學習的關系
1.2 機器學習的分類
1.2.1 監督學習
1.2.2 非監督學習
1.2.3 半監督學習
1.2.4 強化學習
1.3 深度學習的分類
1.3.1 深度神經網絡
1.3.2 卷積神經網絡
1.3.3 其他深度神經網絡
1.4 深度學習與強化學習的結合
1.4.1 強化學習
1.4.2 求解多元線性回歸
1.4.3 深度強化學習
本章小結
第2章 機器學習之回歸任務
2.1 機器學習基礎
2.2 一元線性回歸
2.3 解析法實現一元線性回歸
2.4 解析法實現多元線性回歸
2.4.1 建立模型
2.4.2 編程實現
2.5 梯度下降法的基本原理
2.6 梯度下降法求解線性回歸
2.6.1 求解一元線性回歸
2.6.2 求解多元線性回歸
2.7 TensorFlow實現梯度下降法
2.7.1 TensorFlow的自動求導機制
2.7.2 自動求導實現一元線性回歸的梯度下降
2.7.3 自動求導實現多元線性回歸的梯度下降
本章小結
第3章 機器學習之分類任務
3.1 分類任務與邏輯回歸
3.1.1 廣義線性回歸
3.1.2 邏輯回歸實現二分類
3.1.3 交叉熵損失函數
3.1.4 TensorFlow實現一元邏輯回歸
3.1.5 TensorFlow實現多元邏輯回歸
3.2 模型評估
3.3 多分類任務
本章小結
第4章 神經網絡與深度學習
4.1 神經元與感知機
4.2 單層神經網絡的設計與實現
4.3 深度學習
4.3.1 多層神經網絡
4.3.2 機器學習與深度學習對比
4.3.3 誤差反向傳播算法
4.3.4 激活函數
4.4 實例：深度學習模型完成分類任務
本章小結
第5章 深度神經網絡的訓練方法
5.1 梯度下降算法的優化
5.1.1 梯度下降算法的問題
5.1.2 基於動量的 新
5.1.3 二階優化方法
5.1.4 共軛梯度
5.2 自適應學習率算法
5.2.1 學習率衰減
5.2.2 AdaGrad算法
5.2.3 RMSProp算法
5.2.4 AdaDelta算法
5.2.5 Adam算法
5.2.6 幾種常見優化算法的比較
5.3 參數初始化
5.3.1 合理初始化的重要性
5.3.2 隨機初始化
5.3.3 Xavier初始化
5.3.4 He初始化
5.3.5 批量歸一化
5.3.6 預訓練
5.4 Sequential模型搭建和訓練神經網絡
5.5 實例：深度神經網絡實現手寫數字識別
本章小結
第6章 卷積神經網絡
6.1 計算機視覺問題
6.1.1 圖像分類
6.1.2 目標定位
6.1.3 目標檢測
6.1.4 圖像分割
6.2 圖像卷積及卷積神經網絡
6.2.1 圖像卷積
6.2.2 池化和感受野
6.2.3 基本網絡結構
6.3 實例：卷積神經網絡實現手寫數字識別
6.4 卷積神經網絡的優化方法
6.4.1 數據增強
6.4.2 隨機丟棄
6.4.3 級聯卷積
6.4.4 集成學習
6.5 實例：卷積神經網絡識別CIFAR-10數據
6.6 實例：基於DeepLab-V3+模型的軌道圖像分割
本章小結
第7章 典型的深度神經網絡模型
7.1 卷積神經網絡的發展
7.2 經典網絡LeNet
7.2.1 LeNet結構
7.2.2 實例：搭建LeNet模型實現數字識別
7.2.3 實例：搭建LeNet模型實現CIFAR-10識別
7.3 AlexNet模型
7.3.1 AlexNet結構
7.3.2 實例：搭建AlexNet模型實現圖片分類
7.4 VGGNet模型
7.4.1 VGGNet結構
7.4.2 實例：搭建VGG-16模型
7.5 GoogLeNet模型
7.6 ResNet模型
7.7 循環神經網絡
7.7.1 RNN結構
7.7.2 實例：RNN用於時序數據預測
本章小結
第8章 強化學習算法
8.1 強化學習綜述
8.1.1 目標、單步獎勵與累積回報
8.1.2 馬爾可夫決策過程
8.1.3 值函數與 值函數
8.2 動態規劃方法
8.2.1 策略疊代
8.2.2 值疊代
8.3 基於值函數的強化學習算法
8.3.1 基於蒙特卡洛的強化學習算法
8.3.2 基於時間差分的強化學習算法
8.3.3 TD（λ）算法
8.4 基於策略梯度的強化學習算法
8.4.1 何時應用基於策略的學習方法
8.4.2 策略梯度詳解
8.4.3 蒙特卡洛策略梯度算法
8.4.4 Actor-Critic算法
8.5 實例
8.5.1 值疊代算法實例
8.5.2 SARSA算法實例
8.5.3 蒙特卡洛算法實例
8.5.4 TD-Learning算法實例
8.5.5 Q-Learning算法實例
本章小結
第9章 深度強化學習
9.1 基於值函數的深度強化學習
9.1.1 深度Q學習
9.1.2 深度Q學習的衍生方法
9.2 基於策略梯度的深度強化學習
9.2.1 深度確定性策略梯度算法
9.2.2 異步深度強化學習算法
9.3 實例
9.3.1 DDPG實現pendulum-v
本書全面梳理機器學習 、深度學習和強化學習相關 理論和方法，完整設計各種 模型和算法的應用實例。首 先概述與人工智能和深度學 習相關的基本概念和發展歷 程；然後詳細介紹機器學習 中的回歸任務、分類任務、 梯度下降法的基本理論和算 法，並給出完整的 TensorFlow編程實例；之後 循序漸進地闡述人工神經網 絡與深度學習、深度神經網 絡的訓練方法、卷積神經網 絡和典型的網絡模型，並給 出各種模型和算法的 TensorFlow編程實例，包括 完整的數據處理、模型構建 、模型訓練和測試、模型評 估、實驗結果分析、算法優 化和改進； 介紹強化學 習、深度強化學習的基本理 論和具體算法，並給出相關 算法應用的TensorFlow編程 實例。 本書可作為學習機器學 習、深度學習及強化學習算 法的參考書，也可作為高等 院校相關課程的教材，還可 供從事人工智能領域的專業 研究人員和工程技術人員閱 讀。