深度學習

徐立芳

哈爾濱工程大學“模式識別與智能係統”工學博士，
長期從事智能控制、工業自動化技術方面的教學，
主要研究領域涉及智能係統、機器人、本體、進化計算、神經網絡、電機控制等。
哈爾濱工程大學工程訓練中心（國家級實驗教學示範中心）電器技術實驗室負責人。

莫宏偉

哈爾濱工程大學工學博士、教授，類腦計算與人工智能研究中心主任，
全國高校人工智能與大數據創新聯盟常務理事，
黑龍江省高等教育學會人工智能教育專業委員會理事長。
長期從事人工智能導論、原理與方法的課程教學工作，
主要研究領域涉及類腦計算、自然計算、智能機器人、視覺智能與認知智能等。
完成國家自然科學基金、國防科學技術預先研究基金等項目20餘項，
發表論文80餘篇，出版專著6部、教材2部，授權發明專利8項。

01 緒論
1.1　機器學習與深度學習　2
1.2　機器學習方法類型　3
1.3　機器學習常見算法　4
1.4　深度學習的前世今生　
1.5　深度學習的應用　8
1.6　深度學習開源工具簡介　10
1.6.1　TensorFlow　10
1.6.2　PyTorch　10
1.6.3　CNTK　10
1.6.4　Keras　11
1.6.5　MXNet　11
1.6.6　Caffe　11
1.6.7　OpenAI Gym　11
1.7　本書主要學習內容　12
1.8　本章小結　13
1.9　習題　13

02　神經網絡與深度神經網絡
2.1　神經元與感知器　16
2.1.1　生物神經元與神經元模型　16
2.1.2　感知器　18
2.2　反向傳播算法　19
2.2.1　前饋計算　19
2.2.2　反向傳播　20
2.3　神經網絡的連接　23
2.3.1　前饋神經網絡　23
2.3.2　反饋神經網絡　24
2.3.3　全局逼近網絡和局部逼近網絡　24
2.3.4　自組織特徵映射網絡　25
2.3.5　自適應共振理論ART模型　25
2.4　深度神經網絡與深度學習　26
2.5　常用的函數模型　28
2.5.1　激活函數　28
2.5.2　損失函數　30
2.6　本章小結　32
2.7　習題　32

03　捲積神經網絡
3.1　大腦視覺皮層的信息分層處理機制　34
3.2　感受野與權值共享　35
3.3　捲積神經網絡的層級結構和組成　37
3.3.1　捲積層　37
3.3.2　池化層　38
3.3.3　全連接層　38
3.4　捲積神經網絡算法　39
3.4.1　算法的訓練　39
3.4.2　LeNet-5模型　40
3.5　網絡的捲積層設計　41
3.5.1　跨步捲積（Stride Convolution）　42
3.5.2　零填充（Zero Padding）　43
3.5.3　非共享捲積（Unshared Convolution）　44
3.5.4　平鋪捲積（Tiled Convolution）　44
3.6　CNN的經典網絡結構　45
3.6.1　AlexNet　45
3.6.2　VGGNet　46
3.6.3　GoogLeNet　46
3.6.4　ResNet　48
3.6.5　DenseNet　48
3.7　CNN用於人臉表情分類　49
3.7.1　圖像的預處理　49
3.7.2　用於分類的CNN網絡設計　50
3.7.3　實驗結果　51
3.8　本章小結　52
3.9　習題　52

04　循環神經網絡
4.1　循環神經網絡　54
4.1.1　循環神經元展開　54
4.1.2　隨時間反向傳播算法　57
4.1.3　梯度消失和梯度爆炸　61
4.2　長短期記憶網絡　61
4.2.1　輸入門、遺忘門和輸出門　62
4.2.2　LSTM模型　62
4.2.3　LSTM的計算　64
4.3　循環神經網絡設計　65
4.3.1　雙向循環網絡　66
4.3.2　深度循環神經網絡　66
4.3.3　LSTM的變體　67
4.4　循環神經網絡的應用　69
4.5　基於RNN的語言模型　69
4.6　本章小結　72
4.7　習題　72

05　目標檢測
5.1　基於候選區域的目標檢測算法　74
5.1.1　R-CNN算法　75
5.1.2　SPP-NET算法　75
5.1.3　Fast R-CNN算法　76
5.1.4　Faster R-CNN算法　77
5.1.5　Mask R-CNN算法　78
5.2　基於回歸預測的目標檢測算法　79
5.2.1　SSD算法　79
5.2.2　YOLO算法　80
5.2.3　YOLOv2算法　82
5.2.4　YOLOv3算法　84
5.3　目標檢測算法發展趨勢　85
5.4　人體行為檢測　86
5.4.1　網絡超參數的選擇　86
5.4.2　模型的訓練　87
5.4.3　模型測試　89
5.5　本章小結　91
5.6　習題　91

06　圖像描述
6.1　圖像描述方法　94
6.1.1　模板方法與檢索方法　94
6.1.2　編碼 解碼結構方法　95
6.2　編碼 解碼圖像描述　96
6.2.1　編碼 解碼結構原理　96
6.2.2　編碼 解碼結構的圖像描述模型　97
6.3　註意力機制圖像描述方法　98
6.3.1　註意力機制原理　98
6.3.2　註意力機制在圖像描述中的應用　100
6.4　圖像描述示例　103
6.4.1　圖像描述的數據集　103
6.4.2　生成圖像描述　104
6.4.3　圖像描述代碼解析　106
6.5　圖像描述應用前景　110
6.5.1　圖像檢索　110
6.5.2　人機交互　110
6.5.3　智能監控　111
6.6　本章小結　111
6.7　習題　111

07　生成對抗網絡
7.1　生成式模型　114
7.1.1　一個極具挑戰的機器學習問題　114
7.1.2　生成式模型分類　115
7.2　生成對抗網絡基本原理　115
7.2.1　GAN的思想與基本形式　115
7.2.2　GAN的優勢與問題　116
7.3　生成式對抗網絡的設計　117
7.3.1　條件生成式對抗網絡　117
7.3.2　拉普拉斯金字塔生成式對抗網絡　118
7.3.3　深度捲積生成式對抗網絡　120
7.3.4　Wasserstein GAN　121
7.4　GAN的應用　122
7.4.1　電腦視覺領域　122
7.4.2　語言和語音領域　124
7.4.3　半監督領域　125
7.5　基於DCGAN的手寫數字生成實例　125
7.6　本章小結　128
7.7　習題　128

08　深度遷移學習
8.1　遷移學習　130
8.1.1　遷移學習的分類　130
8.1.2　遷移學習的形式化定義　131
8.1.3　度量準則—距離和相似度　131
8.2　深度網絡的可遷移性　132
8.3　深度網絡的適配　134
8.3.1　核心思想—數據分佈自適應　134
8.3.2　DDC方法　134
8.3.3　DAN方法　135
8.4　遷移學習的應用　136
8.5　VGG遷移—識別花朵類型　137
8.6　本章小結　140
8.7　習題　140

09　深度強化學習
9.1　強化學習　142
9.1.1　獎勵驅動行為思想　142
9.1.2　強化學習的基本框架　142
9.1.3　強化學習算法　143
9.2　深度強化學習的突破與問題　144
9.3　DRL算法—深度Q網絡　146
9.4　深度Q網絡的變體　148
9.4.1　深度雙Ｑ網絡　148
9.4.2　深度循環Q網絡　148
9.4.3　基於優先級回放的深度Q網絡　149
9.4.4　異步多步深度Q網絡　150
9.4.5　彩虹深度Q網絡　150
9.5　深度強化學習的應用　151
9.5.1　機器人控制　151
9.5.2　電腦視覺　152
9.5.3　自然語言處理　152
9.5.4　博弈論領域　153
9.6　本章小結　153
9.7　習題　153
附錄1　CNN用於人臉表情分類　155
附錄2　基於DCGAN的手寫數字生成實例　159
附錄3　VGG遷移—識別花朵類型　165
附錄4　深度學習資源　171
參考文獻　175