深度學習基礎教程

趙宏

南開大學副教授，公共計算機基礎教學部主任，“公共計算機基礎課”教學團隊帶頭人，
南開大學教學名師，在線教育研究中心“智慧教學之星”。
近五年平均每周承擔過10課時的本科教學工作。
2015年起在南開大學率先建設SPOC課程，進行混合式教學和翻轉課堂的智慧教學實踐。
2018年在學堂在線上線兩門MOOC課程， 2020年上線一門國家首批國際MOOC課程。
主編教材11本，承擔省部級、國家一級研究會及校級教改項目20餘項，發表教學研究論文10餘篇。
獲得南開大學教學成果二等獎4項。

前言
第1章 深度學習概述 1
1.1 深度學習的發展歷程 1
1.1.1 深度學習的歷史 1
1.1.2 深度學習領域的重要人物 5
1.2 深度學習的關鍵技術 7
1.2.1 深度學習的機理 7
1.2.2 深度學習的三要素 8
1.2.3 數據的特徵 9
1.2.4 深度學習的主要模型 10
1.2.5 深度學習模型的訓練過程 11
1.2.6 深度學習模型的學習方式 12
1.2.7 深度學習的常用框架 14
1.3 深度學習網絡的發展脈絡及應用領域 18
1.3.1 深度學習網絡的發展脈絡 18
1.3.2 深度學習的應用領域 19
課後習題 21
參考文獻 22

第2章 人工神經網絡基礎 24
2.1 人工神經網絡的生物學基礎 24
2.1.1 神經元的基本模型 24
2.1.2 突觸的結構 26
2.2 人工神經元模型 26
2.2.1 人工神經元的數學模型 26
2.2.2 常見的人工神經元模型 30
2.3 人工神經網絡模型 34
2.3.1 神經網絡的基本結構 34
2.3.2 神經網絡的分類 36
2.4 神經網絡的前向傳播機制 39
2.5 神經網絡的反向傳播機制 40
2.6 基於反向傳播算法的神經網絡設計流程 43
2.7 人工神經網絡的參數優化問題 45
2.7.1 神經網絡層數的優化問題 45
2.7.2 歸一化指數函數softmax 47
2.7.3 學習率 49
2.7.4 欠擬合和過擬合問題 50
課後習題 52
參考文獻 53

第3章 捲積神經網絡和循環神經網絡 54
3.1 捲積神經網絡 54
3.1.1 捲積神經網絡的基本概念 54
3.1.2 捲積神經網絡的結構 58
3.1.3 捲積神經網絡的常用架構 65
3.2 循環神經網絡 72
3.2.1 循環神經網絡的基本概念 72
3.2.2 循環神經網絡的應用——語言模型 77
3.2.3 循環神經網絡的梯度問題及解決方法 80
3.2.4 循環神經網絡的改進 84
課後習題 87
參考文獻 89

第4章 生成對抗網絡和深度強化學習 92
4.1 生成對抗網絡 92
4.1.1 生成對抗網絡概述 92
4.1.2 生成對抗網絡的基本原理 94
4.1.3 幾種改進的生成對抗網絡模型 99
4.1.4 生成對抗網絡的應用 103
4.2 強化學習 106
4.2.1 強化學習概述 106
4.2.2 強化學習的決策過程 108
4.2.3 Q-Learning算法 111
4.2.4 深度強化學習 112
課後習題 118
參考文獻 119

第5章 計算機視覺 121
5.1 計算機視覺概述 121
5.1.1 計算機視覺的歷史 122
5.1.2 計算機視覺的挑戰與機遇 123
5.1.3 計算機視覺常見的數據集 125
5.1.4 計算機視覺處理的基本流程 130
5.2 圖像預處理 131
5.2.1 圖像去噪 131
5.2.2 圖像歸一化 133
5.2.3 圖像分割技術 134
5.3 計算機視覺常用的網絡結構 136
5.3.1 圖像分類常用的深度學習網絡結構 136
5.3.2 視頻分類常用的深度學習網絡結構 140
5.3.3 目標檢測常用的深度學習網絡結構 144
課後習題 152
參考文獻 154

第6章 自然語言處理 156
6.1 自然語言處理概述 156
6.1.1 發展歷史 157
6.1.2 自然語言處理的過程 158
6.1.3 基礎技術 160
6.1.4 詞嵌入算法 162
6.1.5 N-gram語言模型 166
6.1.6 註意力機制 167
6.2 自然語言處理的應用模型 171
6.2.1 文本分類 171
6.2.2 自動文本摘要 175
6.2.3 自動問答系統 178
6.2.4 觸發字檢測 181
課後習題 182
參考文獻 183