深度學習的幾何學 — 信號處理視角 Geometry of Deep Learning: A Signal Processing Perspective

芮鐘喆（Jong Chul Ye）於1999年獲美國普渡大學博士學位，現任韓國科學技術院（Korea Advanced Institute for Science and Technology，KAIST）生物與腦工程系教授和數學科學系兼職教授；長期從事壓縮感知圖像重建、信號處理和機器學習等研究；是IEEE Fellow，IEEE SPS計算成像技術委員會主席；目前是IEEE Transactions on Medical Imaging副主編、IEEE Signal Processing Magazine資深編輯，以及BMC Biomedical Engineering部門編輯；曾擔任2020 IEEE International Symposium on Biomedical Imaging（ISBI）大會共主席，IEEE Transactions on Image Processing、IEEE Transactions on Computational Imaging、Journal of Electronic Imaging副主編，Magnetic Resonance in Medicine編委會成員，以及Physics in Medicine and Biology國際咨詢委員會成員。

第一部分 機器學習基礎

第1章 數學預備知識 2
1.1 度量空間 2
1.2 向量空間 3
1.3 巴拿赫空間與希爾伯特空間 4
1.4 概率空間 7
1.5 矩陣代數 8
1.5.1 Kronecker積 10
1.5.2 矩陣與向量微積分 11
1.6 凸優化基礎 12
1.6.1 基本概念 12
1.6.2 凸集與凸函數 14
1.6.3 次微分 15
1.6.4 凸共軛 16
1.6.5 拉格朗日對偶公式 18
1.7 習題 20
第2章 線性與核分類器 22
2.1 引言 22
2.2 硬間隔線性分類器 23
2.2.1 可分離情況的最大間隔
分類器 23
2.2.2 對偶公式 25
2.2.3 KKT條件與支持向量 26
2.3 軟間隔線性分類器 27
2.4 採用核SVM的非線性
分類器 29
2.4.1 特徵空間中的線性
分類器 29
2.4.2 核技巧 30
2.5 圖像分類的經典方法 31
2.6 習題 32
第3章 線性回歸、邏輯回歸與
核回歸 34
3.1 引言 34
3.2 線性回歸 34
3.3 邏輯回歸 36
3.3.1 對數概率與線性回歸 36
3.3.2 使用邏輯回歸進行
多分類 37
3.4 嶺回歸 38
3.5 核回歸 39
3.6 回歸中的偏差-方差權衡 41
3.7 習題 43
第4章 再生核希爾伯特空間與
表示定理 44
4.1 引言 44
4.2 再生核希爾伯特空間 45
4.2.1 特徵映射和核 46
4.2.2 再生核希爾伯特空間的
定義 47
4.3 表示定理 49
4.4 表示定理的應用 50
4.4.1 核嶺回歸 50
4.4.2 核SVM 51
4.5 核機器的優缺點 53
4.6 習題 53
第二部分 深度學習的構成要素

第5章 生物神經網絡 56
5.1 引言 56
5.2 神經元 56
5.2.1 神經元解剖 56
5.2.2 信號傳輸機制 57
5.2.3 突觸可塑性 58
5.3 生物神經網絡 59
5.3.1 視覺系統 60
5.3.2 Hubel-Wiesel模型 60
5.3.3 Jennifer Aniston細胞 61
5.4 習題 62
第6章 人工神經網絡與反向傳播 64
6.1 引言 64
6.2 人工神經網絡 64
6.2.1 符號約定 64
6.2.2 單個神經元建模 65
6.2.3 多層前饋神經網絡 67
6.3 人工神經網絡訓練 68
6.3.1 問題描述 68
6.3.2 優化器 69
6.4 反向傳播算法 72
6.4.1 反向傳播算法的推導 72
6.4.2 反向傳播算法的幾何
解釋 75
6.4.3 反向傳播算法的變分
解釋 75
6.4.4 局部變分公式 77
6.5 習題 78
第7章 捲積神經網絡 80
7.1 引言 80
7.2 現代捲積神經網絡發展
簡史 81
7.2.1 AlexNet 81
7.2.2 GoogLeNet 81
7.2.3 VGGNet 83
7.2.4 ResNet 83
7.2.5 DenseNet 84
7.2.6 U-Net 84
7.3 捲積神經網絡的基礎構件 85
7.3.1 捲積 85
7.3.2 池化與反池化 87
7.3.3 跳躍連接 89
7.4 訓練捲積神經網絡 90
7.4.1 損失函數 90
7.4.2 數據劃分 90
7.4.3 正則化 91
7.5 捲積神經網絡可視化 92
7.6 捲積神經網絡的應用 94
7.7 習題 95
第8章 圖神經網絡 98
8.1 引言 98
8.2 數學基礎 100
8.2.1 定義 100
8.2.2 圖同構 100
8.2.3 圖著色 101
8.3 相關工作 102
8.3.1 詞嵌入 102
8.3.2 損失函數 105
8.4 圖嵌入 105
8.4.1 矩陣分解方法 106
8.4.2 隨機遊走方法 106
8.4.3 神經網絡方法 107
8.5 WL同構測試與圖神經
網絡 109
8.5.1 WL同構測試 109
8.5.2 圖神經網絡作為WL
測試 110
8.6 總結和展望 111
8.7 習題 111
第9章 歸一化和註意力 113
9.1 引言 113
9.2 歸一化 115
9.2.1 批量歸一化 115
9.2.2 逐層和實例歸一化 116
9.2.3 自適應實例歸一化 117
9.2.4 白化與著色變換 119
9.3 註意力 120
9.3.1 代謝型受體：生物學
類比 120
9.3.2 空間註意力的數學建模 121
9.3.3 通道註意力 123
9.4 應用 124
9.4.1 StyleGAN 124
9.4.2 自註意力GAN 125
9.4.3 註意力GAN 126
9.4.4 圖註意力網絡 127
9.4.5 Transformer 128
9.4.6 BERT 130
9.4.7 GPT 133
9.4.8 視覺Transformer 135
9.5 歸一化與註意力的數學
分析 136
9.6 習題 138

第三部分 深度學習的高級主題

第10章 深度神經網絡幾何學 141
10.1 引言 141
10.2 實例探究 142
10.2.1 單隱層感知器 142
10.2.2 框架表示 143
10.3 捲積小波框架 146
10.3.1 捲積與Hankel矩陣 146
10.3.2 捲積小波框架展開 148
10.3.3 與捲積神經網絡的
聯系 148
10.3.4 深度捲積小波框架 150
10.4 捲積神經網絡的幾何學 152
10.4.1 非線性的作用 152
10.4.2 非線性是歸納學習的
關鍵 153
10.4.3 表達能力 153
10.4.4 特徵的幾何意義 154
10.4.5 自編碼器的幾何理解 159
10.4.6 分類器的幾何理解 161
10.5 尚待解決的問題 161
10.6 習題 163
第11章 深度學習優化 164
11.1 引言 164
11.2 問題描述 164
11.3 Polyak-?ojasiewicz型收斂性
分析 165
11.4 Lyapunov型收斂性分析 169
11.4.1 神經正切核 171
11.4.2 無限寬極限的神經正
切核 172
11.4.3 一般損失函數的神經正
切核 173
11.5 習題 174
第12章 深度學習的泛化能力 175
12.1 引言 175
12.2 數學基礎 175
12.2.1 Vapnik-Chervonenkis界 178
12.2.2 Rademacher復雜度界 180
12.2.3 PAC貝葉斯界 183
12.3 利用雙下降模型協調泛化
?鴻溝 184
12.4 歸納偏置優化 187
12.5 基於算法魯棒性的泛化界 188
12.6 習題 190
第13章 生成模型與無監督學習 192
13.1 引言 192
13.2 數學基礎 193
13.3 統計距離 196
13.3.1 f散度 196
13.3.2 Wasserstein度量 197
13.4 最優傳輸 199
13.4.1 Monge原始公式 199
13.4.2 Kantorovich公式 200
13.4.3 熵正則化 202
13.5 生成對抗網絡 203
13.5.1 GAN的最初形式 203
13.5.2 f–GAN 205
13.5.3 Wasserstein GAN 207
13.5.4 StyleGAN 208
13.6 自編碼器型生成模型 208
13.6.1 ELBO 209
13.6.2 變分自編碼器 209
13.6.3 β–VAE 212
13.6.4 歸一化流與可逆流 213
13.7 通過圖像翻譯進行無監督
?學習 216
13.7.1 Pix2pix 216
13.7.2 CycleGAN 217
13.7.3 StarGAN 219
13.7.4 協同GAN 222
13.8 總結與展望 224
13.9 習題 224
第14章 總結與展望 226
附錄A 專業術語中英文對照表 228
參考文獻 234