人工神經網絡：模型、算法及應用

何春梅
湘潭大學計算機學院（網絡空間安全學院）副教授，自碩士期間開始，研究方向一直是神經網絡理論及應用。是中國計算機學會會員，中國人工智能學會會員，中國計算機學會人工智能專委會委員，中國人工智能學會模式識別專委會委員、中國人工智能學會知識工程與分佈式智能專委會青年委員，湖南省人工智能學會理事，湘潭市首批高層次人才稱號，近年承擔國家自然科學基金項目7項（主持1項，參與6項），主持省級項目3項，主持廳級項目4項，第一作者發表SCI/EI檢索期刊論文16篇，目前為IEEE Trans.On Fuzzy systems, Journal of Intelligent and Fuzzy Systems, International Journal of Machine Learning and Cybernetics, Frontiers of Computer Science等國際期刊審稿人。

第1章緒論 1
1.1 什麼是人工神經網絡 1
1.2 發展歷史 2
1.3 人腦 4
1.4 Hebb法則 7
1.5 神經元模型 7
1.6 神經網絡的拓撲結構 9
1.7 知識表示 11
1.8 神經網絡的學習算法 15
1.9 神經網絡的學習任務 17
1.10 小結 20
參考文獻 21

第2章感知機 22
2.1 引言 22
2.2 實例引入 22
2.3 Rosenblatt感知機 23
2.3.1 感知機的結構 23
2.3.2 單層感知機與多層感知機 23
2.3.3 感知機的學習 27
2.4 最小均方誤差 27
2.4.1 線性回歸問題引入 27
2.4.2 最小均方算法 28
2.5 實戰Iris模式分類 30
2.6 小結 31
參考文獻 32
習題 32

第3章多層前饋神經網絡 33
3.1 引言 33
3.2 多層前饋神經網絡模型結構 33
3.3 BP神經網絡 35
3.3.1 BP神經網絡的介紹 35
3.3.2 BP算法 35
3.3.3 編程實戰 38
3.4 RBF神經網絡 41
3.4.1 什麼是RBF神經網絡 41
3.4.2 RBF神經網絡的學習過程 42
3.4.3 RBF神經網絡與BP神經網絡的區別 42
3.5 泛化能力 43
3.5.1 什麼是泛化 43
3.5.2 如何提高泛化能力 44
3.6 函數逼近 46
3.6.1 通用逼近定理 46
3.6.2 逼近誤差的邊界 46
3.6.3 維數災難 47
3.7 BP算法的優點和缺點 48
3.7.1 BP算法的優點 48
3.7.2 BP算法的缺點 49
3.8 人臉識別應用 50
3.8.1 人臉圖像的小波變換 52
3.8.2 BP神經網絡的分類識別 53
3.8.3 RBF神經網絡的分類識別 53
3.8.4 實驗結果 54
3.9 小結 55
參考文獻 55
習題 56

第4章正則化理論 57
4.1 引言 57
4.2 良態問題的Hadamard條件 58
4.3 正則化理論 58
4.4 正則化網絡 66
4.5 廣義RBF神經網絡 66
4.6 正則化最小二乘估計 69
4.7 半監督學習 71
4.8 正則化參數估計 71
4.9 流形正則化 75
4.10 廣義正則化理論 76
4.11 用半監督學習對模式分類的
實驗 77
4.12 小結 79
參考文獻 80
習題 81

第5章極限學習機模型及應用 84
5.1 引言 84
5.2 預備知識 84
5.2.1 核方法 84
5.2.2 支持向量機 86
5.3 極限學習機模型 91
5.4 核極限學習機 94
5.5 正則極限學習機 95
5.6 基於正則極限學習機的圖像復原 97
5.7 基於正規方程式的核極限學習機 99
5.7.1 模型結構與算法 99
5.7.2 基於NE-KELM的模式識別實驗 101
5.8 基於共軛梯度的核極限學習機 103
5.8.1 共軛梯度法 104
5.8.2 模型結構與算法 104
5.8.3 基於CG-KELM的圖像復原實驗 105
5.9 流形正則化核極限學習機 107
5.9.1 流形正則化核極限學習機的模型結構與算法 107
5.9.2 基於MR-KELM的糖尿病檢測實驗 107
5.10 基於核極限學習機的醫療診斷系統 108
5.10.1 PL-KELM的流程 108
5.10.2 基於PL-KELM的模式識別實驗 110
5.10.3 腫瘤細胞識別系統 111
5.11 小結 112
參考文獻 113
習題 114

第6章形態神經網絡 115
6.1 引言 115
6.2 形態學算法基礎 115
6.2.1 數學形態學的定義 115
6.2.2 數學形態濾波 116
6.3 形態神經網絡模型 117
6.4 形態聯想記憶神經網絡模型及其攝動魯棒性 118
6.4.1 MAM神經網絡的數學基礎與相關定義 118
6.4.2 兩種MAM神經網絡的攝動魯棒性 119
6.5 進化形態神經網絡 123
6.5.1 進化形態神經網絡的學習算法 124
6.5.2 基於進化形態神經網絡的圖像復原 125
6.6 小結 127
參考文獻 127
習題 129

第7章自組織映射 130
7.1 引言 130
7.2 兩個基本的特徵映射模型 131
7.3 SOM概述 132
7.4 特徵映射的性質 137
7.5 核SOM概述 142
7.6 小結 148
參考文獻 149
習題 149

第8章捲積神經網絡模型及應用 151
8.1 引言 151
8.2 捲積神經網絡模型 152
8.2.1 捲積神經網絡的基本結構和原理 152
8.2.2 LeNet-5 159
8.2.3 AlexNet 160
8.2.4 VGGNet 167
8.2.5 Inception 170
8.2.6 ResNet 179
8.2.7 Inception-ResNet 188
8.3 基於捲積神經網絡的白細胞分類 190
8.3.1 白細胞圖像去噪 191
8.3.2 基於k-Means顏色聚類算法的顯微白細胞圖像分割 194
8.3.3 基於改進捲積神經網絡的顯微
白細胞圖像識別 195
8.4 結合捲積神經網絡和極限學習機的人臉識別 200
8.4.1 捲積神經網絡參數訓練 201
8.4.2 正則極限學習機進行圖像分類 202
8.4.3 基於CNN-RELM的人臉識別模型實驗與對比分析 203
8.5 基於深度遷移學習的腫瘤細胞圖像識別 206
8.5.1 引言 206
8.5.2 正則化與遷移學習 207
8.5.3 基於深度遷移學習的腫瘤細胞圖像識別 208
8.6 小結 212
參考文獻 212
習題 213

第9章生成對抗網絡模型 214
9.1 引言 214
9.2 預備知識 214
9.2.1 GAN基礎模型 215
9.2.2 GAN訓練 216
9.2.3 平衡狀態 216
9.2.4 為什麼學習GAN 217
9.2.5 GAN概述 218
9.2.6 顯式密度模型 218
9.2.7 隱式密度模型 218
9.2.8 GAN與其他生成算法比較 218
9.3 GAN的基礎理論 219
9.3.1 GAN的基礎——對抗訓練 219
9.3.2 損失函數 220
9.3.3 訓練過程 220
9.3.4 生成器和鑑別器 221
9.3.5 目標衝突 222
9.3.6 混淆矩陣 222
9.3.7 GAN訓練算法 223
9.4 訓練和常見挑戰 223
9.4.1 評價 223
9.4.2 評價框架 224
9.4.3 Inception Score 225
9.4.4 Frechet Inception Distance（FID） 225
9.4.5 訓練挑戰 226
9.4.6 增加網絡深度 226
9.4.7 各種GAN遊戲設置 227
9.4.8 什麼時候停止訓練 230
9.5 訓練技巧 231
9.5.1 輸入標準化 231
9.5.2 批量標準化 231
9.5.3 理解標準化 231
9.5.4 計算BN 232
9.5.5 梯度懲罰 232
9.5.6 多訓練鑑別器 232
9.5.7 避免稀疏梯度 233
9.5.8 使用軟標籤和帶噪聲的標籤 233
9.6 自註意生成對抗網絡 233
9.6.1 註意力 233
9.6.2 自註意力 235
9.6.3 核心代碼 236
9.7 進化生成對抗網絡 237
9.7.1 基本介紹 237
9.7.2 動機 237
9.7.3 進化算法 238
9.7.4 生成的圖像 240
9.8 生成對抗網絡和遷移學習 240
9.8.1 遷移學習的概念 240
9.8.2 為什麼要遷移學習 241
9.8.3 遷移學習的基本形式 242
9.8.4 GAN和遷移學習的聯繫 243
9.9 對抗領域自適應用於腫瘤圖像診斷 243
9.9.1 對抗領域自適應網絡模型 244
9.9.2 特徵提取器 245
9.9.3 數據集和實驗設置 246
9.9.4 結果分析與討論 246
9.9.5 探討 247
9.10 小結 247
參考文獻 247
習題 249

第10章長短時記憶網絡 250
10.1 引言 250
10.2 RNN 250
10.2.1 RNN的結構模型 250
10.2.2 RNN模型的優缺點 251
10.3 LSTM的結構模型與實現 252
10.4 LSTM的學習算法 253
10.5 LSTM的網絡方程 255
10.6 LSTM的實際應用 257
10.6.1 數據預處理 257
10.6.2 建立模型與訓練 258
10.6.3 結果展示 259
10.7 小結 259
參考文獻 260
習題 260

第11章模糊神經網絡 261
11.1 緒論 261
11.1.1 模糊集合、模糊邏輯理論及其運算 261
11.1.2 模糊邏輯推理 264
11.1.3 FNN概述 267
11.2 訓練模式對的攝動對MFNN的影響 271
11.2.1 FNN中的攝動魯棒性 271
11.2.2 MFNN及其學習算法 273
11.2.3 分析訓練模式對的攝動對MFNN的影響 275
11.3 折線FNN的泛逼近性 279
11.3.1 相關記號與術語 279
11.3.2 折線模糊數 280
11.3.3 三層前饋折線FNN 282
11.3.4 折線FNN對模糊函數的通用逼近性 285
11.3.5 輸入為一般模糊數的折線FNN的通用逼近性 291
11.3.6 一般折線FNN的通用逼近性分析 296
11.4 模糊化神經網絡的學習算法 301
11.4.1 折線FNN的學習算法 302
11.4.2 折線FNN的模糊學習算法 305
11.4.3 正則FNN的學習算法 312
11.5 小結 317
參考文獻 318
習題 319