神經網絡設計與應用

目錄

第1章神經網絡理論基礎1

1.1神經網絡發展簡史2

1.2神經網絡原理3

1.3神經網絡的分類4

1.4神經網絡學習算法6

1.4.1Hebb學習規則6

1.4.2Delta(δ)學習規則6

1.5神經網絡的特征及要素7

1.5.1神經網絡的特征7

1.5.2神經網絡三要素7

1.6神經網絡的設計關鍵技術7

1.7神經網絡的應用領域8

1.8神經網絡典型應用實例8

參考文獻10

思考題11

第2章BP神經網絡設計12

2.1基本原理12

2.2BP網絡算法13

2.2.1BP網絡的輸入/輸出算法13

2.2.2輸入信息的歸一化13

2.2.3多入多出樣本的BP網絡離線學習算法15

2.2.4仿真實例: 樣本的離線訓練與測試16

2.2.5函數在線逼近的BP網絡學習算法20

2.2.6仿真實例: 正弦函數的擬合21

參考文獻23

思考題23

第3章基於工具箱的BP神經網絡訓練與測試24

3.1BP神經網絡訓練24

3.2BP神經網絡測試26

3.3仿真實例26

思考題33

第4章基於BP網絡的數據擬合與誤差補償34

4.1BP網絡的擬合34

4.2數據擬合與誤差補償機理35

4.3仿真實例36

4.3.1BP網絡的訓練與測試36

4.3.2針對測試誤差的BP網絡訓練與測試41

4.3.3實驗數據的誤差補償45

思考題47

第5章模糊BP神經網絡數據擬合與誤差補償48

5.1模糊BP神經網絡48

5.2仿真實例51

5.2.1實驗數據擬合與測試51

5.2.2實驗數據與真實數據之差的擬合與測試55

5.2.3新的實驗數據輸出的補償58

思考題60

第6章RBF神經網絡設計61

6.1基本原理61

6.2網絡結構與算法61

6.3RBF網絡基函數設計實例62

6.3.1結構為151的RBF網絡62

6.3.2結構為251的RBF網絡63

6.4基於梯度下降法的RBF神經網絡逼近64

6.4.1算法設計64

6.4.2仿真實例65

6.5高斯基函數的參數對RBF網絡逼近的影響69

6.6隱含層節點數對RBF網絡逼近的影響74

6.7RBF神經網絡的訓練79

6.7.1RBF神經網絡的離散訓練79

6.7.2仿真實例80

6.8BP神經網絡與RBF神經網絡訓練比較86

6.8.1BP神經網絡測試86

6.8.2RBF神經網絡測試89

參考文獻92

思考題92

第7章模糊RBF神經網絡設計93

7.1模糊神經網絡介紹93

7.2模糊神經網絡的優點及設計關鍵94

7.3網絡結構及算法94

7.4模糊RBF網絡的數據離散擬合95

7.4.1基本原理95

7.4.2仿真實例96

7.5BP神經網絡與模糊神經網絡訓練測試103

7.5.1BP神經網絡103

7.5.2模糊RBF神經網絡106

7.6采用工具箱的模糊RBF神經網絡訓練與測試110

7.6.1ANFIS簡介110

7.6.2仿真實例111

參考文獻113

思考題114

第8章ELM網絡算法設計115

8.1ELM神經網絡的特點115

8.2網絡結構與算法115

8.3ELM網絡的訓練116

8.4仿真實例117

參考文獻121

思考題122

第9章基於高斯基函數特征提取的FELM神經網絡123

9.1FELM網絡結構與算法123

9.2FELM網絡的學習算法123

9.3仿真實例126

參考文獻128

思考題128

第10章基於ELM神經網絡和FELM神經網絡的數據擬合130

10.1數據集的設計130

10.2神經網絡的擬合132

10.3仿真實例132

思考題140

第11章動態遞歸神經網絡設計141

11.1網絡結構141

11.2DRNN網絡的逼近141

11.3仿真實例143

思考題145

第12章帶有動態回歸層的模糊神經網絡147

12.1算法結構147

12.2輸入、輸出算法147

12.3網絡學習算法148

12.4仿真實例149

參考文獻158

思考題158

第13章PiSigma模糊神經網絡設計159

13.1高木關野模糊系統159

13.2PiSigma模糊神經網絡159

13.3網絡離散學習算法161

13.4網絡在線學習算法162

13.5仿真實例162

參考文獻169

思考題170

第14章小腦模型神經網絡設計171

14.1概述171

14.2CMAC網絡結構171

14.3CMAC網絡算法172

14.4仿真實例173

參考文獻176

思考題176

第15章Hopfield神經網絡設計177

15.1Hopfield網絡原理177

15.2Hopfield網絡算法177

15.3基於Hopfield網絡的路徑優化179

15.3.1旅行商問題179

15.3.2求解旅行商問題的Hopfield神經網絡設計179

15.3.3仿真實例180

參考文獻187

思考題187

第16章深度學習算法——卷積神經網絡188

16.1卷積神經網絡的發展歷史188

16.2卷積神經網絡的設計189

16.3數字二值圖像分類的設計191

16.3.1網絡訓練的步驟191

16.3.2網絡訓練參數的配置194

16.4基於CNN的數字識別195

16.4.1問題的提出195

16.4.2仿真實例195

16.5基於卷積神經網絡的數據擬合200

16.5.1基本原理200

16.5.2仿真實例202

16.6卷積神經網絡的發展方向208

參考文獻208

思考題209

第17章基於長短期記憶網絡的擬合與時間序列預測210

17.1LSTM神經網絡簡介210

17.2LSTM原理210

17.3激活函數的選擇212

17.4LSTM的設計與優化212

17.4.1設計方法212

17.4.2梯度消失與爆炸問題212

17.5仿真實例213

17.5.1仿真實現步驟213

17.5.2仿真實例213

17.6未來發展方向221

參考文獻221