神經網絡架構搜索

陳亞冉中科院自動化副研究員，2018年獲中科院自動化博士，同年加入中科院自動化所多模態人工智能全國重點實驗室，2020年晉升副研究員，期間主要從事深度強化學習算法、機器人環境感知和控制研究。在國際**期刊和會議IEEE TNNLS、IEEE TCYB、Info. Sci.、IEEE CIM等發表論文30余篇。曾獲得國際期刊IEEE TCDS 2020年度**優秀論文獎、《控制理論與應用》年度優秀論文獎、IEEE DDCLS 2022優秀論文提名獎。主持國家自然基金青年項目1項，承擔中國科學院戰略性先導科技專項子課題1項和騰訊科技、華為等公司的多項企業項目，所開發算法在華為、銀河水滴等企業成功落地應用。並獲得了2017年中國智能車未來挑戰賽離線測試2項冠軍，2020 IEEE ICRA DJI RoboMaster 全球人工智能挑戰賽感知/導航/決策多賽道3項冠軍，2019年中國“AI+”創新創業大賽總決賽一等獎等。

目錄

 

第1 章緒論 1

1.1 神經網絡架構搜索研究的背景與意義 1

1.2 神經網絡架構搜索研究的現狀 2

1.2.1 搜索空間 2

1.2.2 搜索策略 6

1.2.3 性能評估 10

1.3 未來發展趨勢與展望 11

第2 章深度學習網絡結構基礎 15

2.1 引言 15

2.2 研究現狀 16

2.2.1 卷積神經網絡 16

2.2.2 張量環網絡 20

2.2.3 視覺Transformer 神經網絡 22

2.2.4 寬度學習系統 25

2.3 數據集 26

2.3.1 圖像分類數據集 26

2.3.2 目標檢測數據集 28

第3 章基於模塊化的神經網絡架構搜索 29

3.1 引言 29

3.2 問題描述與研究內容 30

3.3 基於模塊化神經網絡架構搜索框架 30

3.3.1 知識庫 31

3.3.2 結構編碼 32

3.3.3 module 的連接 32

3.4 性能評估 33

3.5 實驗與分析 33

3.5.1 CIFAR-10 的結果 34

3.5.2 CIFAR-100 的結果 35

3.5.3 ImageNet 的對比結果 36

3.5.4 消融實驗 36

3.6 本章小結 39

第4 章基於寬度卷積神經網絡的寬度神經網絡架構搜索 40

4.1 引言 40

4.2 問題描述與研究內容 40

4.3 寬度卷積神經網絡 41

4.3.1 卷積模塊 42

4.3.2 增強模塊 43

4.3.3 多尺度特征融合 43

4.3.4 知識嵌入 43

4.3.5 萬能逼近能力 44

4.3.6 比較: 寬度卷積神經網絡與寬度學習系統 46

4.4 寬度卷積神經網絡變種 46

4.4.1 變種1：BCNN-CCLE 47

4.4.2 變種2：BCNN-CCE  47

4.5 基於強化學習的搜索算法 48

4.6 實驗與分析 49

4.6.1 BCNN 的超參數確定 49

4.6.2 CIFAR-10 圖像分類 51

4.6.3 ImageNet 圖像分類 53

4.6.4 結果分析 54

4.6.5 搜索效率 54

4.7 本章小結 55

第5 章可微分的寬度神經網絡架構搜索 56

5.1 引言 56

5.2 問題描述與研究內容 57

5.2.1 不公平訓練問題 57

5.2.2 性能崩塌問題 58

5.3 可微分的寬度搜索空間 59

5.4 性能崩塌問題的兩種解決方案 60

5.4.1 置信學習率 60

5.4.2 部分通道連接 61

5.5 基於梯度下降的搜索算法 62

5.5.1 BNAS-v2-CLR 62

5.5.2 BNAS-v2-PC 63

5.6 實驗與分析 63

5.6.1 數據集與實驗細節 63

5.6.2 置信因子確定 65

5.6.3 CIFAR-10 圖像分類 66

5.6.4 ImageNet 圖像分類 70

5.6.5 其他數據集圖像分類 73

5.6.6 消融實驗 73

5.7 本章小結 77

第6 章堆疊式寬度神經架構搜索 78

6.1 引言 78

6.2 問題描述與研究內容 79

6.2.1 尺度信息多樣性丟失 79

6.2.2 知識嵌入設計耗時 79

6.3 堆疊式寬度卷積神經網絡 80

6.3.1 基本模塊 80

6.3.2 與BCNN 之間的區別 80

6.3.3 信息流表示 81

6.3.4 通道流圖 81

6.3.5 萬能逼近能力 82

6.4 知識嵌入搜索 83

6.4.1 過參數化知識嵌入模塊 83

6.4.2 學習策略 83

6.5 優化方法 84

6.5.1 連續松弛 84

6.5.2 部分通道連接 84

6.5.3 提前停止策略 85

6.6 實驗與分析 86

6.6.1 數據集與實驗細節 86

6.6.2 CIFAR-10 圖像分類 86

6.6.3 ImageNet 圖像分類 90

6.6.4 其他數據集圖像分類 92

6.6.5 消融實驗 92

6.7 本章小結 94

第7 章基於自適應演化的寬度視覺Transformer 神經網絡架構搜索 95

7.1 引言 95

7.1.1 結構設計 95

7.1.2 結構優化 95

7.2 結構設計問題描述 96

7.3 寬度視覺Transformer 設計 97

7.3.1 骨幹網絡 97

7.3.2 寬度註意力 98

7.4 結構優化問題描述 100

7.5 自適應搜索寬度視覺Transformer 架構算法 102

7.5.1 寬度搜索空間 102

7.5.2 自適應演化 104

7.6 實驗與分析 106

7.6.1 寬度視覺Transformer 實驗結果 106

7.6.2 自適應搜索寬度視覺Transformer 實驗結果 114

7.7 本章小結 120

第8 章基於漸進式演化的張量環網絡架構搜索 122

8.1 引言 122

8.2 問題描述 123

8.2.1 張量環卷積神經網絡 123

8.2.2 張量環長短期記憶網絡 124

8.3 漸進式搜索張量環網絡 125

8.3.1 張量秩搜索空間設計 125

8.3.2 漸進式演化 126

8.3.3 權重繼承 128

8.4 實驗與分析 129

8.4.1 合成實驗 129

8.4.2 MNIST 與FashionMNIST 圖像分類 131

8.4.3 CIFAR-10 與CIFAR-100 圖像分類 133

8.4.4 HMDB51 與UCF11 動作識別 137

8.5 本章小結 139

第9 章基於強化學習搜索的網絡自動剪枝算法 140

9.1 引言 140

9.2 問題定義與描述 140

9.3 基於多層次權重衰減的剪枝方法 141

9.3.1 YOLOv3 模型的模塊級與通道級剪枝 141

9.3.2 殘差模塊-卷積通道疊代剪枝框架 142

9.4 基於強化學習搜索的網絡自動剪枝方法 145

9.4.1 基於強化學習搜索的網絡自動剪枝算法框架 145

9.4.2 模塊級-通道級多層次模型剪枝方案搜索與訓練 147

9.5 實驗與分析 150

9.5.1 實驗設置 150

9.5.2 評估指標 150

9.5.3 結果分析 151

9.6 本章小結 152

參考文獻