深入理解 AutoML 和 AutoDL：構建自動化機器學習與深度學習平臺

王健宗
大型金融集團科技公司深度學習平臺和AutoML平臺負責人，中國人工智能開源軟件發展聯盟副理事長，美國佛羅裏達大學人工智能博士後，曾任美國萊斯大學電子與計算機工程系研究員，專註於聯邦學習和人工智能在金融、保險、投資、銀行和醫療等領域的研發工作，發表聯邦學習、深度學習、雲計算和大數據等領域國際論文30餘篇，以及發明專利200餘項。多屆國內知名大數據、人工智能、金融科技和聯邦學習會議論壇主席和出品人。
瞿曉陽
華中科技大學計算機系統結構博士，美國中佛羅裏達大學訪問學者，大型金融集團科技公司資深算法工程師，一直從事機器學習、大數據、體系結構方面的研究工作，在AutoML平臺、面向AI的雲原生架構、高性能計算、高效能存儲系統等方面經驗豐富。近幾年，在國際頂級會議和頂級期刊發表過多篇文章，擔任過多個國際頂級期刊的評委。

讚譽
前言
第1章　人工智能概述1
1.1　全面瞭解人工智能1
1.1.1　人工智能定義1
1.1.2　弱人工智能、強人工智能與超人工智能2
1.1.3　人工智能三大主義3
1.1.4　機器學習與深度學習4
1.2　人工智能發展歷程5
1.3　深度學習的崛起之路7
1.3.1　人臉識別的起源7
1.3.2　自動駕駛的福音7
1.3.3　超越人類的AI智能體8
1.3.4　懂你的AI8
1.3.5　奔跑、飛行以及玩遊戲的AI8
1.3.6　人人都可以創造屬於自己的AI8
1.4　深度學習的發展9
1.4.1　計算機視覺9
1.4.2　自然語言處理10
1.4.3　語音識別11
1.5　下一代人工智能11
1.6　參考文獻13
第2章　自動化人工智能14
2.1　AutoML概述14
2.1.1　什麼是自動化14
2.1.2　AutoML的起源與發展15
2.2　AutoML的研究意義17
2.2.1　AutoML的研究動機17
2.2.2　AutoML的意義和作用18
2.3　現有AutoML平臺產品21
2.3.1　谷歌Cloud AutoML21
2.3.2　百度EasyDL23
2.3.3　阿裡雲PAI24
2.3.4　探智立方DarwinML28
2.3.5　第四範式AI ProphetAutoML29
2.3.6　智易科技30
2.4　參考文獻31
第3章　機器學習概述32
3.1　機器學習的發展32
3.1.1　機器學習名字的由來32
3.1.2　機器學習的前世今生33
3.1.3　機器學習的理論基礎34
3.2　機器學習的實現方法36
3.2.1　分類問題36
3.2.2　回歸問題38
3.2.3　聚類問題39
3.3　自動化機器學習40
3.3.1　機器學習面臨的問題40
3.3.2　為什麼會產生AutoML41
3.4　參考文獻41
第4章　自動化特徵工程43
4.1　特徵工程43
4.1.1　什麼是特徵43
4.1.2　什麼是特徵工程44
4.2　特徵工程處理方法45
4.2.1　特徵選擇45
4.2.2　數據預處理47
4.2.3　特徵壓縮48
4.3　手工特徵工程存在的問題49
4.4　自動化特徵工程50
4.4.1　什麼是自動化特徵工程50
4.4.2　機器學習和深度學習的特徵工程51
4.5　自動化特徵工程生成方法52
4.5.1　深度特徵合成算法52
4.5.2　Featuretools自動特徵提取52
4.5.3　基於時序數據的自動化特徵工程56
4.6　自動化特徵工程工具67
4.6.1　自動化特徵工程系統67
4.6.2　自動化特徵工程平臺71
4.7　參考文獻75
第5章　自動化模型選擇76
5.1　模型選擇76
5.2　自動化模型選擇77
5.2.1　基於貝葉斯優化的自動化模型選擇78
5.2.2　基於進化算法的自動化模型選擇84
5.2.3　分佈式自動化模型選擇86
5.2.4　自動化模型選擇的相關平臺92
5.3　自動集成學習94
5.3.1　集成學習基礎94
5.3.2　集成學習之結合策略97
5.3.3　自動化模型集成98
5.4　參考文獻99
第6章　自動化超參優化101
6.1　概述101
6.1.1　問題定義103
6.1.2　搜索空間103
6.1.3　搜索策略103
6.1.4　評價預估104
6.1.5　經驗遷移加速105
6.2　基本方法105
6.2.1　網格搜索105
6.2.2　隨機搜索105
6.3　基於模型的序列超參優化106
6.3.1　代理模型的選擇108
6.3.2　代理模型的更新108
6.3.3　新超參組的選擇109
6.3.4　基於高斯過程回歸的序列超參優化111
6.3.5　基於隨機森林算法代理的序列超參優化112
6.3.6　基於TPE算法的序列超參優化114
6.3.7　SMBO的進階技巧114
6.4　基於進化算法的自動化超參優化115
6.4.1　基於進化策略的自動化超參優化115
6.4.2　基於粒子群算法的自動化超參優化116
6.5　基於遷移學習的超參優化加速方法117
6.5.1　經驗遷移機制117
6.5.2　經驗遷移衰退機制117
6.5.3　經驗遷移權重機制117
6.5.4　優化過程的試點機制118
6.6　參考文獻118
第7章　深度學習基礎120
7.1　深度學習簡介120
7.1.1　什麼是神經元120
7.1.2　人工神經網絡的發展歷程121
7.1.3　深度學習方法123
7.2　捲積神經網絡簡介123
7.2.1　捲積層123
7.2.2　池化層125
7.2.3　全連接層126
7.3　CNN經典模型126
7.3.1　LeNet126
7.3.2　AlexNet127
7.3.3　VGGNet128
7.3.4　GoogLeNet129
7.3.5　ResNet130
7.3.6　DenseNet131
7.4　循環神經網絡132
7.4.1　基本循環神經模型132
7.4.2　LSTM模型133
7.4.3　GRU模型134
7.5　參考文獻134
第8章　自動化深度學習概述136
8.1　深度學習vs自動化深度學習136
8.2　什麼是NAS136
8.2.1　問題定義137
8.2.2　搜索策略139
8.2.3　加速方案140
8.3　NAS方法分類140
第9章　基於強化學習的AutoDL142
9.1　強化學習基礎142
9.1.1　強化學習簡介142
9.1.2　基本要素及問題定義144
9.1.3　發展歷史144
9.1.4　基本方法146
9.2　兩類基本模型147
9.2.1　TD經典算法148
9.2.2　DQN系列算法149
9.2.3　策略梯度算法152
9.3　強化學習之Actor-Critic系列154
9.3.1　Actor-Critic算法154
9.3.2　確定性策略梯度155
9.3.3　深度確定性策略梯度157
9.3.4　異步優勢Actor-Critic算法158
9.3.5　近端策略優化160
9.3.6　分佈式近端策略優化164
9.4　基於強化學習的自動搜索166
9.5　基本搜索方法166
9.5.1　基於層的搜索166
9.5.2　基於塊的搜索169
9.5.3　基於連接的搜索171
9.6　進階搜索方法173
9.6.1　逆強化學習173
9.6.2　圖超網絡174
9.6.3　蒙特卡洛樹搜索175
9.6.4　知識提煉（教師網絡）177
9.7　參考文獻179
第10章　基於進化算法的AutoDL181
10.1　啟發式算法181
10.1.1　隨機搜索182
10.1.2　近鄰搜索183
10.1.3　進化計算187
10.1.4　啟發式算法的局限性189
10.2　初代進化算法190
10.2.1　基本術語190
10.2.2　基礎算子191
10.2.3　遺傳算法196
10.2.4　進化策略198
10.2.5　進化規劃199
10.3　其他近代進化算法200
10.3.1　遺傳編程算法簇200
10.3.2　群體算法以PSO為例205
10.3.3　文化基因算法207
10.3.4　差分進化算法208
10.3.5　分佈估計算法208
10.4　進化神經網絡209
10.4.1　簡介209
10.4.2　神經網絡編碼方式210
10.4.3　競爭約定211
10.4.4　網絡結構的創新性212
10.4.5　NAS之進化算法212
10.5　細粒度的神經進化（NEAT算法）213
10.5.1　基因編碼214
10.5.2　基因的可追溯性216
10.5.3　通過物種形成保護創新結構216
10.6　粗粒度的神經進化（CoDeep-NEAT算法）218
10.6.1　DeepNEAT算法218
10.6.2　CoDeepNEAT算法219
10.7　block-level的進化220
10.7.1　Genetic CNN算法220
10.7.2　CGP-CNN方法222
10.8　基於node-level的網絡架構進化224
10.8.1　思想簡介224
10.8.2　基本算法設計225
10.8.3　信息覆用與加速226
10.9　基於NAS搜索空間的網絡架構進化227
10.9.1　思想簡介227
10.9.2　基本算法設計227
10.9.3　信息覆用與加速228
10.10　基於層次拓撲表示的網絡進化方法228
10.10.1　思想簡介228
10.10.2　分級表示229
10.10.3　隨機的層次分級進化230
10.11　參考文獻230
第11章　AutoDL高階233
11.1　搜索加速之權值共享法233
11.1.1　ENAS233
11.1.2　基於稀疏優化的NAS235
11.2　基於one-shot模型的架構搜索236
11.2.1　超網絡的應用236
11.2.2　基於one-shot的搜索237
11.2.3　實例級架構搜索238
11.2.4　單路徑超網絡240
11.3　搜索加速之代理評估模型241
11.3.1　代理模型241
11.3.2　PNAS中的LSTM代理242
11.4　基於網絡態射法的神經架構搜索244
11.4.1　網絡態射的提出244
11.4.2　什麼是網絡態射244
11.4.3　網絡態射 迂迴爬山法246
11.5　可微分神經架構搜索247
11.5.1　可微分神經架構搜索的來源247
11.5.2　可微分神經架構搜索的方法248
11.6　參考文獻250
第12章　垂直領域的AutoDL252
12.1　AutoCV252
12.1.1　Auto-DeepLab（圖像語義分割）252
12.1.2　隨機連線神經網絡257
12.2　AutoVoice261
12.2.1　關鍵詞定位問題定義261
12.2.2　隨機自適應架構搜索原理262
12.2.3　SANAS模型262
12.3　AutoNLP263
12.3.1　什麼是自註意力機制263
12.3.2　初識Transformer模型265
12.3.3　Evolved Transformer結構266
12.4　參考文獻270
第13章　自動化模型壓縮與加速271
13.1　從生物角度看模型壓縮的重要性271
13.1.1　人腦神經元的修剪271
13.1.2　大腦的冗餘性272
13.1.3　修剪的意義273
13.2　模型壓縮發展概述274
13.3　入門級方法：量化技術275
13.3.1　量化技術275
13.3.2　二值化網絡276
13.3.3　TensorRT277
13.4　初級方法：修剪法278
13.4.1　修剪法278
13.4.2　修剪與修覆279
13.5　中級方法：稀疏化技術281
13.5.1　正則化281
13.5.2　知識精煉281
13.5.3　張量分解281
13.6　高級方法：輕量級模型設計284
13.6.1　簡化捲積操作284
13.6.2　深度可分離捲積285
13.6.3　改進的Inception287
13.7　自動化模型壓縮技術289
13.7.1　AMC算法289
13.7.2　PocketFlow框架291
13.8　基於AutoDL的輕量級模型292
13.8.1　問題定義292
13.8.2　帕累托最優問題293
13.8.3　進化算法的應用294
13.8.4　強化學習的應用296
13.8.5　可微分架構搜索298
13.9　參考文獻300
第14章　元學習302
14.1　什麼是元學習302
14.1.1　基本介紹302
14.1.2　經典案例303
14.1.3　深入瞭解元學習304
14.1.4　元學習應用的發展306
14.2　元學習的通用流程306
14.2.1　基本定義306
14.2.2　流程框架306
14.3　從模型評估中學習307
14.3.1　任務無關推薦308
14.3.2　參數空間設計308
14.3.3　參數轉換309
14.3.4　學習曲線310
14.4　從任務屬性中學習310
14.4.1　元特徵310
14.4.2　學習元特徵311
14.4.3　相似任務的熱啟動優化311
14.4.4　元模型311
14.4.5　管道合成312
14.4.6　是否調整312
14.5　從先前模型中學習312
14.5.1　遷移學習313
14.5.2　神經網絡中的元學習313
14.5.3　小樣本學習314
14.5.4　監督學習之外的方法315
14.6　基於模型的方法316
14.6.1　記憶增強神經網絡316
14.6.2　元網絡317
14.6.3　模型無關的元學習方法317
14.6.4　利用註意力機制的方法319
14.6.5　基於時間捲積的方法320
14.6.6　基於損失預測的方法321
14.6.7　元強化學習321
14.7　基於度量的方法322
14.7.1　Siamese網絡322
14.7.2　匹配網絡324
14.7.3　關系網絡324
14.7.4　原型網絡325
14.8　基於優化的方法326
14.8.1　基於LSTM網絡的元學習者326
14.8.2　未知模型的元學習326
14.8.3　Reptile：可擴展元學習方法327
14.8.4　基於梯度預測的方法327
14.9　參考文獻329
結束語332