Python深度元學習算法

本書全面介紹了深度元學習技術的知識，包括元學習、機器學習、深度學習及其技術平臺和應用案例，給出了一套較為完備的深度元學習框架，並根據作者所在課題組的研究成果提出了一些具有啟發性的元學習算法和思考方向。 全書共9章。第1章主要介紹元學習的基本概念、基本任務和基本類型；第2章系統介紹深度學習的概念、原理和應用，幫助讀者逐步具備一定的深度學習實踐能力；第3章介紹一種簡單的元學習神經網絡——孿生網絡；第4章介紹原型網絡及其各種變體；第5章介紹兩種有趣單樣本元學習算法——關系網絡和匹配網絡；第6章介紹記憶增強神經網絡；第7章進一步介紹饒有趣味且應用廣泛的元學習算法——模型無關元學習及其變種；第8章介紹另外兩種經典的元學習模型——MetaSGD和Reptile；第9章深入介紹元學習的一些新進展與**研究成果——基於樣本抽樣和任務難度自適應的深度元學習理論。全書提供大量應用實例和配套代碼，每章後均附有適量思考題，引發讀者思考和討論。 全書行文淺顯易懂，深入淺出，適合作為高等學校電腦相關專業研究生或高年級本科生開展元學習理論教學，也可供廣大AI技術開發和研究人員參考。

目錄

第1章元學習簡介1

1.1元學習1

1.2元學習的類型2

1.2.1學習度量空間2

1.2.2學習初始化3

1.2.3學習優化器3

1.3嵌套梯度下降法實現元學習4

1.4少樣本學習的優化模型6

1.5小結9

1.6思考題9

參考文獻9第2章深度學習11

2.1深度學習的概念11

2.2深度神經網絡概述12

2.2.1人工神經網絡12

2.2.2深度神經網絡15

2.3捲積神經網絡概述17

2.3.1捲積神經網絡17

2.3.2捲積神經網絡的結構17

2.3.3捲積神經網絡的訓練24

2.3.4VGG——捲積神經網絡的代表性網絡25

2.4循環神經網絡28

2.4.1循環神經網絡概念28

2.4.2長短期記憶（LSTM）網絡30

2.5生成對抗網絡32

2.5.1生成器33

2.5.2判別器34

2.5.3訓練過程35

2.5.4小結36

2.6Transformer及擴散模型37

2.6.1編碼組件38

2.6.2解碼組件39

2.6.3擴散模型40

2.7小結42

2.8思考題43

參考文獻43第3章孿生網絡45

3.1孿生網絡簡介45

3.2孿生網絡的架構47

3.3孿生網絡的衍生48

3.3.1偽孿生網絡49

3.3.2三胞胎連體網絡49

3.3.3三胞胎偽孿生網絡50

3.4孿生網絡的發展及應用51

3.5案例： 利用孿生網絡進行圖像識別52

3.6小結59

3.7思考題59

參考文獻60第4章原型網絡及其變體61

4.1原型網絡61

4.1.1原型網絡的基本算法63

4.1.2用於分類的原型網絡結構64

4.2高斯原型網絡67

4.3半原型網絡69

4.4小結71

4.5思考題72

參考文獻72第5章關系網絡與匹配網絡73

5.1關系網絡73

5.1.1單樣本學習中的關系網絡74

5.1.2少樣本學習中的關系網絡77

5.1.3零樣本學習中的關系網絡78

5.2匹配網絡85

5.3小結86

5.4思考題87

參考文獻87第6章記憶增強神經網絡88

6.1神經圖靈機（NTM）89

6.1.1NTM中的讀、寫機制90

6.1.2尋址機制92

6.2基於NTM的復制任務94

6.2.1NTM模型的初始化94

6.2.2定義讀寫操作97

6.2.3定義尋址機制98

6.2.4定義復制任務100

6.2.5定義訓練函數102

6.2.6實現重復復制105

6.3記憶增強神經網絡（MANN）111

6.3.1MANN的讀操作111

6.3.2MANN的寫操作113

6.3.3MANN的應用114

6.4小結116

6.5思考題116

參考文獻117第7章模型無關元學習及其變種118

7.1MAML118

7.1.1MAML算法121

7.1.2監督學習中的MAML123

7.1.3從頭構建MAML125

7.1.4強化學習中的MAML142

7.2ADML144

7.2.1FGSM144

7.2.2ADML的流程145

7.2.3從頭構建ADML146

7.3CAML151

7.4小結152

7.5思考題153

參考文獻153第8章MetaSGD和Reptile154

8.1MetaSGD簡介154

8.1.1MetaSGD用於監督學習155

8.1.2MetaSGD用於強化學習160

8.2Reptile簡介163

8.2.1Reptile的基本算法164

8.2.2Reptile用於正弦曲線回歸166

8.3小結168

8.4思考題169

參考文獻170第9章新進展與未來方向171

9.1元模仿學習171

9.2任務無關元學習174

9.2.1熵最大化/熵約簡175

9.2.2不平等最小化177

9.3無監督元學習181

9.4樣本抽樣自適應元學習183

9.5任務難度自適應元學習186

9.6小結189

9.7思考題190

參考文獻190