深度學習

目錄

 

 

 

第1章概述/1

1.1深度學習的發展過程2

1.1.1深度學習的起源2

1.1.2深度學習的發展3

1.1.3深度學習的爆發3

1.2機器學習基礎4

1.2.1機器學習方式5

1.2.2機器學習的主要流派與演化過程9

1.2.3泛化能力與增強方法10

1.2.4模型性能評價指標13

1.2.5相似性度量與誤差計算15

1.3神經網絡模型基礎21

1.3.1神經網絡模型及特點21

1.3.2學習方式與學習規則26

1.3.3深度學習模型34

1.4計算圖38

1.4.1計算圖的基本組成部分38

1.4.2構建計算圖的過程38

1.4.3計算圖的優勢39

本章小結39

第2章前饋神經網絡/40

2.1分類模型40

2.1.1分類系統40

2.1.2判別函數41

2.1.3線性不可分的分類42

2.2感知機43

2.2.1離散感知機43

2.2.2連續感知機45

2.3BP神經網絡47

2.3.1多層感知機結構47

2.3.2誤差反向傳播算法48

2.3.3Dropout方法53

2.3.4回歸神經網絡53

本章小結55

第3章卷積神經網絡/57

3.1卷積神經網絡的產生57

3.1.1問題的提出58

3.1.2卷積神經網絡的特點58

3.2卷積神經網絡的結構59

3.2.1CNN的系統結構60

3.2.2輸入層60

3.2.3卷積層62

3.2.4池化層68

3.2.5輸出層69

3.3卷積神經網絡的訓練71

3.3.1CNN的訓練過程71

3.3.2CNN的正向傳播過程72

3.3.3CNN的反向傳播過程72

3.3.4CNN的權值更新73

3.4逆卷積神經網絡75

3.4.1逆池化與逆卷積76

3.4.2逆池化運算76

3.4.3逆卷積運算77

3.5卷積神經網絡的應用79

3.5.1CNN應用特點79

3.5.2CNN的應用領域80

本章小結80

第4章循環神經網絡/81

4.1循環神經網絡概述81

4.1.1循環神經網絡原理82

4.1.2循環神經網絡的記憶能力82

4.2循環神經網絡的結構83

4.2.1埃爾曼神經網絡83

4.2.2單向循環神經網絡83

4.2.3雙向循環神經網絡87

4.2.4BPTT算法88

4.2.5堆疊循環神經網絡91

4.3RNN的I/O模式91

4.3.1序列到類別模式91

4.3.2同步的序列到序列模式92

4.3.3異步的序列到序列模式92

4.4長短期記憶模型93

4.4.1RNN的記憶能力與長期依賴93

4.4.2LSTM結構94

4.4.3模型參數的調節方法96

4.5基於RNN的語言模型97

4.5.1文本處理的編碼解碼框架97

4.5.2註意力模型98

4.5.3BiRNN註意力模型102

4.5.4詞嵌入與詞嵌入算法102

本章小結108

第5章深度殘差神經網絡/109

5.1深度殘差神經網絡基礎109

5.1.1逐層歸一化109

5.1.2殘差與殘差分析111

5.1.3深度殘差網絡的提出112

5.2殘差模塊112

5.2.1殘差模塊的結構112

5.2.2殘差模塊的類型114

5.2.3殘差模塊的優勢116

5.3ResNet模型117

5.3.1ResNet結構117

5.3.2ResNet參數解析118

5.4DenseNet網絡121

5.4.1DenseNet網絡結構121

5.4.2DenseNet與ResNet的比較122

5.5深度殘差收縮網絡123

5.5.1深度殘差收縮網絡的結構124

5.5.2軟閾值化124

5.5.3深度殘差收縮網絡的殘差模塊125

本章小結125

第6章Transformer模型/127

6.1Transformer模型的特點與自註意力機制127

6.1.1Transformer模型的特點127

6.1.2自註意力機制128

6.1.3多頭註意力機制134

6.2Transformer模型結構138

6.2.1Transformer模型總體架構138

6.2.2位置向量139

6.2.3編碼器塊140

6.2.4解碼器塊142

6.3Transformer模型的工作過程與訓練147

6.3.1Transformer模型的工作過程147

6.3.2Transformer模型的訓練153

6.3.3Transformer模型的並行訓練與測試155

本章小結157

第7章生成對抗網絡/158

7.1GAN概述158

7.1.1GAN的產生背景158

7.1.2GAN的基本原理159

7.2GAN算法流程160

7.2.1GAN工作過程160

7.2.2GAN結構162

7.3GAN訓練163

7.3.1GAN訓練特點163

7.3.2GAN訓練過程163

7.3.3損失函數164

7.3.4GAN優化166

7.3.5條件生成對抗網絡168

7.4多種形式的GAN168

7.4.1多判別器單生成器模型168

7.4.2單判別器多生成器模型169

7.4.3多判別器多生成器模型169

7.5GAN的優點和應用場景170

7.5.1GAN的優點170

7.5.2GAN的應用場景170

本章小結172

第8章深度信念網絡/173

8.1DBN的產生與發展173

8.1.1DBN的產生173

8.1.2DBN的發展173

8.2玻爾茲曼機與受限玻爾茲曼機174

8.2.1玻爾茲曼機174

8.2.2受限玻爾茲曼機177

8.2.3受限玻爾茲曼機訓練181

8.3DBN的結構與訓練183

8.3.1DBN的結構183

8.3.2DBN的訓練184

本章小結188

第9章膠囊神經網絡/189

9.1膠囊神經網絡的產生背景189

9.1.1CNN的缺陷189

9.1.2膠囊方法的提出190

9.2膠囊方法原理190

9.2.1膠囊190

9.2.2膠囊工作過程194

9.3膠囊間動態路由算法196

9.3.1膠囊間動態路由計算197

9.3.2膠囊間動態路由算法的描述198

9.4膠囊神經網絡架構舉例204

9.4.1手寫數字識別的簡單膠囊網絡架構204

9.4.2CapsNet膠囊神經網絡架構205

本章小結208

第10章自編碼器/209

10.1自編碼器概述209

10.1.1表征學習209

10.1.2自編碼器工作原理210

10.2常用自編碼器212

10.2.1欠完備的自編碼器213

10.2.2稀疏自編碼器214

10.2.3棧式自編碼器215

10.2.4去噪自編碼器219

10.2.5變分自編碼器221

10.3深度自編碼器224

10.3.1基於多層BP網絡的深度自編碼器224

10.3.2基於CNN的深度自編碼器225

10.4深度自編碼器應用226

10.4.1主要應用場景226

10.4.2典型應用226

本章小結227

第11章強化學習/228

11.1強化學習原理229

11.1.1智能體及其特性229

11.1.2RL模型與工作過程230

11.1.3RL算法分類232

11.2SARSA算法234

11.2.1SARSA算法基本原理234

11.2.2SARSA算法流程236

11.2.3SARSA(λ)算法238

11.3QLearning算法240

11.3.1QLearning算法基本原理240

11.3.2QLearning算法流程242

11.3.3QLearning算法與SARSA算法的比較243

11.4策略梯度算法244

11.4.1基於價值的RL算法的局限性244

11.4.2基於策略的算法244

11.4.3蒙特卡洛策略梯度過程244

11.5ActorCritic算法245

11.5.1ActorCritic算法的基本原理245

11.5.2ActorCritic算法流程246

11.6強化學習算法247

11.6.1深度Q網絡算法247

11.6.2深度確定性策略梯度算法248

11.7RL的應用249

11.7.1RL應用的方法249

11.7.2RL應用的流程250

11.7.3RL應用的領域250

本章小結251

第12章脈沖神經網絡/252

12.1脈沖神經元252

12.1.1類腦計算252

12.1.2SNN與脈沖神經元253

12.1.3SNN的特點257

12.2SNN的結構與編碼258

12.2.1SNN的結構258

12.2.2信號轉換259

12.3SNN數據集與工作負載261

12.3.1ANN數據集與SNN數據集261

12.3.2工作負載262

12.3.3SNN評價263

12.4SNN的訓練264

12.4.1SNN的無監督學習264

12.4.2SNN的監督學習267

12.4.3SNN的強化學習與進化方法269

本章小結270

第13章遷移學習/271

13.1遷移學習概述271

13.1.1同分布數據271

13.1.2遷移學習原理273

13.2遷移學習分類與實現275

13.2.1遷移學習分類準則275

13.2.2典型的遷移學習277

13.2.3遷移學習的實現280

13.3深度遷移學習281

13.3.1深度網絡的可遷移性281

13.3.2深度遷移學習的自適應方法285

13.3.3生成對抗遷移網絡289

13.4遷移學習的應用場景與方法291

13.4.1遷移學習的應用場景292

13.4.2遷移學習的方法292

本章小結293

第14章元學習/294

14.1元學習概述294

14.1.1元學習的基本原理294

14.1.2元學習的基本特點295

14.2元學習方法297

14.2.1元學習的主要工作297

14.2.2元學習的過程300

14.3MAML模型302

14.3.1MAML的相關概念302

14.3.2MAML算法分析304

14.3.3MAML算法流程305

14.4小樣本學習307

14.4.1問題的提出與先驗範式的構建307

14.4.2小樣本學習方法308

14.4.3小樣本相似度學習311

本章小結314

第15章大語言模型/315

15.1大語言模型的產生與發展315

15.1.1語言模型的發展315

15.1.2語言模型的分類320

15.1.3大語言模型的特性與技術突破320

15.2預訓練語言模型322

15.2.1常見的預訓練語言模型322

15.2.2預訓練模型的訓練325

15.2.3預訓練語言模型架構331

15.3大語言模型類型與湧現能力335

15.3.1靜態詞向量與動態詞向量335

15.3.2大語言模型類型劃分336

15.3.3大語言模型的擴展法則與湧現能力337

15.4GPT大語言模型341

15.4.1GPT大語言模型結構與訓練過程341

15.4.2ChatGPT的功能與特性347

15.4.3稀疏註意力模式350

15.4.4人類反饋強化學習352

15.4.5近端策略優化算法355

15.4.6提示詞工程359

15.5DeepSeek大語言模型365

15.5.1DeepSeek定位365

15.5.2DeepSeek核心技術365

15.5.3DeepSeek訓練與部署366

15.5.4DeepSeek行業應用367

本章小結367

參考文獻/368