深度學習全景：技術與應用解析(微視頻版)

目錄

第1章深度學習基礎1

1.1深度學習概述1

1.2神經網絡原理2

1.2.1神經網絡2

1.2.2激活函數9

1.3優化算法13

1.3.1前向傳播與損失函數13

1.3.2反向傳播14

1.3.3梯度下降16

1.3.4學習率衰減19

1.3.5模型的訓練流程22

1.4過擬合的抑制25

1.4.1過擬合25

1.4.2Dropout27

1.4.3批標準化28

1.4.4權重衰減29

1.4.5早停機制30

第2章卷積神經網絡32

2.1卷積神經網絡概述32

2.2卷積35

2.2.1卷積操作35

2.2.2尺寸、填充與步長41

2.2.3常見卷積42

2.3池化46

2.3.1平均池化46

2.3.2最大池化47

2.3.3自適應池化48

2.4分類器49

2.4.1全連接分類器49

2.4.2全卷積分類器49

2.5卷積神經網絡設計50

2.5.1AlexNet50

2.5.2VGGNet52

2.5.3ResNet55

2.6卷積神經網絡的訓練與分析58

2.6.1訓練流程58

2.6.2可解釋性分析62

第3章循環神經網絡64

3.1RNN64

3.1.1序列數據64

3.1.2遞歸特性65

3.2LSTM68

3.2.1記憶69

3.2.2遺忘門70

3.2.3選擇記憶門70

3.2.4輸出門71

3.2.5LSTM的可視化72

3.3GRU79

3.3.1重置門80

3.3.2更新門81

3.3.3GRU的代碼實現82

3.4應用模式83

3.4.1雙向RNN83

3.4.2多對一85

3.4.3一對多86

3.4.4多對多87

第4章Transformer88

4.1自註意力機制88

4.1.1自註意力機制88

4.1.2註意力機制中的QKV90

4.1.3多頭自註意力機制92

4.1.4掩碼多頭自註意力機制95

4.2Transformer的基本結構95

4.2.1位置編碼95

4.2.2編碼器98

4.2.3解碼器100

4.2.4交叉自註意力機制的應用104

4.3大模型的定義與應用104

4.3.1大模型的定義104

4.3.2大模型的應用105

4.3.3Hugging Face與大模型106

4.4機器翻譯任務中Transformer的訓練109

4.4.1數據集的構建109

4.4.2模型的構建112

4.4.3損失計算與優化114

4.4.4自回歸預測116

第5章計算機視覺技術117

5.1視覺模型117

5.1.1CNN模型117

5.1.2ViT模型119

5.2分類任務123

5.2.1單標簽分類123

5.2.2多標簽分類124

5.2.3分類任務的評估指標126

5.2.4類別不均衡問題128

5.3目標檢測任務129

5.3.1RCNN模型130

5.3.2YOLO模型137

5.3.3DETR模型146

5.4圖像分割任務149

5.4.1語義分割149

5.4.2實例分割152

5.4.3視覺分割大模型SAM155

5.5視覺自監督預訓練157

5.5.1遷移學習與有監督預訓練158

5.5.2SimCLR算法159

5.5.3MAE算法161

5.6視覺實戰探索： 基於輔助訓練的車牌識別研究163

5.6.1引言163

5.6.2相關工作164

5.6.3研究方法166

5.6.4實驗與討論167

第6章時間序列預測技術171

6.1時間序列171

6.1.1時間序列的特性171

6.1.2時間序列特征分解173

6.1.3時間序列的降噪178

6.2時間序列預測任務182

6.2.1短期時間序列預測182

6.2.2長期時間序列預測182

6.2.3異常檢測184

6.2.4時間序列分類184

6.2.5缺失值填補185

6.3時序模型186

6.3.1循環神經網絡模型186

6.3.2時域卷積神經網絡模型191

6.3.3Transformer模型194

6.4時間序列預測任務的評估指標201

6.5時間序列預測實戰探索： 基於PCA降噪特征選擇與LSTM的湖泊溶解

氧含量預測模型研究202

6.5.1引言202

6.5.2基於MIC特征選取方法202

6.5.3湖泊水質溶解氧預測模型構建203

6.5.4實驗205

第7章自然語言處理技術207

7.1自然語言處理任務207

7.1.1文本分類207

7.1.2命名實體識別208

7.1.3機器翻譯208

7.1.4自然語言生成208

7.2文本數據預處理209

7.2.1分詞210

7.2.2去停用詞212

7.2.3文本可視化展示214

7.3文本向量化217

7.3.1TFIDF217

7.3.2獨熱編碼219

7.3.3詞嵌入221

7.4自然語言處理模型225

7.4.1數據填充225

7.4.2循環神經網絡226

7.4.3Transformer227

7.5BERT228

7.5.1模型結構228

7.5.2預訓練微調模式228

7.5.3預訓練方式230

7.5.4模型調用231

7.5.5優勢與意義232

7.6GPT233

7.6.1模型結構233

7.6.2預訓練方式233

7.6.3模型調用234

7.6.4優勢與意義236

7.7NLP實戰探索： 基於BERT的模型的酒店評論文本情感分析研究237

7.7.1引言237

7.7.2數據集237

7.7.3BERT模型的構建237

7.7.4實驗239

第8章多模態技術241

8.1多模態概述241

8.2多模態特征對齊243

8.3多模態輸入融合243

8.3.1拼接或相加244

8.3.2自註意力機制248

8.3.3交叉註意力機制251

8.4跨模態輸出251

8.4.1Seq2Seq251

8.4.2Transformer EncoderDecoder254

8.5CLIP視覺文本多模態255

8.5.1圖像文本特征255

8.5.2損失函數259

8.5.3零樣本分類260

8.6多模態常見任務262

8.6.1圖文檢索262

8.6.2視覺問答263

8.6.3文本圖像生成265

8.6.4多模態目標檢測267

8.7多模態技術實戰探索： 基於CLIP的文本圖像檢索實現269

參考文獻285