深度學習及其應用

趙衛東，復旦大學計算機科學技術學院副教授，主要負責本科生和各類研究生機器學習、深度學習應用等課程的教學。商務智能被評為上海市精品課程（2012年）、獲得2013年高等教育上海市教學成果獎二等獎和2022年一等獎，獲得2024年第四屆上海市教師教學創新大賽一等獎。入選2023-2024年度高校計算機專業優秀教師獎勵計劃，獲得2022年復旦大學教師教學創新大賽一等獎。獲得2022年教育部-華為智能基座項目深度學習課程優秀課件，入選2024年教育部-華為‘智能基座’優秀教師獎勵計劃，2024年CCF教學案例大賽一等獎，第7屆CCF開源大賽案例賽道特等獎。深度學習及其應用國家一流課程負責人。主持國家自然科學基金2項、國家重點研發計劃子課題、上海市浦江人才以及企業合作課題等40多項。已在Knowledge and Information Systems ,Information Processing & Management等國內外刊物發表論文100多篇。出版著作《智能化的流程管理》以及教材《商務智能（第5版）》《機器學習（第2版）》（十四五工信部規劃教材、復旦大學精品教材）《機器學習案例實戰（第2版）》《Python機器學習實戰案例（第2版）》《數據挖掘實用案例分析（第2版）》《深度學習實戰案例》等10多部。獲得上海市2015年上海市科技進步二等獎。

第 1章 深度學習概論 1

1.1 深度學習的發展歷程 1

1.2 深度學習的算法演進 3

1.3 深度學習的功能 6

1.4 深度學習的應用領域 6

1.5深度學習的發展趨勢 8

習題 9

第 2章 卷積神經網絡 10

2.1 卷積神經網絡概述 10

2.1.1 卷積神經網絡的由來 10

2.1.2 卷積神經網絡的結構 11

2.1.3 卷積神經網絡的訓練 18

2.2 反卷積 20

2.3 常見卷積神經網絡 23

2.3.1 LeNet網絡 23

2.3.2 AlexNet網絡 25

2.3.3 VGG網絡 27

2.3.4 GoogLeNet網絡 29

2.3.5 ResNet網絡 32

2.3.6 ResNeXt網絡 35

2.3.7 DenseNet網絡 36

2.3.8 DarkNet網絡 37

2.3.9 DenseNet網絡 38

2.3.10 SENet網絡 40

2.4 輕量型卷積神經網絡 41

2.4.1 MobileNet網絡 41

2.4.2 ShuffleNet網絡 42

2.4.3 EfficientNet網絡 43

習題 45

第3章 目標檢測與語義分割 46

3.1 目標檢測 46

3.1.1 目標檢測基本概念 46

3.1.2 目標檢測典型算法 47

3.2 圖像分割 62

3.2.1 全卷積神經網絡 62

3.2.2 UNet算法 63

3.2.3 Mask R-CNN算法 65

3.2.4 DeepLab算法 66

習題 69

實驗1 基於Yolov10的智能廚房檢測 69

實驗2 香橙派車道線檢測 74

實驗3 基於DeepLabV3算法的車道檢測 76

第4章 循環神經網絡 81

4.1 循環神經網絡概述 81

4.2 長短期記憶網絡 84

4.3 門限循環單元 90

4.4 循環神經網絡的其他改進 91

習題 95

第5章 自註意力 96

5.1 自註意力基礎 96

5.1.1 常見詞嵌入模型 96

5.1.2 自註意力機制 98

5.1.3 多頭註意力 99

5.1.4 Transformer模型 100

5.2 FlashTransformer模型 102

5.3 ViT算法 107

5.4 BERT模型 108

5.5 混合專家模型 109

5.5.1門控網絡 111

5.5.2專家網絡 113

5.6 無監督深度學習 116

5.6.1 深度信念網絡 116

5.6.2 自動編碼器網絡 118

習題 119

第6章 高級深度學習 120

6.1 生成對抗網絡 120

6.1.1 生成對抗網絡基本原理 120

6.1.2 常見的生成對抗網絡 124

6.2 遷移學習 133

6.3 對偶學習 135

6.4 知識蒸餾 136

6.5 小樣本學習 138

習題 139

實驗4 基於CycleGAN的圖像生成 139

第7章 註意力機制 146

7.1 縮放點積註意力 146

7.2 步幅註意力 148

7.3 固定分解註意力 150

7.4 時序註意力 151

7.5 加性註意力 152

7.6 通道註意力 154

7.7 空間註意力 156

7.8 滑動窗口註意力 157

7.9 交叉註意力 159

7.10視覺註意力 160

習題 161

第8章 圖神經網絡 162

8.1 圖的基本概念 162

8.2 圖神經網絡的基本原理 163

8.3 圖神經網絡的基本特征 164

8.4 圖神經網絡的基本類型 164

8.4.1 圖卷積神經網絡 164

8.4.2 圖註意力網絡 168

8.4.3 圖同構網絡 169

8.5 圖神經網絡的應用 170

習題 172

第9章 大模型基礎 173

9.1大模型的發展 173

9.1.1統計語言模型 174

9.1.2神經網絡模型 174

9.1.3預訓練語言模型 175

9.1.4大語言模型 176

9.2 數據準備與預處理 177

9.2.1數據采集 178

9.2.2數據處理 178

9.2.3質量過濾 179

9.2.4數據去重 179

9.2.5隱私脫敏 180

9.2.6詞元劃分 180

9.3大模型架構 181

9.3.1 Encoder-only 181

9.3.2 Encoder-decoder 182

9.3.3 Decoder-only 183

9.4大模型的優化 184

9.4.1分布式訓練框架 184

9.4.2數據並行 184

9.4.3模型並行 185

9.5大模型微調 192

9.5.1監督微調 192

9.5.2參數高效微調 193

9.6 提示工程 196

9.6.1 Prompt分類 197

9.6.2 Prompt 的要素 197

9.6.3 提示方法 198

9.7 RAG檢索增強 199

9.7.1 RAG任務分級 200

9.7.2 檢索模塊 202

9.7.3 生成模塊 204

習題 204

實驗5 大模型合同審核 205

第 10章 綜合實驗：大型高分辨率集體照人臉檢測與識別 208

10.1 實驗概要 208

10.1.1 實驗目的 208

10.1.2 實驗內容 209

10.2 實驗步驟 209

10.2.1 數據集準備及數據預處理 210

10.2.2 大型集體照剪裁 212

10.2.3 YOLOX人臉檢測模型微調 213

10.2.4 基於YOLOX的人臉檢測模型推理部署 220

10.2.5 人臉識別 222

10.2.6 打印集體照人名 226

10.2.7 智能點名 230

10.2.8 表情識別和閉眼檢測 237

10.3 香橙派開發板實驗 240

10.3.1 鏡像燒錄 240

10.3.2 啟動開發板的步驟 241

10.3.3 CANN升級 242

10.3.4 MindSpore升級 244

10.3.5 代碼環境配置 245

10.3.6 模型格式轉換 246

10.4 結果驗證 247

習題 253