人工智能系統與實踐

董偉生：

西安電子科技大學人工智能學院教授、博導、副院長，教育部“長江學者”特聘教授。主要從事圖像視頻處理、深度學習和計算機視覺等方面的研究與教學工作。在權威國際期刊和會議上發表論文160余篇，其中在TPAMI、IJCV、IEEE-TIP、CVPR等權威期刊和會議上發表論文80余篇，且論文被引用12 000余次。曾任/現任包括國際頂級期刊IEEE Transactions on Image Processing、SIAM Journal on Imaging Sciences在內的3個期刊的編委、CVPR 2022領域主席。主持包括國家部委重大項目、國家自然科學基金優青、國家自然科學基金重大項目課題等項目；主持教育部人工智能實驗課程虛擬教研室建設、教育部教學資源建設等教改項目。曾入選國家優青、“萬人計劃”青年拔尖、“青年長江學者”等人才項目。以第二完成人身份獲2017年國家自然科學獎二等獎、2013年陜西省科學技術獎一等獎；曾獲2017年陜西省自然科學優秀學術論文一等獎。

【章名目錄】

第 1章 深度學習基礎

第 2章 底層視覺算法

第3章 圖像分類

第4章 圖像邊緣檢測與分割

第5章 計算機視覺算法

第6章 自然語言處理算法

第7章 自然語言處理應用

第8章 深度模型部署

第9章 綜合應用實踐案例

附錄 A　 Python安裝 …………………… 340

附錄 B　 PyTorch安裝與使用…………… 341

 

【詳細目錄】

第 1章 深度學習基礎

1.1　多層感知機介紹 …………………… 002

1.1.1　感知機的定義 ……………… 002

1.1.2　多層感知機中的激活函數 … 003

1.2　卷積神經網絡 ……………………… 006

1.2.1　卷積神經網絡特性與優化方法 ………………………… 007

1.2.2　經典的卷積神經網絡結構 … 014

1.3　 Transformer網絡 ………………… 022

1.3.1　 ViT模型 …………………… 022

1.3.2　 DETR模型 ………………… 025

1.4　深度學習軟件平臺介紹 …………… 032

1.4.1　深度學習框架簡介 ………… 032

1.4.2　 PyTorch深度學習框架 ……… 032

1.4.3　其他深度學習工具 ………… 037

1.5　本章作業 …………………………… 039

1.5.1　習題 ………………………… 039

1.5.2　實驗 ………………………… 039

 

第 2章 底層視覺算法

2.1　低光圖像增強 ……………………… 041

2.1.1　傳統低光圖像增強 ………… 042

2.1.2　基於深度學習的低光圖像增強 ………………………… 044

2.1.3　評價指標 …………………… 047

2.2　圖像超分辨率 ……………………… 049

2.2.1　基於模型的圖像超分辨率方法 ………………………… 049

2.2.2　基於深度學習的圖像超分辨率方法 ………………………… 051

2.3　圖像去噪 …………………………… 055

2.3.1　傳統圖像去噪算法 ………… 056

2.3.2　基於深度學習的圖像去噪算法 ………………………… 058

2.4　圖像去模糊 ………………………… 064

2.4.1　傳統圖像去模糊方法 ……… 065

2.4.2　基於深度學習的圖像去模糊方法 ………………………… 068

2.4.3　圖像去模糊數據集與評價指標 ………………………… 071

2.5　本章作業 …………………………… 072

2.5.1　習題 ………………………… 072

2.5.2　實驗 ………………………… 072

 

第3章 圖像分類

3.1　圖像分類簡介 ……………………… 074

3.2　 MNIST手寫數字識別 …………… 076

3.2.1　 MNIST數據集加載 ………… 076

3.2.2　訓練分類網絡 ……………… 077

3.2.3　模型測試與結果預測 ……… 078

3.3　自然圖像分類 ……………………… 080

3.3.1　貓狗數據集加載和預處理 … 080

3.3.2　 ResNet 分類模型 …………… 083

3.3.3　模型測試與結果預測 ……… 085

3.4　視覺 Transformer圖像分類 ……… 086

3.4.1　 CIFAR-10數據集加載與預處理 ……………………… 087

3.4.2　構建與訓練 ViT模型 ……… 088

3.5　本章作業 …………………………… 091

3.5.1　習題 ………………………… 091

3.5.2　實驗 ………………………… 091

 

第4章 圖像邊緣檢測與分割

4.1　邊緣檢測 …………………………… 094

4.1.1　傳統邊緣檢測方法 ………… 095

4.1.2　基於深度學習的邊緣檢測方法 ………………………… 096

4.1.3　 HED邊緣檢測實踐 ………… 098

4.2　圖像分割 …………………………… 100

4.2.1　基於閾值的方法 …………… 101

4.2.2　基於區域的方法 …………… 102

4.2.3　基於圖論的方法 …………… 105

4.2.4　基於深度學習的方法 ……… 106

4.3　語義分割 …………………………… 107

4.3.1　語義分割經典模型 ………… 108

4.3.2　通用語義分割模型設計 …… 112

4.3.3　語義分割數據集 …………… 115

4.4　實例分割 …………………………… 115

4.4.1　實例分割算法介紹 ………… 116

4.4.2　數據集與評價指標 ………… 118

4.4.3　實例分割研究進展及實踐 … 119

4.5　全景分割 …………………………… 122

4.5.1　全景分割方法 ……………… 123

4.5.2　全景分割評價指標和數據集 ……………………… 123

4.5.3　全景特征金字塔網絡算法框架 ………………………… 124

4.6　本章作業 …………………………… 128

4.6.1　習題 ………………………… 128

4.6.2　實驗 ………………………… 128

 

第5章 計算機視覺算法

5.1　視覺目標檢測 ……………………… 131

5.1.1　兩階段目標檢測原理 ……… 132

5.1.2　兩階段目標檢測算法實現 … 133

5.1.3　單階段目標檢測算法 ……… 139

5.1.4　 SSD目標檢測算法實現 …… 140

5.2　圖像顯著性檢測 …………………… 142

5.2.1　傳統顯著性物體檢測方法 … 143

5.2.2　基於深度學習的顯著性物體檢測方法 ………………………… 143

5.2.3　顯著性物體檢測的典型框架 ………………………… 144

5.3　視覺目標跟蹤 ……………………… 152

5.3.1　單目標跟蹤方法 …………… 152

5.3.2　目標跟蹤實驗 ……………… 154

5.4　人體姿態估計 ……………………… 160

5.4.1　人體姿態分析概述 ………… 160

5.4.2　基於關鍵點回歸的人體姿態估計 ………………………… 161

5.4.3　人體姿態估計實驗 ………… 163

5.5　人臉圖像分析 ……………………… 170

5.5.1　人臉圖像分析概述 ………… 170

5.5.2　人臉關鍵點檢測實驗 ……… 171

5.5.3　人臉表情分析實驗 ………… 179

5.6　本章作業 …………………………… 188

5.6.1　習題 ………………………… 188

5.6.2　實驗 ………………………… 189

 

第6章 自然語言處理算法

6.1　語言模型 …………………………… 191

6.1.1　文本轉換為詞符序列 ……… 191

6.1.2　特殊詞符 …………………… 193

6.1.3　 N元組語言模型 …………… 193

6.2　文本向量表示 ……………………… 196

6.2.1　詞向量模型 ………………… 196

6.2.2　文檔向量 …………………… 202

6.3　文本分類 …………………………… 203

6.3.1　多層感知機與情感分類 …… 203

6.3.2　 Transformer+MLP…………… 207

6.4　文本聚類 …………………………… 207

6.4.1　文本向量距離 ……………… 208

6.4.2　 K-means……………………… 209

6.5　文本生成 …………………………… 211

6.5.1　采樣方法 …………………… 212

6.5.2　典型性采樣 ………………… 212

6.5.3　 Beam Search ………………… 213

6.5.4　解碼策略函數 ……………… 213

6.6　本章作業 …………………………… 215

6.6.1　習題 ………………………… 215

6.6.2　實驗 ………………………… 216

 

第7章 自然語言處理應用

7.1　從文本續寫到對話生成 …………… 218

7.1.1　從文本補全到對話模型 …… 218

7.1.2　對話模板概述 ……………… 219

7.1.3　對話模型部署 ……………… 220

7.2　模型微調 …………………………… 222

7.2.1　有監督微調 ………………… 222

7.2.2　部分參數微調 ……………… 223

7.2.3　 CoLLiE框架安裝與使用 …… 224

7.3　任務指令 …………………………… 228

7.3.1　常見指令 …………………… 228

7.3.2　通過 PPL解答選擇題 ……… 229

7.3.3　上下文學習 ………………… 230

7.4　格式化輸出 ………………………… 232

7.4.1　格式化輸出概述 …………… 232

7.4.2　工具調用 …………………… 233

7.4.3　一致性投票 ………………… 235

7.5　檢索增強 …………………………… 237

7.5.1　 BM25………………………… 237

7.5.2　向量檢索 …………………… 239

7.5.3　內容溯源 …………………… 239

7.6　本章作業 …………………………… 240

7.6.1　習題 ………………………… 240

7.6.2　實驗 ………………………… 240

 

第8章 深度模型部署

8.1　深度模型剪枝 ……………………… 242

8.1.1　模型剪枝簡介 ……………… 242

8.1.2　卷積神經網絡結構化剪枝 … 244

8.1.3　卷積神經網絡稀疏性剪枝 … 249

8.1.4　 Transformer網絡動態剪枝 … 251

8.2　深度模型量化 ……………………… 255

8.2.1　深度模型量化簡介 ………… 255

8.2.2　卷積神經網絡對稱後量化 … 259

8.2.3　卷積神經網絡量化感知訓練 263

8.3　深度學習模型嵌入式平臺部署 …… 266

8.3.1　深度學習模型部署概述 …… 266

8.3.2　模型部署工具 ……………… 268

8.4　本章作業 …………………………… 270

8.4.1　習題 ………………………… 270

8.4.2　實驗 ………………………… 270

 

第9章 綜合應用實踐案例

9.1　智能小車綜合實踐 ………………… 273

9.1.1　智能小車的手勢識別實踐 … 273

9.1.2　智能小車的自動循跡實踐 … 286

9.2　無人機綜合實踐 …………………… 298

9.2.1　實踐整體框架 ……………… 298

9.2.2　實踐軟硬件配置 …………… 299

9.2.3　數據流推流 ………………… 299

9.2.4　目標檢測跟蹤算法 ………… 302

9.2.5　服務器模型部署 …………… 310

9.3　智能安防綜合實踐 ………………… 311

9.3.1　網絡視頻推流簡介 ………… 312

9.3.2　基於 YOLOv5的火災煙霧檢測 ………………………… 317

9.3.3　公共場所人流量統計 ……… 327

9.3.4　目標人物跟蹤 ……………… 334

9.4　本章作業 …………………………… 338

9.4.1　習題 ………………………… 338

9.4.2　實驗 ………………………… 338

 

附錄 A　 Python安裝 …………………… 340

附錄 B　 PyTorch安裝與使用…………… 341

參考文獻…………………………………… 342