圖像處理與模式識別：理論、方法和實踐

"王一丁，北方工業大學信息與通信工程一級學科責任教授，博士生導師，2009年入選北京市市級高層次學術創新人才，圖像處理與智能識別科研團隊負責人，人工智能學會專委委員，計算機學會專委委員，北京圖像圖形學會理事。研究方向包括生物特徵識別、機器視覺與應用和智慧醫療與人工智能等。主持國家863計劃2項，國家自然科學基金6項，國防預先研究項目1項，中科院知識創新工程1項，參與國家973計劃、國家863重點計劃和國家科技支撐計劃3項，獲得授權發明專利11項，發表學術論文100餘篇，出版專著2部，教材1部，獲中國有色金屬工業科學技術獎1等獎和2等獎，獲北京市高等教育教學成果2等獎。培養研究生60餘名，畢業博士2人，在讀2人。 崔家禮，北方工業大學信息學院教師。研究方向包括人工智能、計算機視覺與應用等。主持國家級項目1項，省部級項目2項，獲得授權發明專利1項，發表學術論文20餘篇。培養研究生20餘名，在讀9人。 於仕琪，南方科技大學計算機科學與工程系副教授，主要研究方向為計算機視覺，有近20年OpenCV社區參與經歷及豐富的教學經驗。 "

目　　錄

第Ⅰ部分　實踐環境

第1 章　實踐硬件環境   3

1.1　概述   3

1.2　PC 平臺   3

1.3　嵌入式平臺   5

1.3.1　MVB-NCUT 機器視覺實驗箱構成和說明   5

1.3.2　VIM3 開發板   9

1.3.3　樹莓派硬件平臺介紹   13

第2 章　實踐軟件環境   18

2.1　概述   18

2.2　Ubuntu Linux   18

2.2.1　誕生和定位   18

2.2.2　特點   19

2.3　OpenCV 電腦視覺庫   20

2.3.1　簡要介紹   20

2.3.2　OpenCV 的優勢   21

2.4　Python 相關依賴庫   22

2.4.1　OpenCV-Python   22

2.4.2　NumPy   23

2.4.3　Sys   24

2.4.4　Argparse   24

2.5　常見問題和解決方案   24

2.5.1　Khadas VIM3 開發板安裝Ubuntu 系統   25

2.5.2　Ubuntu 下OpenCV 的安裝   26

2.5.3　Ubuntu 下python 依賴庫下載方法   28

第Ⅱ部分　圖像處理實踐   31

第3 章　圖像的基本操作   33

3.1　概述   33

3.2　圖像及基本操作   33

3.2.1　 圖像   34

3.2.2　OpenCV 中的圖像基本操作函數   37

3.3　圖像基本操作示例   40

3.3.1　實驗準備   40

3.3.2　圖像讀寫實例   40

3.3.3　視頻讀取實例   42

3.3.4　視頻文件創建實例   45

3.4　小結   48

3.5　實踐習題   48

第4 章　圖像的幾何變換   49

4.1　概述   49

4.2　圖像幾何變換基礎   49

4.2.1　幾何變換   49

4.2.2　幾何變換原理   50

4.2.3　插值原理   51

4.2.4　OpenCV 中的幾何變換函數   53

4.3　幾何變換示例   55

4.3.1　實驗準備   55

4.3.2　常用幾何變換實例   56

4.3.3　計算仿射變換矩陣   61

4.4　小結   63

4.5　實踐習題   64

第5 章　圖像濾波實踐   67

5.1　概述   67

5.2　圖像濾波基礎   67

5.2.1　圖像濾波   67

5.2.2　捲積   69

5.2.3　濾波方法   69

5.2.4　OpenCV 中的圖像濾波函數   75

5.3　圖像濾波示例   77

5.3.1　實驗準備   77

5.3.2　常用圖像濾波實例   77

5.4　小結   79

5.5　實踐習題   80

第6 章　圖像邊緣檢測實踐   81

6.1　概述   81

6.2　邊緣檢測理論基礎   81

6.2.1　邊緣檢測   82

6.2.2　瞭解邊緣   82

6.2.3　圖像梯度   82

6.2.4　常用算子   83

6.2.5　OpenCV 中的邊緣檢測函數   86

6.3　邊緣檢測示例   89

6.3.1　實驗準備   89

6.3.2　邊緣檢測實例   89

6.4　小結   93

6.5　實踐習題   93

第7 章　特徵提取與匹配實踐   95

7.1　概述   95

7.2　特徵提取與匹配基礎知識   96

7.2.1　SIFT 特徵提取算法   96

7.2.2　特徵匹配   113

7.3　特徵提取與匹配示例   117

7.3.1　實驗準備   117

7.3.2　SIFT 特徵提取實例   117

7.3.3　暴力匹配方法實例   119

7.3.4　快速最近鄰方法實例   122

7.4　小結   125

7.5　實踐習題   125

第Ⅲ部分　模式識別實踐   128

第8 章　人臉識別實踐   129

8.1　概述   129

8.2　人臉識別基礎   130

8.2.1　人臉識別原理   130

8.2.2　基於傳統方法人臉檢測   131

8.2.3　基於深度學習方法的人臉檢測   133

8.2.4　人臉對齊   135

8.2.5　人臉特徵提取與比對   136

8.3　人臉識別操作示例   137

8.3.1　實驗準備   137

8.3.2　基於傳統方法人臉檢測實例   137

8.3.3　基於深度學習方法人臉檢測實例   140

8.3.4　基於深度學習人臉識別實例   145

8.4　小結   151

8.5　實踐習題   152

第9 章　目標跟蹤實踐   155

9.1　概述   155

9.2　目標跟蹤基礎   156

9.2.1　目標跟蹤   156

9.2.2　MeanShift 算法   157

9.3　目標跟蹤示例   164

9.3.1　實驗準備   164

9.3.2　MeanShift 算法目標跟蹤實例   164

9.3.3　CamShift 算法目標跟蹤實例   168

9.3.4　DaSiamRPN 算法目標跟蹤實例   171

9.4　小結   179

9.5　實踐習題   180

第10 章　文本識別實踐   181

10.1　概述   181

10.2　文本識別基礎   182

10.2.1　文本識別的流程   182

10.2.2　傳統的文本檢測方法   183

10.2.3　基於深度學習的方法之DB   185

10.2.4　基於深度學習的方法之CTC   187

10.3　文本識別示例   189

10.3.1　實驗準備   189

10.3.2　MSER 文字檢測實例   189

10.3.3　DB 檢測方法示例   193

10.3.4　CTC 檢測方法實例   199

10.4　小結   205

10.5　實踐習題   206

第11 章　條形碼與二維碼識別應用   207

11.1　概述   207

11.2　條形碼與二維碼識別   208

11.2.1　條形碼與二維碼簡史   208

11.2.2　條形碼與二維碼結構   209

11.2.3　一維條形碼識別   209

11.2.4　二維碼識別   214

11.3　條形碼與二維碼識別示例   217

11.3.1　實驗準備   218

11.3.2　一維條形碼實例   218

11.3.3　基於傳統算法的二維碼識別實例   222

11.3.4　基於深度學習的二維碼識別實例   232

11.4　小結   235

11.5　實踐習題   235

第12 章　基於視覺的機械臂實踐   237

12.1　概述   237

12.2　基於視覺的機械臂基礎   238

12.2.1　基於視覺的機械臂   238

12.2.2　機械臂控制基本原理   238

12.2.3　跟蹤人臉的機械臂實現流程   241

12.3　基於視覺的機械臂示例   243

12.3.1　實驗準備   243

12.3.2　機械臂舵機控制實例   243

12.3.3　跟蹤人臉的機械臂實例   247

12.4　小結   253

12.5　實踐習題   254

參考文獻   255