機器視覺人工智能物聯網應用

目錄

第 1 章 機器視覺人工智能物聯網應用簡介 1

1.1 機器視覺與人工智能及物聯網的關系 1

1.1.1 機器視覺的定義與功能 1

1.1.2 機器視覺與人工智能的關系 2

1.1.3 機器視覺與物聯網的關系 5

1.1.4 人工智能與物聯網的關系 7

1.1.5 機器視覺、人工智能與物聯網三者的融合優勢 8

1.1.6 未來趨勢 10

1.2 機器視覺 AIoT 應用場景 11

1.2.1 智能安防與監控 11

1.2.2 智能交通管理 12

1.2.3 智能制造與工業自動化 12

1.2.4 智慧農業 13

1.2.5 智慧醫療 13

1.2.6 智能零售 13

1.2.7 智能家居 14

1.3 AI 大模型對機器視覺的影響 14

1.3.1 技術層面的顛覆性變革 14

1.3.2 應用場景的拓展與升級 15

1.3.3 關鍵技術挑戰 16

1.3.4 未來發展方向 17

1.4 AI 大模型對物聯網的影響 17

1.4.1 技術架構的重構與突破 17

1.4.2 應用場景的深度拓展 18

1.4.3 挑戰與應對策略 19

1.4.4 未來趨勢展望 19

1.5 小結 20

思考題 20

第 2 章 機器視覺概述 21

2.1 機器視覺的定義、應用與基本原理 21

2.1.1 機器視覺的定義與應用 21

2.1.2 機器視覺的基本原理 22

2.2 圖像采集與傳感器技術 23

2.2.1 攝像頭與傳感器類型 23

2.2.2 圖像采集設備 25

2.2.3 光源與照明技術 26

2.3 圖像預處理與增強 28

2.3.1 圖像去噪 28

2.3.2 圖像增強 30

2.3.3 邊緣檢測 32

2.4 特征提取與模式識別 33

2.4.1 特征提取 33

2.4.2 模式識別 34

2.4.3 特征提取與模式識別的結合 35

2.5 三維視覺與深度學習 35

2.5.1 機器視覺與三維視覺的關系 35

2.5.2 機器視覺與深度學習的關系 36

2.5.3 三維視覺與深度學習的結合 37

2.6 機器視覺系統的組成與功能 37

2.6.1 機器視覺系統的組成 38

2.6.2 機器視覺系統的功能 39

2.7 機器視覺的挑戰與未來發展 40

2.7.1 機器視覺面臨的挑戰及解決方法 40

2.7.2 機器視覺未來發展趨勢 41

2.8 小結 43

思考題 44

第 3 章 OpenMV 基礎 45

3.1 OpenMV 硬件架構 45

3.1.1 OpenMV 硬件組成 45

3.1.2 OpenMV 系列硬件版本 47

3.2 OpenMV IDE 安裝與配置 48

3.2.1 安裝 OpenMV IDE 49

3.2.2 配置 OpenMV IDE 54

3.2.3 基於 OpenMV IDE 的固件燒錄 60

3.2.4 基於 STM32CubeProgrammer 的固件燒錄 61

3.2.5 開發與運行 MicroPython 腳本 72

3.3 OpenMV 與外部設備通信 73

3.3.1 串口通信 73

3.3.2 I2C 通信 73

3.3.3 SPI 通信 74

3.3.4 PWM 通信 74

3.3.5 GPIO 通信 74

3.3.6 USB Host 與設備通信 74

3.3.7 網絡通信 74

3.4 OpenMV 編程 75

3.4.1 OpenMV 編程基礎 75

3.4.2 OpenMV 庫函數 75

3.4.3 OpenMV 圖像捕獲實例 76

3.5 小結 78

思考題 78

第 4 章 圖像處理基礎 79

4.1 圖像采集 79

4.1.1 圖像采集的硬件組件 79

4.1.2 圖像采集過程 80

4.1.3 圖像采集中的常見挑戰 82

4.1.4 OpenMV 圖像采集實例 84

4.2 圖像預處理 85

4.2.1 圖像去噪 86

4.2.2 圖像增強 88

4.2.3 圖像幾何變換 88

4.2.4 圖像二值化 89

4.2.5 邊緣檢測 90

4.2.6 OpenMV 圖像預處理實例 92

4.3 特征提取 93

4.3.1 特征提取的目標 93

4.3.2 特征提取的分類 94

4.3.3 邊緣檢測特征提取方法 95

4.3.4 輪廓特征提取方法 96

4.3.5 灰色特征提取方法 97

4.3.6 彩色特征提取方法 98

4.3.7 模板特征提取方法 100

4.3.8 特征提取的應用 101

4.4 圖像分割 102

4.4.1 圖像分割的基本概念 102

4.4.2 機器視覺圖像分割的主要方法 102

4.4.3 圖像分割的評價指標 104

4.5 機器學習與深度學習在圖像處理中的應用 104

4.5.1 圖像分類 104

4.5.2 目標檢測 105

4.5.3 圖像超分辨率 105

4.5.4 OpenMV 深度學習實例 106

4.6 小結 107

思考題 108

第 5 章 目標檢測與跟蹤 109

5.1 目標檢測 109

5.1.1 目標檢測的基本步驟 109

5.1.2 目標檢測的常見方法 110

5.1.3 目標檢測的評估指標 111

5.1.4 目標檢測的應用 111

5.1.5 目標檢測未來趨勢與挑戰 112

5.1.6 目標顏色檢測實例 112

5.1.7 目標圓形檢測實例 114

5.1.8 目標線段檢測實例 115

5.1.9 目標直線檢測實例 116

5.2 目標跟蹤 117

5.2.1 目標跟蹤的基本概念 118

5.2.2 目標跟蹤的常見方法 118

5.2.3 目標跟蹤的評估指標 119

5.2.4 目標跟蹤的挑戰 119

5.2.5 目標跟蹤的應用 119

5.2.6 基於顏色的目標跟蹤實例 120

5.2.7 基於運動的目標跟蹤實例 121

5.2.8 基於人臉的目標跟蹤實例 122

5.3 目標檢測與跟蹤的結合 124

5.3.1 目標檢測與跟蹤結合的目的 124

5.3.2 目標檢測與跟蹤結合的基本流程 124

5.3.3 OpenMV 私家車檢測與跟蹤實例 126

5.4 目標檢測與跟蹤應用場景 127

5.4.1 機器人導航與目標跟隨 128

5.4.2 安防監控 128

5.4.3 工業自動化 128

5.4.4 軍事與國防 128

5.4.5 醫療與健康監控 128

5.4.6 自動駕駛與無人機導航 129

5.4.7 零售與物流 129

5.5 小結 129

思考題 130

第 6 章 深度學習在機器視覺中的應用 131

6.1 深度學習簡介 131

6.1.1 深度學習的基本步驟 131

6.1.2 深度學習的關鍵技術 133

6.1.3 深度學習的應用 134

6.2 深度學習賦能機器視覺 136

6.2.1 深度學習提升機器視覺應用開發效率 136

6.2.2 深度學習提供高效機器視覺圖像處理工具 137

6.2.3 深度學習擴大機器視覺應用場景 137

6.3 深度學習開發環境搭建 137

6.3.1 官網下載人工智能相關軟件包 138

6.3.2 Python 安裝與測試 138

6.3.3 PyCharm 安裝與測試 140

6.3.4 Anaconda 安裝與測試 143

6.3.5 TensorFlow 深度學習框架搭建與測試 144

6.3.6 深度學習 CNN 算法測試 150

6.4 深度學習在計算機視覺中的應用實例 155

6.4.1 深度學習數字識別實例 155

6.4.2 深度學習物體分類實例 158

6.5 OpenMV 中的深度學習應用實例 159

6.5.1 註冊 Edge Impulse 用戶 160

6.5.2 Edge Impulse 平臺訓練深度學習模型 161

6.5.3 加載模型到 OpenMV 173

6.6 小結 175

思考題 175

第 7 章 OpenMV 物聯網智能設備 176

7.1 OpenMV 物聯網智能設備的優勢 176

7.1.1 低功耗設計 176

7.1.2 強大的實時圖像處理能力 176

7.1.3 易於開發和編程 177

7.1.4 支持深度學習模型推理 177

7.1.5 可制作小巧的物聯網智能設備 177

7.1.6 性價比高 177

7.2 OpenMV 數據采集與控制 177

7.2.1 圖像數據采集 177

7.2.2 采集條形碼數據 178

7.2.3 采集二維碼數據 179

7.2.4 采集 AprilTag 數據 180

7.2.5 設備 CPU 運行參數監測 181

7.2.6 LED 燈控制 181

7.3 OpenMV 數據傳輸 183

7.3.1 OpenMV Wi-Fi 模塊硬件簡介 183

7.3.2 OpenMV 連接無線熱點 183

7.3.3 OpenMV 使用 DNS 解析網站 IP 地址 184

7.3.4 OpenMV 作為 HTTP 客戶端 185

7.3.5 OpenMV 作為 HTTPS 客戶端 187

7.3.6 OpenMV 作為視頻服務器 188

7.3.7 OpenMV 作為 Web 服務器 189

7.3.8 OpenMV 向 TCP Server 發送數據 191

7.3.9 搭建並測試 Flask Web 服務器 192

7.3.10 OpenMV 發送數據到 Web 服務器 201

7.3.11 OpenMV 發送圖片到 Web 服務器 203

7.4 小結 206

思考題 207

第 8 章 OpenMV 物聯網應用實例 208

8.1 垃圾分類系統設計與實現 208

8.1.1 系統概述 208

8.1.2 系統硬件組成 209

8.1.3 深度學習模型設計 209

8.1.4 垃圾分類系統實現步驟 209

8.2 智能口罩佩戴檢測系統設計與實現 210

8.2.1 系統設計概述 210

8.2.2 硬件組成 211

8.2.3 佩戴口罩檢測功能實現 211

8.2.4 實時監控和報警 212

8.3 智能交通識別系統設計與實現 213

8.3.1 系統設計概述 213

8.3.2 硬件組成 213

8.3.3 訓練交通標誌識別模型 213

8.3.4 交通燈識別功能實現 214

8.3.5 系統的應用場景 215

8.4 智能螺母識別系統設計與實現 216

8.4.1 系統軟硬件設計 216

8.4.2 系統架構設計 216

8.4.3 數據采集與預處理 216

8.4.4 螺母檢測與定位 216

8.4.5 實時性能優化 218

8.5 產品表面缺陷檢測系統設計與實現 219

8.5.1 系統概述 219

8.5.2 訓練表面缺陷檢測模型 219

8.5.3 部署模型及實現金屬表面缺陷檢測 238

8.5.4 系統優化及應用拓展 240

8.6 小結 240

思考題 240

第 9 章 工業機器視覺軟件 241

9.1 VisionPlus 簡介 241

9.2 VisionPlus 及相關軟件安裝 242

9.2.1 VisionPlus 安裝 242

9.2.2 .Net 及其他軟件安裝 244

9.3 PowerVpro Tools 安裝及獲取使用授權 247

9.3.1 PowerVpro Tools 安裝 247

9.3.2 獲取 VisionPlus 授權文件 250

9.4 VisionPlus 使用及測試 251

9.4.1 VisionPlus 使用簡介 251

9.4.2 VisionPlus 調用 USB 攝像頭測試 252

9.5 鋰電池有無檢測 254

9.6 烙影安裝與測試 265

9.6.1 烙影簡介 266

9.6.2 烙影安裝預測試 266

9.6.3 創建第一個烙影檢測工程 271

9.6.4 建立虛擬視場驗證檢測工藝 275

9.7 小結 282

思考題 283

附錄 英文簡稱 284

參考文獻 287