課堂學習行為的視覺感知與分析

本書致力於在課堂學習行為分析這一精細領域利用基於深度學習的電腦視覺技術推動教育智能改革，為實現個性化教學、提升教學質量、促進教育公平提供一系列方法和策略。本書系統的介紹了電腦視覺技術與課堂學習行為相結合的這一必然發展趨勢，從數據集構建、關鍵技術的模型方法提出、精準的應用實施三個方面展開了細致的論述。其中涉及的電腦任務主要包括面部表情識別、視線估計、頭部姿態估計以及人體姿態估計，通過總結過去十餘年課題組在這些方面的實踐經驗，以期為國內探索實現規模化教育與個性化培養的有機結合提供一定的借鑒和指導。

第一部分 背景與理論
第1章 背景與意義 2
1.1 國家重視課堂學習行為分析的引領作用 2
1.1.1 課堂學習行為分析是落實個性化培養的重要舉措 2
1.1.2 課堂學習行為分析是加快教育新基建的重要舉措 3
1.1.3 課堂學習行為分析是促進教育“以人為本”發展的重要舉措 4
1.1.4 其他國家在“人工智能+教育”領域的行動計劃 5
1.2 要解決的問題 6
1.3　國內外的研究現狀 9
1.3.1 課堂學習行為的視覺感知 9
1.3.2 分析國內外的研究現狀 10
1.4　視覺感知原理 19
1.4.1 電腦視覺驅動的行為感知基礎 19
1.4.2 課堂學習行為的理解與認知 21
1.4.3 課堂學習行為的智能評測 21
1.5　總體研究框架 22
參考文獻 23
第2章 學習者興趣建模理論模型 31
2.1　興趣概念的界定與分類 31
2.1.1 興趣的概念界定 31
2.1.2 不同角度的分類 32
2.2　興趣的獲取方式與表示方法 33
2.2.1 興趣的獲取方式 33
2.2.2 興趣的表示方法 33
2.3　學習者興趣建模 34
2.3.1 學習者興趣模型的概念框架 34
2.3.2 學習者興趣模型的表示方法 37
2.4　學習者興趣模型量化指標分析 38
2.4.1 課堂註意力量化指標 38
2.4.2 課堂參與度量化指標 40
2.4.3 學習情感的量化指標 42
2.5　學習者興趣模型量化分析技術 43
2.5.1 興趣量化指標的採集方法 44
2.5.2 單維度的興趣指標量化技術 48
參考文獻 52
第二部分 關鍵技術
第3章 課堂學習行為數據集構建 56
3.1　頭部姿態的數據集 56
3.1.1 採集場景設計與佈置 57
3.1.2 方案規劃與數據採集 60
3.1.3 數據後處理及數據庫設計 61
3.2　人體姿態的數據集 63
3.3　已有的數據集 64
3.3.1 面部表情圖像數據集 64
3.3.2 視線估計數據集的介紹 66
3.3.3 頭部姿態數據集的介紹 68
3.3.4 人體姿態數據集的介紹 70
3.4 參考鼠標軌跡數據的面部表情圖像標註 71
3.4.1 攝像頭和鼠標軌跡數據的採集與處理 71
3.4.2 標註方法的選擇與數據標準的一致性檢驗 74
3.5　數據集建立小結 79
參考文獻 79
第4章 面部表情識別方法 82
4.1　基礎 82
4.1.1 人工神經網絡 82
4.1.2 捲積神經網絡 86
4.1.3 圖捲積神經網絡 88
4.1.4 標簽分佈學習技術 91
4.2 基於高斯先驗分佈的表情識別方法 92
4.2.1 情感標簽分佈設計 93
4.2.3 基於標簽分佈學習的表情識別模型構建 96
4.3 基於圖捲積網絡與K近鄰圖的面部表情識別 99
4.3.1 面部表情特性的挖掘 99
4.3.2 基於圖捲積網絡與K近鄰圖的情感標簽分佈構建 102
4.3.3 K近鄰圖的情感標簽分佈構建 105
4.3.4 情感標簽分佈建模與優化 106
4.4　建議及對未來的思考 108
參考文獻 109
第5章 視線估計方法 111
5.1　基礎 111
5.2 基於復合損失捲積神經網絡的視線估計方法 112
5.3　基於頭戴式設備的視線估計 115
5.3.1 校準數據的準備 117
5.3.2 HMD的自標定 118
5.3.3 3D的PoR估計 120
5.4　建議及對未來的思考 121
參考文獻 122
第6章 頭部姿態估計方法 123
6.1　基礎 123
6.1.1 頭部姿態低容忍性分析 123
6.1.2 精細化頭部姿態標簽設計 124
6.1.3 姿態表示差異性分析 125
6.1.4 基於矩陣費雪分佈的旋轉矩陣參數化 127
6.1.5 標簽平滑正則化技術 129
6.2　各向異性的分佈學習 130
6.2.1 頭部姿態的兩個觀察及驗證 130
6.2.2 各向異性的姿態分佈模型構建 133
6.2.3 基於極大後驗估計的損失函數推導 134
6.2.4 基於空間權重的網絡架構 135
6.3　基於三元組架構的頭部姿態估計 137
6.3.1 三元組網絡架構 137
6.3.2 頭部姿態精細化估計 138
6.3.3 基於三元組架構的精細化頭部姿態估計模型 139
6.3.4 損失函數和模型優化 140
6.4 基於矩陣費雪分佈的頭部姿態估計方法 141
6.4.1 矩陣費雪分佈模塊構建 141
6.4.2 模型架構設計 142
6.4.3 損失函數和模型優化 143
6.5 建議及對未來的思考 144
參考文獻 145
第7章 人體姿態估計方法 146
7.1　基礎 146
7.1.1 基於深度學習的人體姿態估計方法介紹 146
7.1.2 目標檢測 148
7.1.3 非極大值抑制 150
7.1.4 HRNet網絡框架 151
7.1.5 姿態估計回歸方式 152
7.2　基於骨骼線索感知的HPE模型構建 153
7.2.1 基於骨骼線索感知的高斯坐標編碼 153
7.2.2 面向姿態估計的EHPE模型構建 158
7.3　基於像素表徵學習的CHRNet網絡設計 161
7.3.1 前背景權重組件 161
7.3.2 AF1-measure評估策略 162
7.3.3 CHRNet網絡架構 163
7.4　建議及對未來的思考 163
參考文獻 164
第三部分 應用與未來趨勢
第8章 課堂學習行為的多模態融合 168
8.1　過程性的融合 168
8.1.1 多模態數據融合的層次 168
8.1.2 過程性融合的關鍵問題 169
8.2　決策性融合 172
8.3　混合性的融合 174
8.3.1 分層信息融合方法 175
8.3.2 混合性融合 176
參考文獻 177
第9章 應用與未來趨勢 178
9.1　應用1：智慧教室中的學生興趣模型應用實例分析 178
9.1.1 《酸鹼鹽》案例基本信息 178
9.1.2 學習行為數據採集 180
9.1.3 學生的課堂興趣量化分析 182
9.2　應用2：基於鼠標軌跡和麵部表情的投入度分析 182
9.3　應用3：基於關鍵點位置信息的學習者課堂狀態分析機制 185
9.3.1 學習者行為識別路線 186
9.3.2 學習行為分析指標 188
9.3.3 學習者行為狀態判別系統構建 189
9.4　應用4：基於頭部姿態的學習者註意力感知與分析 190
9.4.1 實驗數據採集 191
9.4.2 學習者註意力感知分析 192
9.5 未來趨勢 195
後記 197