基於想象的腦機交互原理與實踐

第1篇 腦機交互（BCI）的一些共性內容
第1章 BCI重要內容：BCI相關術語 2
1.1 BCI直接相關術語 2
1.1.1　腦?機器接口（BMI） 3
1.1.2 腦?計算機交互（BCI） 3
1.1.3 腦機融合 3
1.1.4 大腦（Brain）或中樞神經系統（CNS） 5
1.1.5 計算機 5
1.1.6 BCI用戶 6
1.1.7 腦信號采集 6
1.1.8 BCI範式 6
1.1.9 BCI神經編碼 7
1.1.10 BCI神經解碼 7
1.1.11 神經反饋（NF） 7
1.1.12 感覺運動假說 8
1.1.13 BCI跨學科性 9
1.1.14 BCI系統中的兩個自適應控制器（CNS和BCI） 9
1.2 BCI緊密相關術語 10
1.2.1 感覺運動節律腦機接口（SMR-BCI）相關術語 10
1.2.2 運動想象腦機接口（MI-BCI）相關術語 11
1.2.3 基於認知的腦機接口相關術語 16
1.2.4 P300腦機接口（P300-BCI）相關術語 18
1.2.5 穩態視覺誘發電位腦機接口（SSVEP-BCI）相關術語 21
1.2.6 穩態聽覺誘發電位腦機接口（SSAEP-BCI）相關術語 28
1.2.7 穩態觸覺誘發電位腦機接口（SSTEP-BCI）相關術語 30
1.2.8 依賴性BCI（Dependent BCI） 31
1.2.9 獨立性BCI（Independent BCI） 31
1.2.10 混合腦機接口（Hybrid BCI） 31
1.2.11 同步/異步腦機接口（Asynchronous/Synchronous BCI） 32
1.2.12 分布式腦機接口（Distributed BCI） 34
1.3 BCI用戶相關術語 34
1.3.1 BCI受試者（Subject） 35
1.3.2 嚴重運動功能障礙（Severe Motor Impairments） 35
1.3.3 BCI人因工程相關 37
1.3.4 BCI可用性（BCI Usability） 37
1.3.5 BCI用戶評價 39
1.3.6 BCI 使用情況 40
1.3.7 個性化BCI 41
1.3.8 BCI醫學 41
1.3.9 BCI醫學目標 42
1.3.10 BCI倫理 42
1.3.11 BCI轉化醫學 46
1.4 實用BCI相關術語 46
1.4.1 BCI臨床驗證 47
1.4.2 BCI臨床評估 47
1.4.3 BCI臨床推廣 47
1.4.4 BCI替代功效 48
1.4.5 BCI恢復功效 48
1.4.6 BCI增強功效 48
1.4.7 BCI補充功效 48
1.4.8 BCI改善功效 49
1.4.9 BCI系統穩定性 49
1.4.10 BCI系統準確性 49
1.4.11 BCI系統快速性 50
1.4.12 BCI系統可靠性 51
1.4.13 BCI系統安全性 52
1.4.14 BCI系統易用性 53
1.4.15 BCI標準化 53
1.4.16 BCI產業轉化 54
1.4.17 假冒偽劣BCI產品 55
1.5 用於BCI的腦神經電磁信號記錄相關術語 55
1.5.1 腦信號時間分辨率 55
1.5.2 腦信號空間分辨率 56
1.5.3 腦信號偽跡 56
1.5.4 腦信號信噪比 56
1.5.5 腦信號靈敏度 57
1.5.6 腦神經元電磁信號 57
1.5.7 頭皮腦電（EEG） 59
1.5.8 皮層腦電（ECoG） 59
1.5.9 ECoG網格 60
1.5.10 微電極陣列（MEA） 60
1.5.11 神經元發放（NF） 60
1.5.12 尖峰（Spikes） 61
1.5.13 局部場電位（LFP） 61
1.5.14 腦信號功率譜 63
1.5.15 腦磁（MEG） 63
1.6 用於BCI的腦組織血氧水平記錄相關術語 64
1.6.1 腦組織代謝血氧水平信號 64
1.6.2 神經血管耦合 64
1.6.3 功能磁共振成像（fMRI） 65
1.6.4 功能性近紅外光譜（fNIRS） 67
1.7 BCI相關腦結構與功能術語 69
1.7.1 靜息態（RS） 70
1.7.2 任務態（TS） 70
1.7.3 大腦共同的解剖參考框架（CARF） 70
1.7.4 大腦分區表（Brain Atlas） 71
1.7.5 腦結構連接性（SC） 71
1.7.6 腦功能連接性（FC） 72
1.7.7 腦圖譜 72
1.7.8 腦結構圖譜 72
1.7.9 腦功能圖譜 73
1.7.10 運動皮層 73
1.7.11 腦幹運動神經元 73
1.7.12 脊髓運動神經元 73
1.7.13 體感皮層 74
1.7.14 視覺皮層 74
1.7.15 聽覺皮層 74
1.7.16 視覺反饋（VF） 75
1.7.17 聽覺反饋（AF） 75
1.7.18 體感反饋（SF） 76
1.7.19 觸覺反饋（HF） 76
1.8 與BCI相關的其他術語 77
1.8.1 中樞神經系統（CNS）自然/正常的輸入輸出 77
1.8.2 中樞神經系統（CNS）人工的輸入輸出 78
1.8.3 BCI解決方案 78
1.8.4 非BCI解決方案 78
1.8.5 腦控技術 78
1.8.6 腦控機器人技術 79
1.8.7 共享控制策略 79
1.8.8 腦機協作策略 80
1.8.9 神經可塑性 80
1.8.10 自適應神經技術 81
1.8.11 神經調控 82
1.8.12 神經刺激 82
1.8.13 基於肌電的肌機接口相關術語 82
1.8.14 基於眼電或眼動跟蹤的眼機接口相關術語 83
1.9 小結 83
參考文獻 84
第2章 BCI範式與神經編碼 101
2.1 引言 101
2.2 BCI範式的定義和設計原則 102
2.2.1 BCI範式的定義 102
2.2.2 BCI範式的設計原則 103
2.3 BCI神經編碼的定義和建模原則 104
2.3.1 BCI神經編碼的定義 104
2.3.2 BCI神經編碼的建模原則 105
2.3.3 BCI神經編碼與BCI範式、BCI神經解碼的關系 105
2.3.4 BCI神經編碼與腦神經編碼及計算機信息編碼的關系 105
2.3.5 BCI頻率/速率編碼 107
2.3.6 BCI時間編碼 107
2.3.7 BCI相位編碼 107
2.3.8 BCI神經元群編碼 108
2.3.9 BCI相關性編碼 108
2.3.10 BCI稀疏編碼 108
2.3.11 BCI混合編碼 109
2.4 現有主要的BCI範式與神經編碼 109
2.4.1 皮質內LFPs-BCI範式與神經編碼 110
2.4.2 ECoG-BCI範式與神經編碼 111
2.4.3 fMRI-BCI範式與神經編碼 113
2.4.4 fNIRS-BCI範式與神經編碼 113
2.4.5 MEG-BCI範式與神經編碼 115
2.4.6 EEG-BCI範式與神經編碼 116
2.4.7 混合BCI（hBCI）範式與神經編碼 120
2.5 BCI範式與神經編碼面臨的挑戰及未來研究方向 121
2.5.1 以用戶為中心設計和評價BCI範式與神經編碼 121
2.5.2 變革傳統的BCI範式 121
2.5.3 突破現有的腦信號采集技術 122
2.5.4 BCI技術與先進AI技術相結合提升腦信號解碼性能 122
2.6 小結 122
參考文獻 123
第3章 BCI金標準：在線BCI系統轉化為實際應用的綜合評價方法——用戶可用性、
滿意度和使用情況 132
3.1 引言 132
3.2 從離線BCI數據分析建模到在線BCI系統構建和性能優化的飛躍 134
3.2.1 離線BCI數據分析建模 134
3.2.2 在線BCI系統構建和性能優化 135
3.3 在線BCI系統轉化為實際應用的綜合評價方法 137
3.3.1 在線BCI系統可用性評價 137
3.3.2 在線BCI系統滿意度評價 139
3.3.3 在線BCI系統使用情況評價 142
3.4 BCI金標準發展趨勢 144
3.4.1 在線BCI系統可用性和用戶滿意度評價面臨的挑戰 144
3.4.2 在線BCI系統功效評價 144
3.4.3 提高在線BCI系統可用性和用戶滿意度的方法 145
3.4.4 不同采集方式和不同範式的BCI在轉化為實際應用時面臨的障礙 146
3.5 小結 148
參考文獻 148
第2篇 基於想象的腦機交互（BCI）基本概念、理論、原理和方法
第4章 人類的心理想象及神經影像研究 155
4.1 人類的心理想象活動 155
4.1.1 人類的感知與心理想象活動 155
4.1.2 人類心理想象活動的類型 157
4.1.3 人類心理想象活動的執行與能力評價及提高方法 162
4.2 心理想象的神經影像研究現狀及發展趨勢 177
4.2.1 較低級的心理想象的神經影像研究現狀及發展趨勢 177
4.2.2 較高級的心理想象的神經影像研究現狀及發展趨勢 184
4.3 小結 192
參考文獻 192
第5章 基於言語想象的BCI關鍵技術 212
5.1 引言 212
5.2 言語想象的神經機制 213
5.2.1 言語想象的基礎生理過程 213
5.2.2 腦神經信號采集 214
5.2.3 基於言語想象的BCI系統的腦區選擇 215
5.2.4 基於言語想象的BCI系統在不同波段下的表現 215
5.2.5 言語想象任務中的EEG動態特征 216
5.3 基於言語想象的BCI系統的實驗範式及想象材料 216
5.3.1 分類任務實驗範式 217
5.3.2 解碼任務實驗範式 218
5.3.3 想象音位/音節 219
5.3.4 想象漢字/單詞 220
5.3.5 想象句子 221
5.4 數據處理的關鍵技術 221
5.4.1 特征提取 221
5.4.2 分類與解碼 222
5.4.3 典型算法比較 223
5.5 存在的問題及發展趨勢 225
5.5.1 在線系統 225
5.5.2 實驗範式 225
5.5.3 言語想象數據 226
5.5.4 解碼句子 226
5.5.5 多種狀態下腦神經信號分析 227
5.5.6 多模態信號對言語信息的解碼 227
5.5.7 基於言語想象的BCI系統未來的發展及應用 227
5.6 小結 229
參考文獻 229
第6章 基於視覺想象的BCI範式和神經編碼與解碼 237
6.1 引言 237
6.2 視覺想象的神經機制、VI-BCI範式設計與神經編碼 238
6.2.1 視覺想象的神經機制 238
6.2.2 VI-BCI範式設計 240
6.2.3 VI-BCI神經編碼 244
6.3 視覺想象BCI神經解碼方法 245
6.3.1 視覺想象相關腦信號特征提取和選擇 245
6.3.2 視覺想象相關腦信號特征分類 247
6.4 基於視覺想象的BCI存在的問題及未來研究方向 251
6.4.1 VI-BCI存在的問題 251
6.4.2 VI-BCI未來研究方向 252
6.5 小結 255
參考文獻 255
第7章 基於運動想象的BCI神經科學原理 263
7.1 事件相關去同步化/同步化（ERD/ERS）現象及其 神經科學原理 263
7.1.1 事件 263
7.1.2 事件相關去同步化/同步化（ERD/ERS）現象 266
7.1.3 ERD/ERS現象潛在的神經科學原理或神經機制 267
7.2 運動想象相關ERD/ERS現象及其神經科學原理 268
7.2.1 實際運動和運動想象涉及的腦結構與激活特征 268
7.2.2 實際運動和運動想象ERD/ERS現象 275
7.2.3 運動想象ERD/ERS現象的神經機制 278
7.3 運動相關電位（MRP）的神經科學原理 279
7.3.1 運動相關皮層電位（MRCP） 279
7.3.2 運動準備電位（RP） 280
7.3.3 運動相關電位（MRP） 281
7.3.4 運動準備電位和運動相關電位的神經機制 282
7.4 總結與展望 284
參考文獻 284
第3篇 基於運動想象的腦機交互（BCI）實踐與應用
第8章 BCI中運動想象的執行及能力的 評估和提高方法 289
8.1 引言 289
8.2 實際運動、動覺運動想象與視覺運動想象 290
8.2.1 實際運動的執行 290
8.2.2 動覺運動想象的執行 292
8.2.3 視覺運動想象的執行 292
8.2.4 實際運動、動覺運動想象和視覺運動想象的比較 293
8.2.5 特別值得註意的問題 295
8.3 動覺運動想象和視覺運動想象能力的評估方法 296
8.3.1 國際量表 296
8.3.2 心理測時法和心理旋轉法 298
8.3.3 腦功能成像 299
8.3.4 神經反饋（NF） 299
8.3.5 事件相關同步化/去同步化 300
8.4 動覺運動想象和視覺運動想象能力的提高方法 300
8.4.1 動覺運動想象能力的提高方法 300
8.4.2 視覺運動想象能力的提高方法 302
8.4.3 冥想訓練 302
8.5 BCI中運動想象的執行、能力的評估和提高方法： 未來趨勢 302
8.5.1 運動想象的自動化執行、實時可視化客觀評估和高效的神經反饋訓練 302
8.5.2 個體之間和內部運動想象的差異性、共性及MI-BCI盲問題 303
8.6 小結 303
參考文獻 304
第9章 運動想象相關腦信號分類方法 309
9.1 引言 309
9.2 傳統機器學習算法 310
9.2.1 線性分類器 311
9.2.2 非線性貝葉斯分類器 313
9.2.3 最近鄰分類器 314
9.2.4 神經網絡分類器 315
9.2.5 集成分類器 316
9.2.6 小結 317
9.3 深度學習 318
9.3.1 原理 319
9.3.2 深度學習中輸入形式的重要性 323
9.3.3 最新進展 323
9.3.4 利弊分析 325
9.4 自適應分類器 326
9.4.1 原理 326
9.4.2 最新進展 326
9.4.3 利弊分析 328
9.5 黎曼幾何分類器 329
9.5.1 原理 329
9.5.2 最新進展 331
9.5.3 利弊分析 331
9.6 遷移學習 332
9.6.1 原理 332
9.6.2 最新進展 334
9.6.3 利弊分析 335
9.7 其他類型神經活動測量技術的分類算法 336
9.7.1 MI-MEG的分類方法 336
9.7.2 MI-fNIRS的分類方法 337
9.7.3 MI-ECoG的分類方法 338
9.7.4 MI-fMRI的分類方法 339
9.7.5 MI-Spike的分類方法 341
9.7.6 小結 342
9.8 總結與展望 342
參考文獻 343
第10章 運動想象BCI實驗研究 358
10.1 引言 358
10.2 基於ICA的運動想象腦機接口研究 359
10.2.1 MI-EEG開源數據庫 359
10.2.2 ICA在MI-BCI中應用的背景知識 361
10.2.3 ICA在傳統MI-BCI系統實現中的適用性研究 362
10.2.4 ICA/CSP方法的遷移學習性能和ICA-MI-BCI導聯優化問題 374
10.2.5 不同ICA算法在ICA-MI-BCI系統實現中的性能比較 380
10.3 DNN在MI-BCI中的應用研究 381
10.3.1 EhythmNet及其性能仿真 382
10.3.2 EhythmNet在實測MI-EEG分析中的應用 386
10.4 小結 395
參考文獻 395
第11章 運動想象BCI及其結合虛擬現實康復研究 399
11.1 引言 399
11.2 運動想象腦機接口基本知識 401
11.2.1 運動想象腦機接口系統的分類 402
11.2.2 運動想象腦電信號的特性 404
11.2.3 運動想象腦機接口基本原理 407
11.2.4 國內外腦機接口康復領域研究現狀 408
11.2.5 運動想象腦機接口特征提取方法的研究現狀 410
11.3 運動想象腦機接口與虛擬現實技術的康復應用 411
11.3.1 研究現狀 411
11.3.2 面臨困難 411
參考文獻 412
第12章 雙向閉環運動想象BCI主動康復訓練系統的功效評價方法 415
12.1 引言 415
12.2 雙向閉環MI-BCI主動康復訓練系統的康復理論/原理與方法、主要作用
和臨床研究案例 416
12.2.1 雙向閉環MI-BCI主動康復訓練系統 416
12.2.2 雙向閉環MI-BCI主動康復訓練系統的康復理論/原理與方法 418
12.2.3 雙向閉環MI-BCI主動康復訓練系統的主要作用 419
12.2.4 雙向閉環MI-BCI主動康復訓練系統的臨床研究案例 419
12.3 雙向閉環MI-BCI主動康復訓練系統的康復訓練周期和康復功效評價方法 422
12.3.1 雙向閉環MI-BCI主動康復訓練系統的康復訓練周期 422
12.3.2 雙向閉環MI-BCI主動康復訓練系統的康復功效評價方法 422
12.4 雙向閉環MI-BCI主動康復訓練系統的可用性、用戶滿意度和使用情況
評價方法 428
12.5 發展趨勢展望 429
12.5.1 雙向閉環MI-BCI主動康復訓練系統運動功能障礙康復效果評價
面臨的挑戰 429
12.5.2 雙向閉環運動想象BCI主動康復訓練系統與用戶相關的挑戰 430
12.5.3 雙向閉環MI-BCI主動康復訓練系統面臨的臨床應用挑戰 430
12.5.4 雙向閉環MI-BCI主動康復訓練系統面臨的技術挑戰 431
12.6 小結 431
參考文獻 432