基於混合方法的自然語言處理：神經網絡模型與知識圖譜的結合 A Practical Guide to Hybrid Natural Language Processing: Combining Neural Models and Knowledge Graphs for Nlp

曹洪偉，1995年畢業於北京郵電大學無線通信專業，2007年獲中央財經大學的MBA。在因特網應用、嵌入式系統等軟硬件開發方面有超過20年的經驗。曾工作於加拿大北方電訊、法國斯倫貝謝、美國高通公司等世界500強企業，從事接入網絡、TMN、智能卡、芯片集成應用、手機操作系統、移動增值業務的研發和技術管理工作。在多家創業公司擔任研發總監和CTO，現聚焦在智能硬件、物聯網及人工智能領域，任百度DuerOS首席佈道師，從事構建對話式人工智能操作系統生態的相關工作。在此期間，他參與合著了10多項國內外專利，著有《BREW進階與精通》，最近參與合著了《深入分佈式緩存》。

推薦序一
推薦序二
譯者序
前言
第一部分　預備知識和構建模塊
第1章　混合自然語言處理簡介 2
1.1　知識圖譜、嵌入和語言模型簡史 2
1.2　自然語言處理中知識圖譜和神經網絡方法的結合 4

第2章　單詞、意義和知識圖譜嵌入 6
2.1　引言 6
2.2　分佈式單詞表示 6
2.3　詞嵌入 7
2.4　意義和概念嵌入 8
2.5　知識圖譜嵌入 9
2.6　本章小結 13

第3章　理解詞嵌入和語言模型 14
3.1　引言 14
3.2　語言模型 15
3.2.1　統計語言模型 15
3.2.2　神經語言模型 16
3.3　NLP遷移學習的預訓練模型微調 16
3.3.1　ELMo 16
3.3.2　GPT 17
3.3.3　BERT 17
3.4　機器人檢測中預訓練語言模型的微調 18
3.4.1　實驗結果與討論 21
3.4.2　使用Transformer庫對BERT進行微調 21
3.5　本章小結 27

第4章　從文本中捕獲意義作為詞嵌入 28
4.1　引言 28
4.2　下載一個小文本語料庫 29
4.3　一種學習詞嵌入的算法 29
4.4　使用Swivel prep生成共現矩陣 30
4.5　從共現矩陣中學習嵌入 31
4.6　讀取並檢查存儲的二進制嵌入 32
4.7　練習：從古騰堡工程中創建詞嵌入 33
4.7.1　下載語料庫並進行預處理 33
4.7.2　學習嵌入 34
4.7.3　檢查嵌入 34
4.8　本章小結 34

第5章　捕獲知識圖譜嵌入 35
5.1　引言 35
5.2　知識圖譜嵌入 35
5.3　為WordNet創建嵌入 37
5.3.1　選擇嵌入算法：HolE 37
5.3.2　將WordNet知識圖譜轉換為所需輸入 39
5.3.3　學習嵌入 44
5.3.4　檢查嵌入結果 44
5.4　練習 47
5.4.1　練習：在自己的知識圖譜上訓練嵌入 47
5.4.2　練習：檢查WordNet 3.0的預計算嵌入 47
5.5　本章小結 48

第二部分　神經網絡與知識圖譜的結合
第6章　從文本語料庫、知識圖譜和語言模型中構建混合表達 50
6.1　引言 50
6.2　準備工作和說明 51
6.3　Vecsigrafo的概念及構建方式 51
6.4　實現 53
6.5　訓練Vecsigrafo 54
6.5.1　標記化和詞義消歧 56
6.5.2　詞彙表和共現矩陣 58
6.5.3　從共現矩陣學習嵌入 62
6.5.4　檢查嵌入 64
6.6　練習：探索一個預先計算好的Vecsigrafo 66
6.7　從Vecsigrafo到Transigrafo 68
6.7.1　安裝設置 70
6.7.2　訓練Transigrafo 71
6.7.3　擴展知識圖譜的覆蓋範圍 73
6.7.4　評估 Transigrafo 73
6.7.5　檢查Transigrafo中的義項嵌入 75
6.7.6　探索Transigrafo嵌入的穩定性 77
6.7.7　額外的反思 81
6.8　本章小結 81

第7章　質量評估 82
7.1　引言 82
7.2　評估方法的概述 83
7.3　練習1：評估單詞和概念嵌入 84
7.3.1　可視化探索 84
7.3.2　內在評估 85
7.3.3　詞彙預測圖 87
7.3.4　外在評估 90
7.4　練習2：評價通過嵌入獲取的關係知識 90
7.4.1　下載embrela項目 91
7.4.2　下載生成的數據集 91
7.4.3　加載待評估的嵌入 92
7.4.4　學習模型 94
7.4.5　分析模型的結果 94
7.4.6　數據預處理：合併且增加字段 96
7.4.7　計算範圍閾值和偏差數據集檢測 97
7.4.8　發現統計上有意義的模型 99
7.4.9　關係型知識的評估結論 101
7.5　案例研究：評估和對比Vecsigrafo嵌入 101
7.5.1　比較研究 101
7.5.2　討論 111
7.6　本章小結 114

第8章　利用Vecsigrafo捕獲詞法、語法和語義信息 116
8.1　引言 116
8.2　方法 118
8.2.1　Vecsigrafo：基於語料的單詞–概念嵌入 118
8.2.2　聯合嵌入空間 119
8.2.3　嵌入的評估 119
8.3　評估 120
8.3.1　數據集 121
8.3.2　單詞相似度 121
8.3.3　類比推理 124
8.3.4　單詞預測 125
8.3.5　科學文檔的分類 127
8.4　討論 129
8.5　練習：使用surface form對科學文獻進行分類 130
8.5.1　導入所需的庫 130
8.5.2　下載surface form的詞嵌入和SciGraph論文 131
8.5.3　讀取並準備分類數據集 131
8.5.4　surface form的詞嵌入 133
8.5.5　創建嵌入層 134
8.5.6　訓練一個捲積神經網絡 134
8.6　本章小結 136

第9章　知識圖譜的詞嵌入空間對齊與應用 137
9.1　引言 137
9.2　概述及可能的應用 138
9.2.1　知識圖譜的補全 139
9.2.2　超越多語言性：跨模態的詞嵌入 139
9.3　詞嵌入空間的對齊技術 140
9.3.1　線性對齊 140
9.3.2　非線性對齊 146
9.4　練習：尋找古代英語和現代英語的對應 146
9.4.1　下載小型文本語料庫 146
9.4.2　學習基於老莎士比亞語料庫的Swivel詞嵌入 147
9.4.3　在WordNet之上加載UMBC的Vecsigrafo 149
9.4.4　練習的結論 149
9.5　本章小結 150

第三部分　應用
第10章　一種虛假信息分析的混合方法 152
10.1　引言 152
10.2　虛假信息檢測 153
10.2.1　定義和背