自然語言表示學習 — 文本語義向量化表示研究與應用

第1章緒論 1
1.1 研究背景及意義 1
1.2 基本定義及問題描述 3

第2章語義表示學習的基礎信息 6
2.1 發展歷史 6
2.2 實際應用 8

第3章分佈表示方法 12
3.1 概述 12
3.2 基於矩陣分解的方法 15
3.3 基於神經網絡的方法 19
3.4 方法總結與對比 26

第4章預訓練語言模型 27
4.1 ELMo模型 27
4.2 GPT模型 28
4.3 BERT模型 29
4.4 RoBERTa模型 31
4.5 XLNet模型 32
4.6 方法總結與對比 33

第5章增強關聯模式的語義表示方法 35
5.1 引言 35
5.2 相關工作 37
5.3 預備知識 39
5.3.1 基於上下文信息的語義表示模型 39
5.3.2 關聯模式挖掘 40
5.4 增強關聯模式的語義表示模型 41
5.4.1 基於CBOW的APWE模型 42
5.4.2 基於Skip-gram的APWE模型 43
5.5 實驗 44
5.5.1 對比方法 45
5.5.2 實驗I：文本分類 45
5.5.3 實驗II：查詢詞擴展 48
5.5.4 參數分析 51
5.5.5 實例分析 52
5.6 本章小結 53

第6章基於知識的語義向量化表示 55
6.1 引言 55
6.2 相關工作 57
6.2.1 知識庫表示 57
6.2.2 知識與文本聯合表示 59
6.3 基於語義結構的語義表示模型 60
6.3.1 語義結構定義 60
6.3.2 SENSE模型 61
6.4 實驗 63
6.4.1 對比方法 64
6.4.2 參數設置 65
6.4.3 任務I：詞相似度測量 66
6.4.4 任務II：詞彙類比推理 67
6.4.5 任務III：文本分類 69
6.4.6 任務IV：查詢詞擴展 71
6.5 本章小結 73

第7章文本分類中任務導向的語義表示方法 74
7.1 引言 74
7.2 相關工作 76
7.3 任務導向的語義表示模型 78
7.3.1 語義特徵表示 78
7.3.2 任務特徵表示 78
7.3.3 聯合表示模型及優化 80
7.4 實驗 80
7.4.1 數據集 80
7.4.2 對比方法 82
7.4.3 實驗參數設置 82
7.4.4 整體評測效果 84
7.5 實例分析 87
7.6 本章小結 89

第8章文本語義向量化表示在機器閱讀理解任務中的應用 90
8.1 引言 90
8.2 機器閱讀理解 93
8.3 機器閱讀理解基礎方法 95
8.4 多粒度語義匹配的MGRC模型 96
8.4.1 多粒度語義表示 96
8.4.2 多粒度語義匹配 99
8.4.3 聯合模型及其優化 103
8.5 實驗 103
8.5.1 數據集 104
8.5.2 評測指標及對比方法 105
8.5.3 整體性能評測 106
8.5.4 參數分析 109
8.5.5 模塊有效性驗證 109
8.5.6 實例分析 113
8.6 本章小結 115

第9章總結與展望 116
9.1 本書總結 116
9.2 未來研究方向展望 117
參考文獻 119