智能聊天機器人 — 核心技術與算法

黃申，博士，2015年美國傑出人才，微軟學者，IBMExtremeBlue天才計劃成員。
2006年博士畢業於上海交通大學計算機科學與工程專業，師從俞勇教授，擁有20餘篇國際論文和30多項國際專利。
他有超過20年機器學習和大數據領域的從業經驗，現任Glassdoor機器學習資深研發經理，曾任職於LinkedIn全球數據科學部、微軟亞洲研究院、IBM研究院、eBay中國研發中心、1號店和***飛牛網。
出版過《大數據架構和算法實現之路：電商系統的技術實戰》《大數據架構商業之路：從業務需求到技術方案》《程序員的數學》等技術書籍和專欄，累計讀者數萬人。

第1章  聊天機器人概述 1
1.1  聊天機器人的發展歷史 1
1.2  聊天機器人的類型和應用 3
1.3  聊天機器人的模塊和框架 4

第2章  自動語音識別 7
2.1  自動語音識別的發展概述 7
2.2  隱馬爾可夫模型 8
2.2.1　概率論基礎知識 9
2.2.2　隱馬爾可夫模型是怎麼來的 18
2.2.3　求解隱馬爾可夫模型 25
2.3  Python實戰 28

第3章  自然語言處理 33
3.1  自然語言處理的發展概述 33
3.2  常見的自然語言處理技術 34
3.2.1　停用詞 34
3.2.2　同義詞和近義詞 37
3.2.3　多元語法 39
3.2.4　詞袋模型和TF-IDF機制 40
3.2.5　語義相關的詞 44
3.2.6  詞性標註 61
3.2.7  實體識別 64
3.2.8  語法分析和語義分析 66
3.3  針對中英文的特殊處理 70
3.3.1　取詞乾和詞形還原 71
3.3.2　中文分詞 72

第4章  基於信息檢索的問答系統 78
4.1  問答系統的發展概述 78
4.2  信息檢索 78
4.2.1　如何高效地找到信息 79
4.2.2　相關性模型 84
4.2.3　其他擴展 95
4.2.4　基於信息檢索的問答系統架構 99
4.3  基於Elasticsearch搜索引擎的問答系統 103
4.3.1　軟件和數據的準備 103
4.3.2　Elasticsearch的基本概念和使用 105
4.3.3　在Elasticsearch中處理自然語言 114
4.3.4　自定義Elasticsearch的排序 123
4.3.5　Elasticsearch中搜索結果的統計 126
4.3.6　Elasticsearch集群 129
4.3.7　集成的問答系統 136

第5章  用機器學習提升基於信息檢索的問答系統 141
5.1  如何提升問答系統 141
5.2  分析用戶提出的問題 142
5.2.1　分類模型和算法 142
5.2.2　利用樸素貝葉斯模型進行文本分類 148
5.2.3　問題分類的Python實戰 152
5.2.4　實體識別及其Python實戰 159
5.3  檢索結果的優化 166
5.3.1　線性回歸的基本概念 166
5.3.2　線性回歸的求解和擬合度的評估 168
5.3.3　線性回歸的Python實戰 181
5.3.4　聚類模型和算法 184
5.3.5　向量空間模型上的聚類 189

第6章  基於社區和推薦的問答系統 195
6.1  什麼是社區和推薦 195
6.2  基於社區的問答系統 195
6.3  推薦系統的原理和算法 199
6.3.1　推薦系統 199
6.3.2　協同過濾 206
6.3.3　使用Python實現協同過濾 211
6.4  基於推薦的問答系統 214
6.5  答案的摘要 218
6.5.1　文本摘要原理和算法 218
6.5.2　文本摘要的Python實戰 219

第7章　使用深度學習加強問答系統 227
7.1　神經網絡 227
7.1.1　神經網絡的基礎知識 227
7.1.2　使用TensorFlow實現基本的神經網絡 234
7.2　深度學習 243
7.2.1　捲積神經網絡 243
7.2.2　深度學習在問答系統上的應用 248

第8章　使用知識圖譜構建問答系統 261
8.1　什麼是知識圖譜 261
8.1.1　知識圖譜的起源 261
8.1.2　知識圖譜的應用 263
8.1.3　知識圖譜的關鍵要素 264
8.2　基於模板的知識圖譜問答 269
8.2.1　基於模板方法的主要步驟 269
8.2.2　使用SPARQL和Python實戰 271
8.2.3　可能的改進 304

第9章　打造任務型和閑聊型聊天系統 306
9.1　什麼是任務型聊天系統 306
9.2　理解用戶的意圖 307
9.2.1　基本方法 307
9.2.2　Python實戰 308
9.3　識別任務相關的屬性 314
9.4　對話流程的管理 324
9.4.1　基於規則的方法 325
9.4.2　基於數據統計的方法 334
9.5　閑聊型聊天系統的情感分析 342