深度學習搜索引擎開發 Java 實現

托馬索·泰奧菲利（Tommaso Teofili）

 

Red Hat公司高級軟件工程師，曾擔任Adobe公司軟件工程師，對開源和人工智能充滿熱情。他是Apache軟件基金會的成員，參與了許多項目，涉及信息檢索、自然語言處理和分佈式計算等主題。

 

 

【譯者簡介】

 

李軍

 

電子科技大學電腦應用技術碩士，《IDA Pro代碼破解揭密》合作譯者，現從事電力系統自動化工作。

 

天舒

 

曾就讀於四川大學電氣工程及自動化專業，英國曼徹斯特大學電力系統工程碩士，現從事電力系統自動化工作。

第 一部分 當搜索遇上深度學習

第 1章 神經搜索　2

1.1 神經網絡及深度學習　3

1.2 什麼是機器學習　5

1.3 深度學習能為搜索做什麼　7

1.4 學習深度學習的路線圖　9

1.5 檢索有用的信息　10

1.5.1 文本、詞素、詞項和搜索基礎　11

1.5.2 相關性優先　18

1.5.3 經典檢索模型　19

1.5.4 精確率與召回率　20

1.6 未解決的問題　20

1.7 打開搜索引擎的黑盒子　21

1.8 利用深度學習解決問題　22

1.9 索引與神經元　26

1.10 神經網絡訓練　26

1.11 神經搜索的前景　28

1.12 總結　29

第 2章 生成同義詞　30

2.1 同義詞擴展介紹　31

2.1.1 為什麼要使用同義詞　32

2.1.2 基於詞匯表的同義詞匹配　33

2.2 語境的重要性　42

2.3 前饋神經網絡　43

2.3.1 前饋神經網絡如何工作：權重和激活函數　44

2.3.2 簡述反向傳播　45

2.4 使用word2vec　46

2.4.1 在Deeplearning4j中設置word2vec　53

2.4.2 基於word2vec的同義詞擴展　54

2.5 評價和比較　57

2.6 用於生產系統時的考慮　58

2.7 總結　61

第二部分 將神經網絡用於搜索引擎

第3章 從純檢索到文本生成　64

3.1 信息需求與查詢：彌補差距　65

3.1.1 生成可選查詢　65

3.1.2 數據準備　67

3.1.3 生成數據的小結　73

3.2 學習序列　73

3.3 循環神經網絡　75

3.3.1 循環神經網絡內部結構和動態　77

3.3.2 長期依賴　80

3.3.3 LSTM網絡　81

3.4 用於無監督文本生成的LSTM網絡　81

3.5 從無監督文本生成到監督文本生成　92

3.6 生產系統的考慮因素　95

3.7 總結　96

第4章 更靈敏的查詢建議　97

4.1 生成查詢建議　98

4.1.1 編寫查詢時的建議　98

4.1.2 基於字典的建議算法　99

4.2 Lucene Lookup API　99

4.3 分析後的建議算法　102

4.4 使用語言模型　108

4.5 基於內容的建議算法　111

4.6 神經語言模型　112

4.7 基於字符的神經語言建議模型　114

4.8 調優LSTM 語言模型　117

4.9 使用詞嵌入使建議多樣化　125

4.10 總結　127

第5章 用詞嵌入對搜索結果排序　128

5.1 排序的重要性　128

5.2 檢索模型　130

5.2.1 TF-IDF與向量空間模型　132

5.2.2 在Lucene中對文檔進行排序　134

5.2.3 概率模型　137

5.3 神經信息檢索　138

5.4 從單詞到文檔向量　139

5.5 評價和比較　144

5.6 總結　149

第6章 用於排序和推薦的文檔嵌入　150

6.1 從詞嵌入到文檔嵌入　150

6.2 在排序中使用段向量　154

6.3 文檔嵌入及相關內容　157

6.3.1 搜索、推薦和相關內容　157

6.3.2 使用高頻詞項查找相似內容　159

6.3.3 使用段向量檢索相似內容　166

6.3.4 從編碼器-解碼器模型用向量檢索相似內容　169

6.4 總結　170

第三部分 延伸

第7章 跨語言搜索　172

7.1 為講多種語言的用戶提供服務　172

7.1.1 翻譯文檔與查詢　174

7.1.2 跨語言搜索　175

7.1.3 在Lucene上進行多語言查詢　176

7.2 統計機器翻譯　178

7.2.1 對齊　180

7.2.2 基於短語的翻譯　181

7.3 使用並行語料庫　181

7.4 神經機器翻譯　184

7.4.1 編碼器-解碼器模型　184

7.4.2 DL4J中用於機器翻譯的編碼器-解碼器　187

7.5 多語言的單詞和文檔嵌入　194

7.6 總結　199

第8章 基於內容的圖像搜索　200

8.1 圖像內容和搜索　201

8.2 回顧：基於文本的圖像檢索　203

8.3 理解圖像　204

8.3.1 圖像表示　206

8.3.2 特徵提取　208

8.4 圖像表示的深度學習　215

8.4.1 捲積神經網絡　216

8.4.2 圖像搜索　224

8.4.3 局部敏感散列　228

8.5 處理未標記的圖像　231

8.6 總結　235

第9章 性能一瞥　236

9.1 深度學習的性能與約定　237

9.2 索引和神經元協同工作　251

9.3 使用數據流　254

9.4 總結　259

展望未來　260