Python 自然語言處理入門與實戰

張良均，高級信息系統項目管理師，泰迪杯全國大學生數據挖掘競賽（www.tipdm.org）的發起人。華南師範大學、廣東工業大學兼職教授，廣東省工業與應用數學學會理事。兼有大型高科技企業和高校的工作經歷，主要從事大數據挖掘及其應用的策劃、研發及咨詢培訓。全國電腦技術與軟件專業技術資格（水平）考試繼續教育和CDA數據分析師培訓講師。發表數據挖掘相關論文數二十餘篇，已取得國家發明專利12項，主編圖書《神經網絡實用教程》、《數據挖掘:實用案例分析》、《MATLAB數據分析與挖掘實戰》等9本圖書，主持並完成科技項目9項。獲得SAS、SPSS數據挖掘認證及Hadoop開發工程師證書，具有電力、電信、銀行、製造企業、電子商務和電子政務的項目經驗和行業背景。

目錄

第　1章 導論　1

1.1　自然語言處理概述　1

1.1.1　發展歷程　1

1.1.2　研究任務　3

1.1.3　自然語言處理與新聞傳媒　5

1.2　自然語言處理工具　11

1.2.1　常見的自然語言處理工具　12

1.2.2　Python與自然語言處理　14

1.3　NLP的開發環境　14

1.3.1　Anaconda安裝　14

1.3.2　Anaconda應用介紹　15

小結　22

課後習題　22

第　2章 文本數據爬取　24

2.1　HTTP通信基礎　24

2.1.1　熟悉HTTP請求方法與過程　24

2.1.2　熟悉常見HTTP狀態碼　27

2.1.3　熟悉HTTP頭部信息　28

2.1.4　熟悉Cookie　29

2.2　靜態網頁爬取　31

2.2.1　實現HTTP請求　32

2.2.2　網頁解析　35

2.2.3　數據存儲　42

2.3　動態網頁爬取　44

2.3.1　逆向分析爬取　45

2.3.2　使用Selenium庫爬取　50

小結　58

課後習題　59

第3章　文本基礎處理　61

3.1　語料庫　61

3.1.1　語料庫概述　61

3.1.2　語料庫種類與原則　63

3.1.3　NLTK庫　65

3.1.4　語料庫的獲取　68

3.1.5　語料庫的構建與應用　70

3.2　分詞與詞性標註　74

3.2.1　中文分詞簡介　74

3.2.2　基於規則的分詞　74

3.2.3　基於統計的分詞　76

3.2.4　中文分詞工具jieba庫　79

3.2.5　詞性標註簡介　80

3.2.6　詞性標註規範　81

3.2.7　jieba詞性標註　82

3.3　命名實體識別　85

3.3.1　命名實體識別簡介　86

3.3.2　CRF模型　87

3.3.3　命名實體識別流程　87

3.4　關鍵詞提取　91

3.4.1　關鍵詞提取技術簡介　91

3.4.2　關鍵詞提取算法　92

3.4.3　自動提取文本關鍵詞　93

小結　97

課後習題　97

第4章　文本進階處理　99

4.1　文本向量化　99

4.1.1　文本向量化簡介　99

4.1.2　文本離散表示　100

4.1.3　分佈式表示　102

4.1.4　Word2Vec詞向量的訓練　106

4.2　文本相似度計算　108

4.2.1　文本相似度的定義　108

4.2.2　文本的表示　108

4.2.3　常用文本相似度算法　111

4.3　文本分類與聚類　117

4.3.1　文本挖掘簡介　117

4.3.2　文本分類常用算法　118

4.3.3　文本聚類常用算法　120

4.3.4　文本分類與聚類的步驟　121

4.3.5　新聞文本分類　122

4.3.6　新聞文本聚類　130

小結　135

課後習題　136

第5章　天問一號事件中的網民評論情感分析　137

5.1　業務背景與項目目標　137

5.1.1　業務背景　138

5.1.2　數據說明　138

5.1.3　分析目標　139

5.2　分析方法與過程　140

5.2.1　數據探索　140

5.2.2　文本預處理　145

5.2.3　繪制詞雲圖　149

5.2.4　使用樸素貝葉斯構建情感分析模型　154

5.2.5　模型評估　160

5.2.6　模型優化　162

小結　167

課後習題　167

第6章　新聞文本分類　172

6.1　業務背景與項目目標　172

6.1.1　業務背景　172

6.1.2　數據說明　173

6.1.3　分析目標　173

6.2　分析方法與過程　174

6.2.1　數據採集　174

6.2.2　數據探索　175

6.2.3　文本預處理　181

6.2.4　SVM模型構建　185

6.2.5　模型評價　189

小結　191

課後習題　191

第7章　基於瀏覽記錄的個性化新聞推薦　193

7.1　業務背景與項目目標　193

7.1.1　業務背景　194

7.1.2　數據說明　194

7.1.3　分析目標　195

7.2　分析方法與過程　196

7.2.1　數據探索　196

7.2.2　數據預處理　201

7.2.3　模型構建　202

7.2.4　模型評估　209

小結　210

課後習題　211

第8章　基於TipDM數據挖掘建模平臺實現新聞文本分類　212

8.1　平臺簡介　212

8.1.1　實訓庫　213

8.1.2　數據連接　214

8.1.3　實訓數據　215

8.1.4　系統算法　217

8.1.5　個人算法　219

8.2　實現新聞文本分類　220

8.2.1　數據源配置　221

8.2.2　文本預處理　223

8.2.3　支持向量機模型　231

小結　233

課後習題　233