人工智能數據處理

餘平
重慶電子工程職業學院教師，教授，主要專業方向是軟件技術/人工智能技術，
教授的課程有《人工智能基礎》、《數據庫基礎》、《C語言程序開發》、《Java程序開發》、
《Java web編程》等，發表論文多篇，已出版的教材有《SQL SERVER數據庫基礎》、《C語言程序》、《計算機網絡》等。

項目一  大數據採集認知 001
任務1.1  開始大數據採集認知 002
1.1.1  任務描述 002
1.1.2  知識準備 002
1.1.3  任務效果 007
任務1.2  瞭解大數據採集平臺 007
1.2.1  任務描述 007
1.2.2  知識準備 008
1.2.3  任務實施 009
1.2.4  任務效果 021
任務1.3  認識大數據預處理 021
1.3.1  任務描述 021
1.3.2  知識準備 022
1.3.3  任務實施 022
1.3.4  任務效果 033
任務1.4  瞭解大數據預處理常用工具 034
1.4.1  任務描述 034
1.4.2  任務實施 035
1.4.3  任務效果 042
項目小結 043
習題 044
項目二  使用Apache Flume採集日誌數據 045
任務2.1  Windows環境下的Apache Flume環境搭建 046
2.1.1  任務描述 046
2.1.2  知識準備 046
2.1.3  任務實施 060
2.1.4  任務效果 067
任務2.2  Apache Flume數據採集案例 067
2.2.1  任務描述 067
2.2.2  任務實施 068
項目小結 071
習題 072
項目三  使用Logstash採集日誌數據 074
任務3.1  Logstash工具安裝 075
3.1.1  任務描述 075
3.1.2  知識準備 075
3.1.3  任務實施 089
3.1.4  任務效果 093
任務3.2  Logstash數據採集工作 094
3.2.1  任務描述 094
3.2.2  任務實施 095
3.2.3  任務效果 097
項目小結 097
習題 098
項目四  使用爬蟲工具完成網頁數據獲取 099
任務4.1  使用Web Scraper完成列車時刻表數據採集工作 100
4.1.1  任務描述 100
4.1.2  任務知識準備 100
4.1.3  任務實施 107
4.1.4  任務效果 115
任務4.2  使用八爪魚工具採集數據 115
4.2.1  任務描述 115
4.2.2  知識準備 116
4.2.3  任務實施 117
4.2.4  任務效果 123
項目小結 123
習題 124
項目五  完成招聘數據預處理 125
任務5.1  使用OpenRefine完成數據清洗任務 126
5.1.1  任務描述 126
5.1.2  任務實施 126
5.1.3  任務效果 137
任務5.2  使用Kettle完成數據集成任務 138
5.2.1  任務描述 138
5.2.2  任務實施 138
5.2.3  任務效果 158
項目小結 159
習題 159
項目六  數據可視化處理 161
任務6.1  數據可視化認知 162
6.1.1  任務描述 162
6.1.2  知識準備 162
6.1.3  任務效果 167
任務6.2  熟悉Echarts數據可視化 167
6.2.1  任務描述 167
6.2.2  知識準備 168
6.2.3  任務實施 169
任務6.2.3  任務效果 183
任務6.3  使用Tableau Desktop完成數據可視化任務 183
6.3.1  任務描述 183
6.3.2  知識準備 183
6.3.3  任務實施 187
6.3.4  任務效果 197
項目小結 198
習題 198
項目七  數據標註 199
預備知識 200
任務7.1  安裝Labelme圖像標註工具 201
7.1.1  任務描述 201
7.1.2  知識準備 202
7.1.3  任務實施 203
任務7.2  使用Labelme標註工具完成數據標註任務 206
7.2.1  任務描述 206
7.2.2  知識準備 206
7.2.3  任務實施 207
項目小結 221
習題 221