數據採集與預處理

林子雨 博士，國內高校大數據教師，廈門大學電腦科學系副教授，廈門大學信息學院實驗教學中心主任，廈門大學數據庫實驗室負責人，中國高校“數字教師”提出者和建設者。2013年開始在廈門大學開設大數據課程，建設了國內高校大數據課程公共服務平臺，平臺累計網絡訪問量超過1000萬次，成為全國高校大數據教學品牌，並榮獲“2018年福建省教學成果二等獎”和“2018年廈門大學教學成果特等獎”，主持的課程“大數據技術原理與應用”獲評“2018年國家精品在線開放課程”和“2020年國家級線上一流本科課程”。

第 1 章概述.

1.1　數據

1.1.1　數據的概念.

1.1.2　數據類型

1.1.3　數據的組織形式.

1.1.4　數據的價值

1.1.5　數據爆炸.

1.2　數據分析過程.

1.3　數據採集與預處理的任務

1.4　數據採集

1.4.1　數據採集的概念

1.4.2　數據採集的三大要點

1.4.3　數據採集的數據源.

1.4.4　數據採集方法.

1.5　數據清洗

1.5.1　數據清洗的應用領域

1.5.2　數據清洗的實現方式.

1.5.3　數據清洗的內容.

1.5.4　數據清洗的註意事項

1.5.5　數據清洗的基本.流.程.

1.5.6　數據清洗的評價標.

1.6　數據集成.

1.7　數據轉換.

1.7.1　數據轉換策略.

1.7.2　平滑處理

1.7.3　規範化處理.

1.8　數據脫敏.

1.8.1　數據脫敏原則.

1.8.2　數據脫敏方法.

1.9　本章小結.

1.10　習題

第　2 章 大數據實驗環境搭建.

2.1　Python 的安裝和使用.

2.1.1　Python 簡介

2.1.2　Python 的安裝

2.1.3　Python 的基本使用方法

2.1.4　Python 基礎語法知識

2.1.5　Python 第三方模塊的安裝。

2.2　JDK 的安裝.

2.3　MySQL 數據庫的安裝和使用

2.3.1　關系數據庫

2.3.2　關系數據庫標準語言SQL

2.3.3　安裝MySQL

2.3.4　MySQL 數據庫的使用方法

2.3.5　使用 Ppython操作MySQL數據庫

2.4　Hadoop的安裝和使用

2.4.1　Hadoop簡介

2.4.2分佈式系統HDFS

2.4.3　Hadoop安裝

2.4.4　Hadoop的基本使用方法

第　3 章網絡數據採集.

3.1　網絡爬蟲概述.

3.1.1　什麼是網絡爬蟲

3.1.2網絡爬蟲的類型

3.1.3反爬機制

3.2　網頁基礎知識

3.2.1超文本和HTML

3.2.2　HTTP.

3.3　用 Python 實現HTTP請求

3.3.1　urllib模塊

3.3.2　urllib3 模塊.

3.3.3　requests 模塊.

3.4　定製 request.s.

3.4.1　傳遞 URL參數，

3.4.2　定製請求頭,

3.4.3　網絡超時

3.5　解析網頁

3.5.1　BeautifulSoup 簡介.

3.5.2　BeautifulSoup 四大對象

3.5.3　遍歷文件樹

3.5.4　搜索文檔樹

3.5.5　CSS選擇器

3.6　綜合實例

實例1:採集網頁數據保存到文本

實例2:採集網頁數據保存到MYSQL數據庫

3.7　Scrapy 框架

3.7.1　Scrapy 框架概述

3.7.2　XPath 語言

3.7.3　Scrapy 框架應用實例,

3.8　本章小結

3.9　習題.

實驗　2 網絡爬蟲初級實踐

第　4 章分佈式消息系統 afu.a .

4.1　Kafka 簡介

4.1.1　Kafk的特性

4.1.2　Kafka 的應用場景.

4.1.3　Kafka 的消息傳遞模式….

4.2　Kafka 在大數據生態系統中的作-用

4.3　Kafka 與 Flume 的區別與聯

4.4　Kafka 相關概念

4.5　Kafka 的安裝和使用

4.5.1　安裝Kafk

4.5.2　使用 Kafka

4.6　使用 Python 操作 Kafka

4.7　Kafka 與 MysQL 的組合使用，

4.8　本章小結

4.9　習題

實驗　3 熟悉 Kafka 的基本使用方法

第　5 章日誌採集統Flume

5.1　Flume 簡介.

5.2　Flume 的安裝和使用

5.2.1　Flume 的安裝.

5.2.2　Flume 的使用.

5.3　Flume 和 Kafka 的組合使用.

5.4　採集日誌文件到 HDFS.

5.4.1　採集目錄到 HDFS

5.4.2　採集文件到 HDFS.

5.5　採集 MySQL 數據到 HDFS

5.5.1　準備工作

5.5.2　創建 MysQL 數據庫.

5.6　本章小結.

5.7　習題

實驗　4熟悉 Flume 的基本使用方法

第　6 章 數據倉庫中的數據集成

6.1數據倉庫的概念

6.1.1傳統的數據倉庫

6.1.2　實時主動數據倉庫

6.2　數據集成

6.2.1　數據集成方式

6.2.2　數據分發方式

6.2.3　數據集成技術

6.3　ETL.

6.3.1　ETL 簡介.

6.3.2　ETL基本模塊

6.3.3　ETL工具

6.4　CDC .

6.4.1　CDC 的特性

6.4.2　CDC 的組成

6.4.3　CDC 的應用場景

6.4.4　CDC 需要考慮的問題

6.5　本章小結

6.6　習題

第7章　ETL工具的Kettle

7.1　Kettle 的基本概念！

7.2　Kettle 的基本功能

7.3　安裝 Kettle. .

7.4　數據抽取

7.4.1　把文本文件導入Excel 文件

7.4.2　把文本文件導入 MySQL 數據庫

7.4.3　把 Excel 文件導入MySQL數據庫

7.5　數據清洗與轉換

7.5.1　使用 Kettle 實現數據排序

7.5.2　在 Kettle 中用正則表達式清洗數據

7.5.3　使用 Kettle 去除缺失值

7.5.4　使用 Kettle 轉化 MySQL 數據庫中的數據

7.6　數據加載

7.6.1　把本地文件加載到 HDFS 中

7.6.2　把 HDFS 文件加載到 MySQL 數庫

7.7　本章.小結.

7.8　習題

實驗　5 熟悉 Kettle 的基本使用方法

第　8 章 使用 pandas 進行數據清洗

8.1　NumPy 的基本使用方法

8.1.1　數組創建

8.1.2數組索引和切片

8.1.3　數組運算

8.2　pandas的數據結構

8.2.2　Series

8.2.2　DataFrame

8.2.3索引對象

8.3　pandas的基本功能

8.3.1　重新索引.

8.3.2　丟棄指定軸上的項

8.3.3　索引、選取和濾.

8.3.4　算術運算.

8.3.5　DataFrame 和 Series 之間的運算.

8.3.6　函數應用和映射

8.3.7　排序和排名

8.3.8　分組

8.3.9　shape函數

8.3.10　info()函數

8.3.11　cut()函數

8.4　匯總和描述統計

8.4.1　與描述統計相關的函數

8.4.2　唯一值、值計數以及成員資格,

8.5　處理缺失數據

8.5.1　檢查缺失值

8.5.2　清理/填充缺失值.

8.5.3　排除缺少的值

8.6　綜合實例

8.6.1　Matplotlib 的使用方法

8.6.2　實例 1：對一個數據集進行基本操作

8.6.3　實例 2:百度搜索指數分析

8.6.4　實例 3:電影評分數據分析

8.6.5　實例 4:App行為數據預處理

8.7　本章小結

8.8　習題

實驗6　pandas數據清洗初級實踐

參考文獻