大數據導論

本書從系統的角度出發，按照大數據處理流程的順序，全面介紹了大數據技術的基礎知識，提升讀者對大數據的認知。全書分3個邏輯層次，共9章。
本書作為大數據技術的基礎教材，目的不在於讓讀者對具體的某個技術平臺細節有很深的理解，而是盡量讓讀者體會整個大數據處理的技術流程，使讀者能夠掌握大數據技術的整體框架，能夠在未來的學習和工作中通過系統化的大數據思維能力為所遇到的問題提供解決思路和方案。

孟憲偉，遼寧科技學院-曙光大數據學院教授，碩士學位，主持省市級項目8項,發表學術論文18篇，研究領域為社會智能與復雜數據處理。中國教育信息化學會理事，本溪市網絡與信息安全專家。

第1章什麼是大數據1 
1.1人類信息文明的發展1 
1.2大數據時代的來臨2 
1.2.1信息技術的發展3 
1.2.2數據產生方式的變革5 
1.3大數據的主要特徵7 
1.3.1大數據的數據特徵8 
1.3.2大數據的技術特徵10 
1.4大數據的社會價值11 
習題12 
本章參考文獻13 

第2章大數據技術基礎14 
2.1計算機操作系統14 
2.1.1什麼是操作系統14 
2.1. 2 Linux操作系統16 
2.2編程語言18 
2.2.1編程語言的發展與種類18 
2.2.2 Python語言21 
2.3數據庫23 
2.3.1 SQL數據庫的發展與成熟24 
2.3.2 NoSQL數據庫及其特點25 
2.3.3 NoSQL數據庫的分類27 
2.3.4 NewSQL數據庫30 
2.4算法30 
2.4.1什麼是算法30 
2.4.2大數據時代的算法32 
2.5大數據系統33 
2.5.1 Hadoop平台33 
2.5.2 Spark平台35
2.6大數據的數據類型37 
2.6.1結構化數據38 
2.6.2半結構化數據38 
2.6.3非結構化數據39 
2.7大數據應用的開發流程40 
2.8數據科學算法的應用流程41 
習題42 
本章參考文獻43 

第3章數據採集與預處理44 
3.1大數據的來源44 
3.1.1傳統商業數據45 
3.1.2互聯網數據45 
3.1.3物聯網數據46 
3.2數據的採集方法47 
3.2.1系統日誌的採集方法47 
3.2.2網頁數據的採集方法52 
3.2.3其他數據的採集方法55 
3.3數據預處理56 
3.3.1影響數據質量的因素56 
3.3.2數據預處理的目的59 
3.3.3數據預處理的流程60 
習題67 
本章參考文獻67 

第4章大數據存儲與管理68 
4.1數據存儲概述68 
4.1.1數據的存儲介質68 
4.1.2數據的存儲模式72 
4.2大數據時代的存儲管理系統76 
4.2.1文件系統76 
4.2.2分佈式文件系統77 
4.2.3數據庫80
4.2.4鍵-值數據庫82 
4.2.5分佈式數據庫82 
4.2.6關係型數據庫84 
4.2.7數據倉庫85 
4.2.8文檔數據庫87 
4.2.9圖形數據庫89 
4.2.10雲存儲90 
習題93 
本章參考文獻93 

第5章大數據計算框架94 
5.1計算框架94 
5.1.1批處理框架94 
5.1.2流式處理框架95 
5.1.3交互式處理框架96 
5.2 MapReduce 96 
5.2.1 MapReduce編程的特點97 
5.2. 2 MapReduce的計算模型97 
5.2.3 MapReduce的資源管理框架101 
5.3 Spark 105 
5.3.1 Spark的基本知識105 
5.3.2 Spark的生態系統107 
5.3.3 Spark的架構與原理109 
5.3.4 Spark RDD的基本知識111 
習題115 
本章參考文獻115 

第6章數據挖掘116 
6.1什麼是數據挖掘116 
6.2數據挖掘的對象與價值119 
6.2.1數據挖掘的對象119 
6.2.2數據挖掘的價值121
6.3數據挖掘常用的技術123 
6.3.1關聯分析123 
6.3.2分類分析126 
6.3.3聚類分析129 
6.4數據挖掘常用的工具132 
6.4.1 RapidMiner 133 
6.4.2 WEKA 133 
6.4.3 Orange 134 
6.4. 4 R語言134 
6.4.5 Mining 135 
6.5數據挖掘的典型應用137 
6.5.1社交媒體領域的應用137 
6.5.2市場營銷領域的應用137 
6.5.3科學研究領域的應用138 
6.5.4電信領域的應用138 
6.5.5教育領域的應用138 
6.5.6醫學領域的應用139 
習題140 
本章參考文獻140 

第7章數據可視化141 
7.1什麼是可視化141 
7.1.1可視化的含義141 
7.1.2可視化的發展歷程142 
7.1 .3可視化的作用143 
7.2數據可視化及其分類144 
7.2.1科學可視化144 
7.2.2信息可視化146 
7.2.3可視化分析學147 
7.3數據可視化工具147 
7.3.1入門級工具148
7.3.2信息圖表工具149 
7.3.3地圖工具152 
7.3.4高級分析工具155 
7.4數據可視化案例157 
7.4.1數字美食157 
7.4.2空中的間諜157 
習題158 
本章參考文獻158 

第8章大數據與雲計算160 
8.1什麼是雲計算160 
8.1.1雲計算的概念與特點160 
8.1.2雲計算的分類162 
8.1.3雲計算與分佈式計算的區別163 
8.1.4雲計算的體系架構163 
8.1. 5雲計算需要解決的問題165 
8.1.6具有代表性的雲計算廠商166 
8.2大數據與雲計算的關係167 
8.2.1雲計算將改變大數據分析168 
8.2.2大數據與雲計算的區別和
聯繫168 
8.2.3大數據與雲計算未來的發展
方向和趨勢169 
8.2.4大數據與雲計算在生產生活中的
應用171 
習題173 
本章參考文獻174 

第9章大數據與人工智能175 
9.1什麼是人工智能175 
9.1.1人工智能的發展歷史176 
9.1.2人工智能的研究方向和方法182
9.1.3人工智能面臨的問題184 
9.2數據驅動的智能時代185 
9.2.1人工智能與大數據185 
9.2.2產業戰略187 
習題188 
本章參考文獻188