雲計算與大數據技術應用第2版

安俊秀，成都信息工程大學教授，碩士生導師。軟件自動生成與智能服務四川省重點實驗室學術帶頭人（領域知識本體和大數據方向），長期從事數據科學與大數據相關的研究與教學工作，發表相關論文40餘篇，主編雲計算與大數據方向專著或教材10餘部。是國家自然科學基金委通訊評審專家，四川省科技項目評審專家，成都市科技攻關計劃評審專家。

第1章 雲計算概述1
1.1 什麼是雲計算1
1.1.1 雲計算的定義1
1.1.2 雲計算的概念模型2
1.1.3 雲計算的特點3
1.2 雲計算技術發展背景3
1.3 典型的雲計算基礎架構8
1.4 雲計算的主要服務模式9
1.4.1 基礎設施即服務（IaaS）9
1.4.2 平臺即服務（PaaS）11
1.4.3 軟件即服務（SaaS）11
1.4.4 三種服務模式之間的關係12
1.5 雲計算的主要部署模式13
1.6 雲計算是商業模式的創新14
1.7 典型的雲計算產品15
1.7.1 Amazon的AWS15
1.7.2 Windows Azure Platform16
1.7.3 IBM藍雲解決方案17
1.7.4 阿裡雲18
1.8 雲計算技術的新發展20
1.8.1 軟件定義存儲（SDS）20
1.8.2 超融合基礎架構（HCI）20
1.8.3 軟件定義數據中心（SDDC）和
DevOps21
1.8.4 混合雲服務興起22
1.8.5 邊緣計算22
1.8.6 分佈式雲24
1.8.7 信創雲25
1.8.8 安全性成為關鍵26
1.9 我國的雲計算產業現狀27
1.9.1 政府推動雲計算產業發展27
1.9.2 我國雲計算產業高速發展27
習題28
第2章 大數據技術概述29
2.1 大數據技術的產生29
2.1.1 大數據的基本概念29
2.1.2 大數據產生的原因29
2.1.3 大數據概念的提出32
2.1.4 第四範式—大數據對科學研究
產生的影響33
2.1.5 雲計算與大數據的關係33
2.2 大數據的4V特徵34
2.3 大數據的主要應用及行業推動
力量35
2.3.1 大數據的主要應用35
2.3.2 企業推動大數據行業發展35
2.3.3 我國政府推動大數據行業發展36
2.4 大數據的關鍵技術37
2.5 典型的大數據計算架構38
習題38
第3章 虛擬化技術39
3.1 虛擬化技術簡介39
3.1.1 虛擬化技術的概念39
3.1.2 虛擬化技術的分類41
3.1.3 虛擬化技術的優勢和劣勢45
3.1.4 虛擬化技術與雲計算46
3.2 虛擬化技術原理46
3.2.1 虛擬機技術原理47
3.2.2 CPU虛擬化原理47
3.2.3 內存虛擬化原理49
3.2.4 網絡虛擬化原理50
3.2.5 CGroups相關原理50
3.3 虛擬化技術解決方案51
3.3.1 OpenStack51
3.3.2 KVM52
3.3.3 Hyper-V53
3.3.4 VMware53
3.3.5 Xen54
3.3.6 Docker55
3.4 常見虛擬化技術的應用實踐56
3.4.1 虛擬化環境的搭建56
3.4.2 克隆虛擬機58
3.4.3 虛擬機做快照60
習題63
第4章 數據中心與雲存儲技術64
4.1 數據中心的概念64
4.1.1 數據中心的定義、作用及分類64
4.1.2 雲計算、大數據時代的數據中心
發展趨勢66
4.2 雲存儲概述66
4.2.1 雲存儲的概念66
4.2.2 雲存儲系統的結構67
4.2.3 雲存儲的實現基礎69
4.2.4 雲存儲的特性71
4.3 雲存儲與雲計算72
4.4 雲存儲發展的關註點72
習題73
第5章 並行計算與集群技術74
5.1 並行計算概述74
5.1.1 並行計算的概念74
5.1.2 並行計算的層次75
5.1.3 並行計算機的發展76
5.1.4 並行計算與分佈式計算78
5.1.5 並行計算與雲計算79
5.2 雲計算基礎架構—集群技術80
5.2.1 集群的基本概念80
5.2.2 集群系統的分類81
5.2.3 集群文件系統81
5.3 並行計算的分類82
5.3.1 按Flynn分類83
5.3.2 按應用的計算特徵分類84
5.3.3 按結構模型分類84
5.4 並行計算相關技術86
5.4.1 並行計算的關鍵技術86
5.4.2 並行計算的性能估算87
5.5 並行程序設計—MPI編程88
5.5.1 MPI簡介88
5.5.2 一個簡單的MPI程序實現90
5.5.3 MPI消息91
5.5.4 MPI的消息傳遞過程92
5.5.5 MPI常用基本函數92
5.5.6 有消息傳遞的並行程序93
習題95
第6章OpenStack—功能強大的
IaaS平臺96
6.1 OpenStack架構96
6.2 計算服務模塊Nova97
6.3 網絡服務模塊Neutron100
6.3.1 Neutron的主要組件100
6.3.2 Neutron網絡102
6.4 塊存儲服務模塊Cinder103
6.5 對象存儲服務模塊Swift104
6.6 身份認證模塊Keystone108
6.7 鏡像模塊Glance112
6.8 儀錶盤服務模塊Horizon114
6.9 監控計量服務模塊Ceilometer115
習題116
第7章 Docker—用途廣泛的
容器技術117
7.1 Docker概述117
7.1.1 Docker安裝117
7.1.2 運行第一個容器119
7.1.3 Docker基本命令120
7.2 Docker鏡像與倉庫121
7.2.1 什麼是Docker鏡像121
7.2.2 發布和獲取Docker鏡像122
7.2.3 鏡像操作123
7.2.4 構建私有倉庫124
7.3 Dockerfile定製鏡像125
7.3.1 Dockerfile介紹125
7.3.2 Dockerfile命令詳解126
7.3.3 構建定製鏡像126
7.4 Kubernetes容器編排技術127
7.4.1 Kubernetes簡介127
7.4.2 部署Kubernetes128
習題130
第8章 Hadoop—分佈式大數據
開發平臺131
8.1 Hadoop簡介131
8.1.1 Hadoop與分佈式開發技術131
8.1.2 Hadoop的體系架構132
8.1.3 Hadoop集群的架構134
8.2 分佈式文件系統HDFS136
8.2.1 分佈式文件系統概述136
8.2.2 HDFS的架構及讀寫流程138
8.3 分佈式計算框架MapReduce141
8.3.1 MapReduce編程模型141
8.3.2 MapReduce數據流143
8.3.3 MapReduce任務運行流程144
8.4 列式數據庫HBase147
8.4.1 HBase列式數據庫介紹147
8.4.2 理解HBase的表結構148
8.5 搭建Hadoop開發環境151
8.5.1 相關準備工作151
8.5.2 JDK的安裝配置152
8.5.3 安裝Hadoop並配置Hadoop
環境變量153
8.5.4 修改Hadoop配置文件153
8.5.5 將配置好的Hadoop文件複製到
其他節點並格式化154
8.5.6 啟動、停止Hadoop155
8.5.7 運行測試程序WordCount156
習題157
第9章 Storm—基於拓撲的流數據
實時計算框架158
9.1 Storm簡介158
9.2 Storm原理及其體系架構161
9.2.1 Storm編程模型原理161
9.2.2 Storm體系架構163
9.3 Storm-Yarn簡介164
9.3.1 Storm-Yarn的產生背景164
9.3.2 Storm-Yarn的體系架構165
9.4 Flink與Storm166
9.5 搭建Storm開發環境167
9.5.1 Storm安裝說明167
9.5.2 Storm安裝步驟168
9.5.3 Storm設置170
9.5.4 Storm的啟動171
9.5.5 Storm的常用操作命令172
9.6 Storm應用實踐173
9.6.1 使用Maven管理storm-starter173
9.6.2 WordCountTopology源代碼分析176
習題179
第10章 Spark—基於內存的大數據
計算框架180
10.1 Spark概述180
10.2 Spark的運行機制181
10.3 Spark的運行模式183
10.3.1 Standalone模式184
10.3.2 Spark Yarn模式185
10.3.3 Spark Mesos模式188
10.4 Spark RDD188
10.4.1 RDD的特點189
10.4.2 RDD的創建190
10.4.3 RDD基本操作191
10.4.4 RDD持久化（緩存）193
10.4.5 Spark共享變量194
10.5 Spark生態系統196
10.5.1 Spark SQL196
10.5.2 Spark Streaming197
10.5.3 GraphX201
10.5.4 MLlib203
習題204
第11章 雲計算模擬205
11.1 雲計算模擬係統—CloudSim205
11.1.1 CloudSim基礎205
11.1.2 CloudSim的體系結構206
11.2 CloudSim的模型使用場景208
11.3 CloudSim應用實踐209
11.3.1 準備環境209
11.3.2 數據中心模擬實例210
11.3.3 網絡模擬實例215
習題218
參考文獻219