雲計算與大數據技術（第2版·微課視頻·題庫版)

本書在闡述雲計算和大數據關系的基礎上，介紹了雲計算和大數據的基本概念、技術及應用。全書內容分為三部分。第一部分為雲計算理論與技術，第1~5章講述雲計算的概念和原理，包括雲計算的概論、基礎、機制、虛擬化和應用。第二部分為大數據理論與技術，第6~9章講述大數據概述及基礎，包括大數據概念和發展背景、大數據系統架構概述、分佈式通信與協同、大數據存儲； 第10~15章講述大數據處理，包括分佈式處理、Hadoop MapReduce解析、Spark解析、流計算、集群資源管理與調度、機器學習。第三部分為綜合實踐，第16~22章由多個實驗和案例組成。 本書結合實際應用及實踐過程來講解相關概念、原理和技術，實用性較強，適合作為本科院校電腦、軟件工程、雲計算、大數據及信息管理等相關專業的教材，也適合電腦愛好者閱讀和參考。

資源下載

目錄

第一部分雲計算理論與技術

第1章雲計算概論

1.1什麽是雲計算

1.2雲計算的產生背景

1.3雲計算的發展歷史

1.4如何學好雲計算

1.5小結

習題

第2章雲計算基礎

2.1分佈式計算

2.2雲計算的基本概念

2.3分佈式計算和雲計算的區別與聯系

2.4雲計算的關鍵技術

2.4.1分佈式海量數據存儲

2.4.2虛擬化技術

2.4.3雲管理平臺技術

2.4.4並行編程技術

2.4.5數據管理技術

2.5雲交付模型

2.5.1SaaS

2.5.2PaaS

2.5.3IaaS

2.5.4基本雲交付模型的比較

2.6雲部署模式

2.6.1公有雲

2.6.2私有雲

2.6.3混合雲

2.7雲計算的優勢與挑戰

2.8典型的雲應用

2.8.1雲存儲

2.8.2雲服務

2.8.3雲物聯

2.9雲計算與大數據

2.10小結

習題

第3章雲電腦制

3.1雲基礎設施機制

3.1.1虛擬網絡邊界

3.1.2虛擬服務器

3.1.3雲存儲設備

3.1.4就緒環境

3.2雲管理機制

3.2.1遠程管理系統

3.2.2資源池化管理

3.2.3服務等級協議管理系統

3.2.4計費管理系統

3.2.5資源備份

3.2.6雲監控

3.2.7自動化運維

3.2.8服務模板管理

3.2.9雲CMDB及流程管理

3.2.10服務目錄管理

3.2.11租戶及用戶管理

3.2.12容量規劃及管理

3.3特殊雲機制

3.3.1自動伸縮監聽器

3.3.2負載均衡器

3.3.3故障轉移系統

3.3.4資源集群

3.3.5多設備代理

3.3.6狀態管理數據庫

3.4小結

習題

第4章虛擬化

4.1虛擬化簡介

4.1.1什麽是虛擬化

4.1.2虛擬化的發展歷史

4.1.3虛擬化帶來的好處

4.2虛擬化的分類

4.2.1服務器虛擬化

4.2.2網絡虛擬化

4.2.3存儲虛擬化

4.2.4應用虛擬化

4.2.5技術比較

4.3系統虛擬化

4.4虛擬化與雲計算

4.5開源技術

4.5.1Xen

4.5.2KVM

4.5.3OpenVZ

4.6虛擬化未來的發展趨勢

4.7小結

習題

第5章雲計算的應用

5.1概述

5.2亞馬遜公司的彈性計算雲

5.2.1開放的服務

5.2.2靈活的工作模式

5.2.3帶來的好處

5.3Microsoft Azure

5.3.1簡介

5.3.2Microsoft Azure的架構

5.3.3Microsoft Azure服務平臺

5.3.4開發步驟

5.4谷歌公司的雲計算平臺與應用

5.4.1MapReduce分佈式編程環境

5.4.2分佈式大規模數據庫管理系統BigTable

5.4.3谷歌的雲應用

5.5阿裡雲

5.5.1簡介

5.5.2阿裡雲的主要產品

5.6IBM公司的藍雲雲計算平臺

5.6.1藍雲雲計算平臺中的虛擬化

5.6.2藍雲雲計算平臺中的存儲結構

5.7清華大學的透明計算平臺

5.8小結

習題

第二部分大數據理論與技術

第6章大數據概念和發展背景

6.1什麽是大數據

6.2大數據的特點

6.3大數據的發展

6.4大數據的應用

6.5小結

習題

第7章大數據系統架構概述

7.1總體架構概述

7.1.1總體架構設計原則

7.1.2總體架構參考模型

7.2運行架構概述

7.2.1物理架構

7.2.2集成架構

7.2.3安全架構

7.3主流大數據系統廠商

7.3.1Cloudera

7.3.2Hortonworks

7.3.3亞馬遜

7.3.4谷歌

7.3.5微軟

7.3.6阿裡雲數加平臺

7.4小結

習題

第8章分佈式通信與協同

8.1數據編碼傳輸

8.1.1數據編碼概述

8.1.2LZSS算法

8.1.3Snappy壓縮庫

8.2分佈式通信系統

8.2.1遠程過程調用

8.2.2消息隊列

8.2.3應用層多播通信

8.2.4Hadoop IPC應用

8.3分佈式協同系統

8.3.1Chubby鎖服務

8.3.2ZooKeeper

8.3.3ZooKeeper在HDFS高可用中使用

8.4小結

習題

第9章大數據存儲

9.1大數據存儲技術的發展

9.2海量數據存儲的關鍵技術

9.2.1數據分片與路由

9.2.2數據復制與一致性

9.3重要數據結構和算法

9.3.1Bloom Filter

9.3.2LSM樹

9.3.3Merkle哈希樹

9.3.4Cuckoo哈希

9.4分佈式文件系統

9.4.1文件存儲格式

9.4.2GFS

9.4.3HDFS

9.5分佈式數據庫NoSQL

9.5.1NoSQL數據庫概述

9.5.2KV數據庫

9.5.3列式數據庫

9.5.4圖數據庫

9.5.5文檔數據庫

9.6HBase數據庫搭建與使用

9.6.1HBase偽分佈式運行

9.6.2HBase分佈式運行

9.7大數據存儲技術的趨勢

9.8小結

習題

第10章分佈式處理

10.1CPU多核和POSIX Thread

10.2MPI並行計算框架

10.3Hadoop MapReduce

10.4Spark

10.5數據處理技術的發展

10.6小結

習題

第11章Hadoop MapReduce解析

11.1Hadoop MapReduce架構

11.2Hadoop MapReduce與高性能計算、網格計算的區別

11.3MapReduce工作機制

11.3.1Map

11.3.2Reduce

11.3.3Combine

11.3.4Shuffle

11.3.5Speculative Task

11.3.6任務容錯

11.4應用案例

11.4.1WordCount

11.4.2WordMean

11.4.3Grep

11.5MapReduce的缺陷與不足

11.6小結

習題

第12章Spark解析

12.1Spark RDD

12.2Spark與MapReduce對比

12.3Spark工作機制

12.3.1DAG工作圖

12.3.2Partition

12.3.3Lineage容錯方法

12.3.4內存管理

12.3.5數據持久化

12.4數據讀取

12.4.1HDFS

12.4.2Amazon S3

12.4.3HBase

12.5應用案例

12.5.1日誌挖掘

12.5.2判別西瓜好壞

12.6Spark的發展趨勢

12.7小結

習題

第13章流計算

13.1流計算概述

13.2流計算與批處理系統對比

13.3Storm流計算系統

13.4Samza流計算系統

13.5集群日誌文件實時分析

13.6流計算的發展趨勢

13.7小結

習題

第14章集群資源管理與調度

14.1集群資源統一管理系統

14.1.1集群資源管理概述

14.1.2Apache YARN

14.1.3Apache Mesos

14.1.4Google Omega

14.2資源管理模型

14.2.1基於slot的資源表示模型

14.2.2基於最大最小公平原則的資源分配模型

14.3資源調度策略

14.3.1調度策略概述

14.3.2Capacity Scheduler調度

14.3.3Fair Scheduler調度

14.4YARN上運行計算框架

14.4.1MapReduce on YARN

14.4.2Spark on YARN

14.4.3YARN程序設計

14.5小結

習題

第15章機器學習

15．1機器學習概述

15．1．1關鍵術語

15．1．2機器學習的分類

15．1．3機器學習的模型構造過程

15．2監督學習

15．2．1線性回歸

15．2．2邏輯斯特回歸

15．2．3最小近鄰法

15．2．4線性判別分析法

15．2．5樸素貝葉斯分類算法

15．2．6決策樹分類算法

15．2．7支持向量機分類算法

15．3非監督學習

15．3．1劃分式聚類方法

15．3．2層次化聚類方法

15．3．3基於密度的聚類方法

15．4強化學習

15．4．1強化學習VS監督學習和非監督學習

15．4．2強化學習問題描述

15．4．3強化學習問題分類

15．5神經網絡和深度學習

15．5．1感知器模型

15．5．2前饋神經網絡

15．5．3捲積神經網絡

15．5．4其他類型結構的神經網絡

15．6案例： 銀行貸款用戶篩選

15.7小結

習題

第三部分綜 合 實 踐

第16章實驗： AWS

16.1實驗一： 創建一個EC2實例

16.2實驗二： 創建一個彈性高可用的博客

16.3實驗三： 使用S3來實現靜態網站

16.4實驗四： AWS關系型數據庫入門

16.5實驗五： AWS大數據系列平臺

16.6實驗六： AWS計算存儲網絡基礎入門

16.7實驗七： AWS上的Kubernetes創建、管理及DevOps

第17章實驗： 阿裡雲

17.1實驗一： 創建阿裡雲服務器

17.2實驗二： 配置SSH遠程連接

17.3實驗三： 安裝Python環境

17.4實驗四： 部署並啟動Django服務

第18章實驗： Docker

18.1Docker的核心概念

18.2實驗一： Docker的安裝

18.3實驗二： 容器操作

18.4實驗三： 搭建一個Docker應用棧

18.5實驗四： 實現私有雲

第19章實驗： Hadoop、HDFS、MapReduce、Spark

19.1Hadoop

19.1.1實驗一： 構建虛擬機網絡

19.1.2實驗二：  大數據環境安裝

19．2HDFS

19．2．1實驗一： 文件創建與讀/寫

19．2．2實驗二： 文件上傳

19．2．3實驗三： 文件下載

19．2．4實驗四： 使用字符流讀取數據

19．2．5實驗五： 刪除文件

19．2．6實驗六： 刪除文件夾

19．2．7實驗七： 自定義數據輸入流

19．3MapReduce

19．3．1實驗一： 合並去重

19．3．2實驗二： PageRank算法

19．4Spark

19．4．1實驗一： 安裝Spark

19．4．2實驗二： 使用Spark Shell編寫代碼

19．4．3實驗三： 使用Java編寫Spark應用程序

第20章案例： 基於Docker的雲計算服務平臺搭建

20．1方案介紹

20．1．1雲平臺總體架構

20．1．2網絡架構

20．1．3集群架構

20．1．4性能監控

20．1．5Docker架構

20．1．6鏡像架構

20．2系統分析

20．2．1優點

20．2．2局限性

20．2．3應用場景

20．3門戶界面

20．3．1註冊

20．3．2登錄

20．3．3用戶主界面

20．3．4管理員界面

20．4服務器Docker配置

第21章案例： 使用Spark實現數據統計分析及性能優化

21.1系統架構

21.1.1總體方案

21.1.2詳細設計

21.1.3優化設計

21.2具體實現

21.2.1數據獲取

21.2.2數據可視化

21.3性能優化

21.3.1讀取優化

21.3.2查詢優化

21.3.3Spark參數級優化

第22章實驗： 基於OpenStack和Hadoop的大數據分析

22.1實驗一：  OpenStack安裝準備

22.2實驗二： OpenStack在線安裝

22.3實驗三： 初始化OpenStack中的環境

22.4實驗四： 搭建OpenStack中的虛擬機

22.5實驗五： 大數據分析案例

參考文獻