商品描述
本書是一本講解Hadoop大數據平臺部署與運維的圖書，遵循“理論夠用、實戰為主”的原則編寫。全書共分為12個學習任務，任務1、2為Hadoop平臺及Linux操作系統的基本概念及技術，主要介紹了Hadoop平臺的背景、發展、相關技術及Linux操作系統相關知識；任務3、4為Hadoop集群的搭建，主要介紹了HDFS安裝配置、Hadoop集群搭建運行、HDFS常用命令及MapReduce的簡單使用；任務5～12為Hadoop各組件的安裝及使用，主要介紹了Hive、HBase、ZooKeeper、Kafka、Flume、Azkaban、Spark及Flink的安裝及應用。本書適合作為高職及高等專科學校大數據技術專業的基礎教材和1+X大數據運維工程師指導教材，可以作為喜愛大數據技術的初學者入門和進階，亦可供希望深入、系統理解並掌握大數據實際應用的讀者進行參考。
目錄大綱
任務1 認識Hadoop
知識目標
技能目標
素質目標
學習導航
案例導入
學習任務1.1 大數據概述
任務需求
任務實現
一、大數據的定義
二、大數據的特征
三、大數據的意義
學習任務1.2 大數據應用
任務需求
任務實現
一、國內大數據應用投資概況
二、大數據技術應用概況
三、大數據技術在互聯網經濟中的應用
四、大數據技術在傳統企業中的應用
學習任務1.3 Hadoop概述
任務需求
任務實現
一、Hadoop發展歷史
二、Hadoop優勢
三、Hadoop生態體系
四、Hadoop發行版本
任務練習1-1
任務評價
課後習題
任務2 Linux操作系統與環境變量配置
知識目標
技能目標
素質目標
學習導航
案例導入
學習任務2.1 Linux系統安裝
學習任務2.1.1 VMware軟件下載與安裝
任務需求
知識準備
一、虛擬化技術
二、VMware軟件
三、VMware網絡配置
任務實施
學習任務2.1.2 Linux（CentOS）操作系統安裝
任務需求
知識準備
一、CentOS介紹
二、虛擬機克隆
任務實施
任務練習2-1
任務評價
學習任務2.2 環境變量配置
學習任務2.2.1 設置IP地址
任務需求
知識準備
一、設置IP地址
二、網絡故障排除
任務實施
學習任務2.2.2 MobaXterm終端工具
任務需求
知識準備
一、MobaXterm終端工具
二、Xshell終端工具
任務實施
學習任務2.2.3 設置主機名
任務需求
知識準備
一、hostname命令
二、hostname文件
任務實施
學習任務2.2.4 設置主機映射
任務需求
知識準備
一、Linux主機映射
二、Windows主機映射
任務實施
學習任務2.2.5 設置免密登錄
任務需求
知識準備
一、免密登錄
二、故障解決辦法
任務實施
學習任務2.2.6 設置防火墻
任務需求
知識準備
任務實施
任務練習2-2
任務評價
學習任務2.3 JDK安裝
任務需求
知識準備
一、JDK簡介
二、JDK應用
任務實施
任務練習2-3
任務評價
課後習題
任務3 安裝與配置Hadoop集群
知識目標
技能目標
素質目標
學習導航
案例導入
學習任務3.1 HDFS簡介
任務需求
任務實施
一、HDFS介紹
二、HDFS架構
三、數據塊
四、NameNode
五、DataNode
六、SecondaryNameNode
七、HDFS讀文件
八、HDFS寫文件
任務練習3-1
任務評價
學習任務3.2 YARN簡介
任務需求
任務實施
一、YARN體系架構
二、YARN工作流程
任務練習3-2
任務評價
學習任務3.3 Hadoop集群安裝與配置
任務需求
知識準備
一、Hadoop集群部署模式
二、Hadoop集群配置文件
任務實施
任務練習3-3
任務評價
學習任務3.4 HDFS安裝與配置
任務需求
知識準備
一、Linux環境變量文件
二、格式化HDFS文件系統
任務實施
任務練習3-4
任務評價
學習任務3.5 Hadoop集群運行
任務需求
知識準備
一、單步啟停Hadoop集群
二、一鍵啟停Hadoop集群
三、Web驗證Hadoop集群
任務實施
任務練習3-5
任務評價
課後習題
任務4 HDFS和MapReduce的使用
知識目標
技能目標
素質目標
學習導航
案例導入
學習任務4.1 HDFS基本命令
任務需求
任務實施
一、創建目錄
二、查看目錄
三、加載本地文件到HDFS
四、從源目錄復制文件到目標目錄
五、從源目錄移動文件到目標目錄
六、導出HDFS文件到本地系統
任務練習4-1
任務評價
學習任務4.2 MapReduce分布式計算框架
任務需求
知識準備
一、MapReduce核心思想
二、MapReduce核心函數
三、MapReduce工作過程
任務實施
任務練習4-2
任務評價
課後習題
任務5 Hive安裝與使用
知識目標
技能目標
素質目標
學習導航
案例導入
學習任務5.1 MySQL安裝與配置
任務需求
知識準備
一、關系模型
二、MySQL簡介
任務實施
任務練習5-1
任務評價
學習任務5.2 MySQL應用
任務需求
知識準備
一、數據庫管理
二、數據表管理
三、數據操作
任務實施
任務練習5-2
任務評價
學習任務5.3 Hive安裝與配置
任務需求
任務準備
一、Hive介紹
二、Hive架構
三、Hive工作原理
任務實施
任務練習5-3
任務評價
學習任務5.4 Hive應用
任務需求
知識準備
一、數據庫管理
二、數據表管理
三、數據操作
任務實施
任務練習5-4
任務評價
課後習題
任務6 ZooKeeper安裝與配置
知識目標
技能目標
素質目標
學習導航
案例導入
學習任務6.1 ZooKeeper簡介
任務需求
知識準備
任務實施
一、ZooKeeper特點
二、ZooKeeper集群
三、Leader選舉
任務練習6-1
任務評價
學習任務6.2 ZooKeeper安裝與配置
任務需求
任務實施
一、ZooKeeper下載
二、ZooKeeper安裝
三、ZooKeeper配置
四、ZooKeeper集群啟動與關閉
任務練習6-2
任務評價
課後習題
任務7 HBase安裝與使用
知識目標
技能目標
素質目標
學習導航
案例導入
學習任務7.1 HBase安裝與配置
任務需求
知識準備
一、HBase簡介
二、HBase數據模型
三、HBase與傳統關系數據庫的區別
任務實施
一、HBase下載
二、HBase安裝
三、HBase配置
四、HBase集群啟動與關閉
任務練習7-1
任務評價
學習任務7.2 HBase應用
任務需求
知識準備
一、數據表管理
二、數據操作
任務實施
任務練習7-2
任務評價
課後習題
任務8 Kafka安裝與使用
知識目標
技能目標
素質目標
學習導航
案例導入
學習任務8.1 Kafka安裝與配置
任務需求
知識準備
一、Kafka介紹
二、Kafka原理
任務實施
一、Kafka下載
二、Kafka安裝
三、Kafka配置
任務練習8-1
任務評價
學習任務8.2 Kafka應用
任務需求
知識準備
一、Kafka啟停
二、topic命令
任務實施
一、Kafka啟動
二、Kafka使用
任務練習8-2
任務評價
課後習題
任務9 Flume安裝與使用
知識目標
技能目標
素質目標
學習導航
案例導入
學習任務9.1 Flume安裝與配置
任務需求
知識準備
一、Flume介紹
二、Flume運行機制
任務實施
一、Flume下載
二、Flume安裝
三、Flume配置
任務練習9-1
任務評價
學習任務9.2 Flume應用
任務需求
知識準備
一、Flume Sources
二、Flume Channels
三、Flume Sinks
任務實施
一、安裝telnet
二、Flume使用
任務練習9-2
任務評價
課後習題
任務10 Azkaban安裝與使用
知識目標
技能目標
素質目標
學習導航
案例導入
學習任務10.1 Azkaban安裝與部署
任務需求
知識準備
一、Azkaban介紹
二、Azkaban原理
任務實施
一、Azkaban下載
二、Azkaban安裝
三、安裝工具包軟件
四、Azkaban部署
任務練習10-1
任務評價
學習任務10.2 Azkaban應用
任務需求
知識準備
一、YAML
二、Flow2.0
任務實施
一、創建Azkaban工作流
二、啟動Azkaban
三、登錄AzkabanWeb
四、執行Flow
五、關閉Azkaban Executor與Azkaban Web
任務練習10-2
任務評價
課後習題
任務11 Spark安裝與使用
知識目標
技能目標
素質目標
學習導航
案例導入
學習任務11.1 Spark下載與安裝
任務需求
知識準備
一、Spark介紹
二、Spark架構
三、Spark運行原理
任務實施
一、Spark下載
二、Spark安裝
任務練習11-1
任務評價
學習任務11.2 Standalone模式
任務需求
知識準備
任務實施
一、配置文件
二、啟動Hadoop集群和Spark集群
三、Web驗證
四、測試應用
五、關閉集群
任務練習11-2
任務評價
學習任務11.3 歷史服務器
任務需求
任務實施
一、配置文件
二、啟動Spark集群和歷史服務
三、提交應用
四、查看歷史服務器
五、關閉Spark集群和歷史服務
任務練習11-3
任務評價
學習任務11.4 Spark on YARN模式
任務需求
知識準備
一、YARN-Client
二、YARN-Cluster
任務實施
一、關閉內存檢查
二、配置Spark環境變量
三、啟動Hadoop集群
四、提交應用
五、查看歷史服務
任務練習11-4
任務評價
課後習題
任務12 Flink安裝與使用
知識目標
技能目標
素質目標
學習導航
案例導入
學習任務12.1 Flink下載與安裝
任務需求
知識準備
一、Flink介紹
二、Flink架構及工作原理
任務實施
一、Flink下載
二、Flink安裝
任務練習12-1
任務評價
學習任務12.2 Standalone模式
任務需求
知識準備
任務實施
一、配置文件
二、啟動集群
三、測試應用
四、Web驗證
五、關閉Flink集群
任務練習12-2
任務評價
學習任務12.3 配置歷史服務器
任務需求
任務實施
一、配置文件
二、啟動Flink集群和歷史服務
三、提交任務
四、查看歷史服務器
五、關閉Flink集群和歷史服務
任務練習12-3
任務評價
學習任務12.4 Flink on YARN模式
任務需求
知識準備
一、Per-Job任務分離模式
二、Session會話模式
任務實施
一、關閉內存檢查
二、使用Per-Job任務分離模式
三、使用Session會話模式
任務練習12-4
任務評價
課後習題
參考文獻
