大數據平臺運維基礎

本書是高等職業教育大數據技術與應用系列教材中的一冊，講解了大數據系統運行維護過程中的各個主要任務，包括大數據生態圈、Hadoop環境搭建與運維、Hive環境搭建與基本操作、HBase環境搭建與運維、Hadoop常用組件安裝等內容。本書內容詳盡充實，針對每個知識點都配有相應的實驗用於驗證和鞏固，在基礎理論知識上增加了運維大數據平臺實踐應用知識，重點介紹了大數據系統的運維實操技能，對於培養應用型大數據平臺運維人才有著很強的指導性。

1章大數據生態圈（1） 
1.1 大數據的概念和價值（1） 
1.2 大數據的特點（3） 
1.3 大數據技術組成與生態圈（6） 
1.4 大數據的行業應用和未來發展（9） 
2章Hadoop環境搭建與運維（15） 
2.1 Hadoop概述（15） 
2.2 Hadoop單機模式和偽分佈模式搭建（16） 
2.2.1 創建“hadoop”用戶（17） 
2.2.2 準備工作（18） 
2.2.3 安裝SSH、配置SSH無密碼登錄（18） 
2.2.4 安裝Java環境（19） 
2.2.5 安裝Hadoop 2 （20） 
2.2.6 Hadoop單機配置（21） 
2.2.7 Hadoop偽分佈式配置（23） 
2.2.8 運行Hadoop偽分佈式實例（26） 
2.3 Hadoop集模式搭建（28） 
2.3.1 創建Hadoop運行用戶（28） 
2.3.2 關閉防火牆（28） 
2.3.3 配置機器名和網絡（29） 
2.3.4 配置非root用戶免驗證登錄SSH （30） 
2.3.5 安裝JDK （31） 
2.3.6 安裝Hadoop （32） 
2.3.7 格式化HDFS （34） 
2.3.8 啟動Hadoop （35） 
2.4 Hadoop HA模式介紹（35） 
2.4.1 Hadoop的HA機制（35） 
2.4.2 HA集（36） 
2.5 Hadoop查看集運行狀態（37） 
2.6 網頁查看集（39） 
2.7 Hadoop命令的使用（40） 
2.7.1 Hadoop常用命令（40） 
2.7.2 HDFS常用命令（40） 
2.8 WordCount示例程序的運行和日誌查看（44） 
2.8.1 MapReduce的工作原理（45） 
2.8.2 MapReduce框架的作業運行流程（45） 
2.8.3 WordCount示例程序（46） 
2.9 實驗（46） 
2.9.1 【實驗1】CentOS系統安裝（46） 
2.9.2 【實驗2】Hadoop單機部署（54） 
2.9.3 【實驗3】Hadoop偽分佈式部署（65） 
2.9.4 【實驗4】Hadoop完全分佈式部署（66） 
2.9.5 【實驗5】Hadoop查看集狀態（85） 
2.9.6 【實驗6】Hadoop基礎命令的使用（88） 
2.9.7 【實驗7】Hadoop示例程序WordCount的執行（Java） （91） 
2.9.8 【實驗8】Hadoop示例程序WordCount的執行（Python） （100） 
2.9.9 【實驗9】Hadoop HA模式解析（100） 
3章Hive環境搭建與基本作（102） 
3.1 Hive概述（102） 
3.2 基於HDFS和MySQL的Hive環境搭建（105） 
3.3 Hive Shell （115） 
3.4 Hive SQL語句的使用（119） 
3.5 Hive函數的使用（122） 
3.6 Hive分區表和桶表的創建（129） 
3.7 實驗（133） 
3.7.1 【實驗10】Hive環境搭建（133） 
3.7.2 【實驗11】Hive SQL語句作（134） 
3.7.3 【實驗12】Hive函數的使用（135） 
3.7.4 【實驗13】Hive分區表的創建（136） 
4章HBase環境搭建與運維（138） 
4.1 HBase概述（138） 
4.2 HBase單機模式和偽分佈模式部署（139） 
4.3 HBase完全分佈模式部署（143） 
4.4 HBase查看集運行狀態（146） 
4.5 HBase Shell的使用（149） 
4.6 實驗（155） 
4.6.1 【實驗14】HBase單機模式和偽分佈模式部署（155） 
4.6.2 【實驗15】HBase分佈式部署（158） 
4.6.3 【實驗16】HBase查看集運行狀態（159） 
4.6.4 【實驗17】HBase Shell命令的使用（160） 
5章Hadoop常用組件安裝（164） 
5.1 Hadoop常用組件概述（164） 
5.2 ZooKeeper環境部署（175） 
5.3 Kafka環境部署（178） 
5.4 Storm環境部署（183） 
5.4.1 單機環境部署（183） 
5.4.2 分佈式環境部署（185） 
5.5 Flume環境部署（187） 
5.6 Spark環境部署（189） 
5.6.1 單機環境部署（189） 
5.6.2 分佈式環境部署（190） 
5.7 實驗（194） 
5.7.1 【實驗18】ZooKeeper環境部署（194） 
5.7.2 【實驗19】Kafka環境部署（196） 
5.7.3 【實驗20】Storm環境部署（200） 
5.7.4 【實驗21】Flume環境部署（203） 
5.7.5 【實驗22】Spark環境部署（204）