相關主題
商品描述
本書是校企合作的成果，以大數據平臺運維崗位的實際工作為核心，采用任務驅動方式，全面介紹了 Hadoop 集群的安裝、監控和優化等關鍵技能。內容涵蓋了從集群搭建到節點維護、分布式文件存儲操作、計算資源管理，再到集群調優和應用組件調優，以及應用組件的安裝與檢驗等多個方面。本書遵循“實踐為主、理論為輔、註重實用性”的教育理念，在實際操作中融入理論知識點，幫助讀者更好地學習和掌握大數據分析與處理的關鍵技能。本書適合具備一定計算機基礎的讀者閱讀，可作為中等職業學校、高職高專計算機相關專業的教學用書，也可作為大數據技術培訓的實訓教材，同時可供相關技術領域的技術人員參考使用。
目錄大綱
第一單元 Hadoop 集群的搭建 ……………………………………………………………… 1
任務 1 認識 Hadoop …………………………………………………………………… 2
1. 知識準備 ………………………………………………………………………… 2
2. 課後實訓 ………………………………………………………………………… 5
任務 2 大數據服務雲體驗 ……………………………………………………………… 8
1. 知識準備 ………………………………………………………………………… 8
2. 任務實操 …………………………………………………………………………12
3. 課後實訓 …………………………………………………………………………15
任務 3 搭建 Hadoop 完全分布式集群 …………………………………………………17
1. 知識準備 …………………………………………………………………………17
2. 任務實操 …………………………………………………………………………19
3. 課後實訓 …………………………………………………………………………36
第二單元? Hadoop 集群節點的運行維護 ………………………………………………… 41
任務 1 管理 Hadoop 集群節點運行 ……………………………………………………42
1. 知識準備 …………………………………………………………………………42
2. 任務實操 …………………………………………………………………………49
3. 課後實訓 …………………………………………………………………………55
任務 2 解決集群運行中的 DataNode 故障 ……………………………………………58
1. 知識準備 …………………………………………………………………………58
2. 任務實操 …………………………………………………………………………61
3. 課後實訓 …………………………………………………………………………62
任務 3 集群啟動失敗 ……………………………………………………………………66
1. 知識準備 …………………………………………………………………………66
2. 任務實操 …………………………………………………………………………69
Hadoop 大數據技術體系
3. 課後實訓 …………………………………………………………………………77
第三單元? Hadoop 集群文件的存儲管理 ………………………………………………… 86
任務 1 使用 Shell 命令操作 HDFS ……………………………………………………87
1. 知識準備 …………………………………………………………………………87
2. 任務實操 …………………………………………………………………………93
3. 課後實訓 …………………………………………………………………………97
任務 2 合並 HDFS 小文件 …………………………………………………………… 101
1. 知識準備 ……………………………………………………………………… 101
2. 任務實操 ……………………………………………………………………… 103
3. 課後實訓 ……………………………………………………………………… 106
任務 3 解決集群故障 ………………………………………………………………… 109
1. 知識準備 ……………………………………………………………………… 109
2. 任務實操 ……………………………………………………………………… 114
3. 課後實訓 ……………………………………………………………………… 125
第四單元? Hadoop 集群計算資源的管理 ………………………………………………… 128
任務 1 使用 MapReduce 組件 ……………………………………………………… 129
1. 知識準備 ……………………………………………………………………… 129
2. 任務實操 ……………………………………………………………………… 133
3. 課後實訓 ……………………………………………………………………… 138
任務 2 使用 Yarn 組件 ……………………………………………………………… 143
1. 知識準備 ……………………………………………………………………… 143
2. 任務實操 ……………………………………………………………………… 156
3. 課後實訓 ……………………………………………………………………… 163
第五單元? 組件的安裝與應用……………………………………………………………… 167
任務 1 安裝與應用 Flume 組件 ……………………………………………………… 168
1. 知識準備 ……………………………………………………………………… 168
2. 任務實操 ……………………………………………………………………… 171
3. 課後實訓 ……………………………………………………………………… 176
任務 2 安裝與應用 Hive 組件 ……………………………………………………… 180
1. 知識準備 ……………………………………………………………………… 180
2. 任務實操 ……………………………………………………………………… 185
3. 課後實訓 ……………………………………………………………………… 195
第六單元? 集群調優和應用組件調優……………………………………………………… 201
1. 知識準備 ……………………………………………………………………… 202
2. 課後實訓 ……………………………………………………………………… 209
