Hadoop 應用開發與案例實戰 (慕課版)
穆建平 王建 商程
買這商品的人也買了...
-
$505圖解Spark：核心技術與案例實戰 -
Deep Learning｜用 Python 進行深度學習的基礎理論實作$580$458 -
用 Python 實作強化學習｜使用 TensorFlow 與 OpenAI Gym (Hands-On Reinforcement Learning with Python)$520$442 -
$450統計強化學習：現代機器學習方法 (Statistical Reinforcement Learning: Modern Machine Learning Approaches) -
實戰人工智慧之深度強化學習｜使用 PyTorch x Python$500$425 -
Spark SQL 親自動手做：大數據時代的資料庫處理 (熱銷版)$580$493 -
極詳細 + 超深入：最新版 TensorFlow 1.x/2.x 完整工程實作$1,200$948 -
$607海量數據處理與大數據技術實戰 -
$454自動機器學習 (AutoML)：方法、系統與挑戰 -
iOS App 程式開發實務攻略：快速精通 SwiftUI$680$530 -
Python 滲透測試實戰$474$450 -
$1,439Kubernetes 權威指南：從 Docker 到 Kubernetes 實踐全接觸, 5/e -
$551快速上手 Scala：Spark 大數據分析入門 -
$280Hadoop大數據平臺技術與應用 -
$1,367ASP.NET Core 3 高級編程, 8/e
中文年末書展｜繁簡參展書2書75折 詳見活動內容 »
-
75折
為你寫的 Vue Components：從原子到系統，一步步用設計思維打造面面俱到的元件實戰力 (iThome 鐵人賽系列書)$780$585 -
75折
BDD in Action, 2/e (中文版)$960$720 -
75折
看不見的戰場：社群、AI 與企業資安危機$750$563 -
79折
AI 精準提問 × 高效應用：DeepSeek、ChatGPT、Claude、Gemini、Copilot 一本搞定$390$308 -
7折
超實用！Word．Excel．PowerPoint 辦公室 Office 365 省時高手必備 50招, 4/e (暢銷回饋版)$420$294 -
75折
裂縫碎光：資安數位生存戰$550$412 -
日本當代最強插畫 2025 : 150位當代最強畫師豪華作品集$640$576 -
79折
Google BI 解決方案：Looker Studio × AI 數據驅動行銷實作，完美整合 Google Analytics 4、Google Ads、ChatGPT、Gemini$630$498 -
79折
超有料 Plus！職場第一實用的 AI 工作術 - 用對 AI 工具、自動化 Agent, 讓生產力全面進化！$599$473 -
75折
從零開始學 Visual C# 2022 程式設計, 4/e (暢銷回饋版)$690$518 -
75折
Windows 11 制霸攻略：圖解 AI 與 Copilot 應用，輕鬆搞懂新手必學的 Windows 技巧$640$480 -
75折
精準駕馭 Word！論文寫作絕非難事 (好評回饋版)$480$360 -
Sam Yang 的插畫藝術：用 Procreate / PS 畫出最強男友視角 x 女孩美好日常$699$629 -
79折
AI 加持！Google Sheets 超級工作流$599$473 -
78折
想要 SSR? 快使用 Nuxt 吧!：Nuxt 讓 Vue.js 更好處理 SEO 搜尋引擎最佳化（iThome鐵人賽系列書）$780$608 -
78折
超實用！業務．總管．人資的辦公室 WORD 365 省時高手必備 50招 (第二版)$500$390 -
7折
Node-RED + YOLO + ESP32-CAM：AIoT 智慧物聯網與邊緣 AI 專題實戰$680$476 -
79折
「生成式⇄AI」：52 個零程式互動體驗，打造新世代人工智慧素養$599$473 -
7折
Windows APT Warfare：惡意程式前線戰術指南, 3/e$720$504 -
75折
我輩程式人：回顧從 Ada 到 AI 這條程式路，程式人如何改變世界的歷史與未來展望 (We, Programmers: A Chronicle of Coders from Ada to AI)$850$637 -
75折
不用自己寫！用 GitHub Copilot 搞定 LLM 應用開發$600$450 -
79折
Tensorflow 接班王者：Google JAX 深度學習又快又強大 (好評回饋版)$780$616 -
79折
GPT4 會你也會 - 共融機器人的多模態互動式情感分析 (好評回饋版)$700$553 -
79折
技術士技能檢定 電腦軟體應用丙級術科解題教本｜Office 2021$460$363 -
75折
Notion 與 Notion AI 全能實戰手冊：生活、學習與職場的智慧策略 (暢銷回饋版)$560$420
相關主題
商品描述
Hadoop是目前比較流行的大數據框架之一，可使用簡單的高級編程模型實現大型數據集的分佈式存儲和處理。
本書以Hadoop的概念、集群搭建、核心組件、實戰案例等為主線，較為全面地介紹了Hadoop大數據存儲及處理技術的相關知識。全書共10章，前9章主要講解Hadoop基礎，內容包括初識Hadoop、Hadoop的安裝與配置、高可用與聯邦、分佈式文件系統HDFS、集群資源管理系統YARN、分佈式計算框架MapRecuer、Hadoop的I/O操作、Hadoop3.x新特性、Hadoop商業發行版等；第10章是Hadoop實戰案例，以實際Hadoop框架的運用為導向引入了三個實戰案例：文件合並及多目錄輸出、網頁域名分區統計以及電商平臺商品評價數據分析案例。
作者簡介
浪潮優派公司教學部總經理助理，擁有多年大型軟件項目開發、管理及教學經驗，具有豐富的軟件開發及教學經驗。
主要包括“華電煤業全面預算管理平臺”“河南*草訂貨平臺”“高校畢業生就業信息網”“3G移動就業信息平臺”等大型應用項目。
目錄大綱
目錄
第1章初識Hadoop 9
1.1 Hadoop概述9
1.1.1 Hadoop簡介9
1.1.2 Hadoop的背景10
1.1.3 Hadoop的發展歷程11
1.1.4 Hadoop的特點12
1.2 Hadoop核心組件13
1.2.1分佈式文件系統HDFS 13
1.2.2分佈式計算框架MapReduce 15
1.2.3集群資源管理器-YARN 16
1.3 Hadoop生態系統及相關技術簡介17
1.4 Hadoop的應用場景20
本章小結22
習題22
第2章Hadoop安裝與配置24
2.1 Hadoop的安裝方式24
2.2偽分佈式安裝25
2.2.1安裝前的準備工作25
2.2.2 Hadoop安裝與配置31
2.2.3啟動與停止Hadoop 35
2.2.4訪問Hadoop 37
2.3完全分佈式安裝38
2.3.1 Hadoop集群規劃39
2.3.2安裝前的準備工作39
2.3.3 Hadoop安裝與配置43
2.3.4集群啟動與監控45
2.3.5集群節點的添加與刪除47
本章小結50
習題51
第3章高可用與聯邦52
3.1高可用52
3.2為什麼需要高可用52
3.3 HDFS高可用53
3.3.1 HDFS高可用運行流程54
3.3.2 HDFS高可用環境搭建55
3.4 YARN高可用65
3.5聯邦69
本章小結70
習題70
第4章分佈式文件系統HDFS 71
4.1 HDFS概述71
4.1.1 HDFS簡介71
4.1.2 HDFS架構72
4.2 HDFS的基本概念73
4.2.1命名空間與塊存儲服務73
4.2.2數據塊74
4.2.3數據複製75
4.2.4心跳檢測與副本恢復76
4.3 HDFS的數據讀寫流程77
4.3.1數據寫入流程77
4.3.2數據讀取流程78
4.4 HDFS元數據管理機制79
4.4.1元數據持久化機制80
4.4.2元數據合併機制81
4.5 HDFS Shell命令83
4.5.1文件系統常用操作命令83
4.5.2常用管理命令dfsadmin 87
4.6開發環境搭建90
4.6.1 maven簡介90
4.6.2基於Maven+Eclipse構建Hadoop開發調試環境91
4.7 Java API應用95
4.7.1 HDFS文件系統操作涉及的類95
4.7.2 RPC的原理及應用99
本章小結101
習題102
第5章集群資源管理系統YARN 103
5.1 YARN產生背景103
5.2 YARN在共享集群模式中的應用104
5.3 YARN的設計思想106
5.3.1 YARN的基本架構106
5.3.2 ResourceManager HA 108
5.4 YARN的工作流程111
5.5 YARN的資源調度器112
5.5.1調度選項112
5.5.2 FIFO Scheduler 113
5.5.3 Capacity Scheduler 113
5.5.4 Fair Scheduler 116
本章小結122
習題123
第6章分佈式計算框架MapReduce 124
6.1 MapReduce概述124
6.2 map和reduce的處理過程124
6.2.1處理過程概述124
6.2.2 MapReduce入門案例126
6.2.3關於shuffle 132
6.2.4 YARN對MapReduce的資源調度134
6.2.5 map的本地化135
6.3 MapReduce進階135
6.3.1 Combiner 135
6.3.2 Partioner 136
6.3.3 MapReduce輸入的處理類137
6.3.4 MapReduce輸出的處理類138
6.4案例139
本章小結153
習題153
第7章Hadoop的I/O操作155
7.1 IO操作中的數據完整性檢查155
7.2 I/O操作中的數據壓縮156
7.2.1壓縮算法157
7.2.2壓縮和解壓縮157
7.3 Hadoop I/O序列化接口159
7.3.1序列化159
7.3.2 Hadoop序列化159
7.4自定義序列化類163
7.5基於文件的數據結構165
7.5.1 SequenceFile 165
7.5.2 SequenceFileInputFormat 166
本章小結166
習題167
第8章Hadoop 3.x新特性168
8.1 Hadoop 3. x概述168
8.2 Hadoop 3.x的改進169
8.2.1 JDK升級169
8.2.2 EC技術169
8.2.3 YARN優化172
8.2.4支持多NameNode 174
8.2.5 DataNode內部負載均衡177
8.2.6埠號的改變180
8.3 Hadoop 3.x其他新特性181
8.3.1 shell腳本重寫181
8.3.2 GPU和FPGA支持181
本章小結182
習題182
第9章Hadoop商業發行版184
9.1 Hadoop集群管理的挑戰184
9.2 CDH概述184
9.3 Cloudera Manager概述185
9.3.1 Cloudera Manager的架構186
9.3.2 Cloudera Manager中的基本概念187
9.4 Cloudera Manager及CDH離線安裝部署189
9.4.1集群部署規劃190
9.4.2安裝前的準備工作191
9.4.3前置軟件安裝192
9.4.4 Cloudera Manager安裝與配置194
9.4.5 CDH部署196
9.4.6 Cloudera Manager搭建Hadoop集群197
9.4.7啟用HDFS HA和YARN HA 203
9.5 Cloudera Manager的功能206
9.5.1 Cloudera Manager的基本核心功能206
9.5.2 Cloudera Manager的*級功能212
9.6 Hadoop其他商業發行版介紹214
9.6.1 HDP 214
9.6.2 MapR Hadoop 215
9.6.3華為Hadoop 216
本章小結216
習題216
第10章Hadoop實戰案例217
10.1項目背景217
10.2 Apache Avro 217
10.2.1 Apache Avro概述218
10.2.2 Schema 218
10.2.3 Avro序列化與反序列化案例219
10.3案例一：Avro文件合併多目錄輸出223
10.3.1需求概述223
10.3.2數據描述224
10.3.3設計思路分析225
10.3.4功能實現226
10.4案例二：網頁域名分區統計233
10.4.1需求概述233
10.4.2數據描述234
10.4.3設計思路分析238
10.4.4功能實現238
10.5案例三：電商平臺商品評價數據分析244
10.5.1需求描述244
10.5.2數據描述245
10.5.3設計思路分析245
10.5.4功能實現246
本章小結252
習題252
