Hadoop 3 實戰指南
孫誌偉
買這商品的人也買了...
-
極詳細 + 超深入：最新版 TensorFlow 1.x/2.x 完整工程實作$1,200$948 -
$403大數據 Hadoop 3.X 分佈式處理實戰 -
Linux 運維實作大全：高效管理所有主流服務$880$695 -
Python 滲透測試實戰$474$450 -
CWNA 認證教程 : 無線局域網權威指南, 5/e (CWNA Certified Wireless Network Administrator Study Guide: Exam CWNA-107, 5/e)$948$901 -
$474Python 大數據處理庫 PySpark 實戰 -
$270Vue + Spring Boot 前後端分離開發實戰 -
Windows APT Warfare：惡意程式前線戰術指南$600$468 -
$505實戰大數據 (Hadoop + Spark + Flink) 從平臺構建到交互式數據分析 (離線/實時) -
$714Spring Boot + Vue 開發實戰 -
$458數據可視化必修課 — Excel 圖表製作與 PPT 展示 -
$301Hadoop 3 大數據技術快速入門 -
$352大數據技術及應用 — 基於 Python 語言 -
Mastering Active Directory, 3/e (Paperback)$2,160$2,052 -
$588HYDRA 製造執行系統指南 — 完美的 MES 解決方案 -
CYBERSEC 2023 臺灣資安年鑑 ─ X Defense 全面守禦 寸土不讓$179$161 -
AI 神助攻！程式設計新境界 – GitHub Copilot 開發 Python 如虎添翼 : 提示工程、問題分解、測試案例、除錯$560$442 -
無料 AI：ChatGPT + Gemini + Claude + Copilot + Coze + PlaygroundAI + Ideogram + Stylar + Faceswapper + Suno + Stable Audio + D-ID + Runway + Sora + Gamma-「文字、繪圖、動漫、視覺、音樂、影片、簡報」創意無限 (第二版)$680$537 -
$607Kubernetes 企業級雲原生運維實戰 -
ChatGPT 4 Omni 領軍 - Copilot、Claude、Gemini、36組GPT ...全面探索生成式AI的無限可能(過版書)$780$616 -
LLM 的大開源時代 - Llama 模型精讀實戰$650$514 -
讓 AI 好好說話！從頭打造 LLM (大型語言模型) 實戰秘笈$680$537 -
CYBERSEC 2025 臺灣資安年鑑─全球地緣政治衝突激化，國家級駭客鎖定企業$179$161 -
資訊安全管理領導力實戰手冊$599$509 -
網路可程式性與自動化 ｜新世代網路工程師必備技能, 2/e (Network Programmability and Automation: Skills for the Next-Generation Network Engineer, 2/e)$1,380$1,090
中文年末書展｜繁簡參展書2書75折 詳見活動內容 »
-
75折
為你寫的 Vue Components：從原子到系統，一步步用設計思維打造面面俱到的元件實戰力 (iThome 鐵人賽系列書)$780$585 -
75折
BDD in Action, 2/e (中文版)$960$720 -
75折
看不見的戰場：社群、AI 與企業資安危機$750$563 -
79折
AI 精準提問 × 高效應用：DeepSeek、ChatGPT、Claude、Gemini、Copilot 一本搞定$390$308 -
7折
超實用！Word．Excel．PowerPoint 辦公室 Office 365 省時高手必備 50招, 4/e (暢銷回饋版)$420$294 -
75折
裂縫碎光：資安數位生存戰$550$412 -
日本當代最強插畫 2025 : 150位當代最強畫師豪華作品集$640$576 -
79折
Google BI 解決方案：Looker Studio × AI 數據驅動行銷實作，完美整合 Google Analytics 4、Google Ads、ChatGPT、Gemini$630$498 -
79折
超有料 Plus！職場第一實用的 AI 工作術 - 用對 AI 工具、自動化 Agent, 讓生產力全面進化！$599$473 -
75折
從零開始學 Visual C# 2022 程式設計, 4/e (暢銷回饋版)$690$518 -
75折
Windows 11 制霸攻略：圖解 AI 與 Copilot 應用，輕鬆搞懂新手必學的 Windows 技巧$640$480 -
75折
精準駕馭 Word！論文寫作絕非難事 (好評回饋版)$480$360 -
Sam Yang 的插畫藝術：用 Procreate / PS 畫出最強男友視角 x 女孩美好日常$699$629 -
79折
AI 加持！Google Sheets 超級工作流$599$473 -
78折
想要 SSR? 快使用 Nuxt 吧!：Nuxt 讓 Vue.js 更好處理 SEO 搜尋引擎最佳化（iThome鐵人賽系列書）$780$608 -
78折
超實用！業務．總管．人資的辦公室 WORD 365 省時高手必備 50招 (第二版)$500$390 -
7折
Node-RED + YOLO + ESP32-CAM：AIoT 智慧物聯網與邊緣 AI 專題實戰$680$476 -
79折
「生成式⇄AI」：52 個零程式互動體驗，打造新世代人工智慧素養$599$473 -
7折
Windows APT Warfare：惡意程式前線戰術指南, 3/e$720$504 -
75折
我輩程式人：回顧從 Ada 到 AI 這條程式路，程式人如何改變世界的歷史與未來展望 (We, Programmers: A Chronicle of Coders from Ada to AI)$850$637 -
75折
不用自己寫！用 GitHub Copilot 搞定 LLM 應用開發$600$450 -
79折
Tensorflow 接班王者：Google JAX 深度學習又快又強大 (好評回饋版)$780$616 -
79折
GPT4 會你也會 - 共融機器人的多模態互動式情感分析 (好評回饋版)$700$553 -
79折
技術士技能檢定 電腦軟體應用丙級術科解題教本｜Office 2021$460$363 -
75折
Notion 與 Notion AI 全能實戰手冊：生活、學習與職場的智慧策略 (暢銷回饋版)$560$420
相關主題
商品描述
本書主要分析Hadoop 3.2.0的新特性和新功能，共5章。首先簡單介紹Hadoop，讓剛接觸Hadoop的讀者對它有個基本瞭解； 接著介紹目前使用比較多的分佈式文件系統HDFS，內容涉及NameNode 的原理、HA、HDFS Federation和HDFS 3.0中新增的特性；然後從應用管理和資源調度這兩個方面介紹一個通用的資源管理平臺YARN；再後討論如何在YARN平臺中運行應用，比如如何將應用遷移到YARN平臺，以及非Hadoop的應用是如何兼容YARN模式的。最後，書中給出了一些工作實戰指南，包括如何搭建一個生產可用的Hadoop 3.0集群；如何將現有Hadoop 2.0集群升級到Hadoop 3.0，及其在升級過程中遇到的問題；如何針對Hadoop進行二次開發，並參與社區，向社區貢獻代碼；一個大數據平臺應具備哪些必備組件等。
作者簡介
孫誌偉
金山雲數據平臺架構師，專註於Hadoop生態和數據平臺建設，曾就職於網易、轉轉等因特網公司。
對大數據處理、分佈式計算與數據採集有著濃厚的興趣。
一直從事Hadoop研發與運維工作，努力鑽研技術並堅持分享。
有著豐富的一線研發與運維經驗，是多個社區的Contributor，積極活躍於開源社區。
碩士，畢業於華北電力大學。
目錄大綱
目錄
第1章Hadoop 1
1．1簡介1
1．1．1 Hadoop 1．0 1
1．1．2 Hadoop 2．0 3
1．2 Hadoop 3．0 4
1．3閱讀Hadoop源碼6
1．3． 1單元測試8
1．3．2斷點調試代碼11
1．4小結13
第2章HDFS 14
2．1 HDFS簡介14
2．2解析NameNode中的元數據及其內存結構15
2．2．1解析NameNode中的元數據16
2．2．2解析NameNode的內存結構19
2．3解析NameNode的HA功能23
2．3．1基於QJM的HA 23
2．3．2故障轉移26
2．3．3多NameNode模式28
2．4 HDFS的Federation 29
2．4．1基於viewfs的Federation 30
2．4．2基於Router的Federation 31
2．5糾刪碼32
2．5．1糾刪碼的原理33
2． 5．2 HDFS EC 35
2．5．3 HDFS EC的實現38
2．5．4對比HDFS EC策略與三副本策略49
2．6下一代對象存儲系統Ozone 50
2．6．1 Ozone初體驗50
2．6．2 Ozone架構53
2．7小結55
第3章YARN 56
3．1 YARN簡介56
3．2解析ResourceManager的HA功能60
3．2．1故障轉移61
3．2．2數據恢復63
3．3 YARN Federation 65
3．3．1架構65
3．3．2 Router 66
3．3．3 State Store和Policy Store 69
3 ．3．4 AMRMProxy 69
3．3．5跨子集群運行74
3．4中央調度器75
3．4．1 Capacity調度器76
3．4．2 Fair調度器78
3．4．3調度擴展90
3 ．5分佈式調度器96
3．5．1分佈式調度器的架構97
3．5．2 opportunistic container 98
3．6 YARN Shared Cache 99
3．6．1資源本地化100
3．6．2 Shared Cache的架構101
3．6．3 Shared Cache實例102
3．7小結104
第4章Application on YARN 105
4．1 MapReduce的簡介105
4．2 MapReduce的源碼分析106
4．2．1 InputSplit 107
4．2．2環形緩衝區109
4．2．3溢寫和歸併112
4． 2．4 Shuffle 113
4．3 MapReduce on YARN 119
4．3．1 YARN的事件機制和狀態機機制119
4．3．2 MR ApplicationMaster 123
4．4 Application on YARN 124
4．5小結129
第5章實戰指南130
5．1 Hadoop 3．x的部署130
5．1．1 Hadoop 3．x HA的部署130
5．1．2 Hadoop 3．x Federation的部署145
5．2 Hadoop升級149
5．2．1 Hadoop 2．0升級為Hadoop 3．0 151
5．2．2 Hadoop 3．0降級為Hadoop 2．0 155
5．2．3升級/降級中遇到的問題155
5．3二次開發160
5．3．1與其他自研系統融合160
5．3．2自身功能擴展之自動識別修復後的數據盤163
5．3．3合併社區Patch 166
5．3．4提交Pull Request 167
5．4周邊系統平臺169
5．4．1任務調度平臺169
5．4．2監控平臺170
5．4．3集群診斷分析平臺174
5．5小結176
