Hadoop HDFS 深度剖析與實踐

祝江華，大數據技術專家。多年來一直供職於頭部因特網公司，積累了較為豐富的大數據行業一線研發和集群維護經驗；熱愛開源，長期活躍在Apache開源社區，對包括Hadoop生態在內的多款組件有過深入研究；分佈式技術極客，擅長分佈式存儲方向，同時對大數據計算、數據湖等也有豐富實戰經驗。

【目錄】
第1篇核心原理篇
第1章HDFS歷史延展/
1.1 分佈式與文件系統/
1.1.1 分佈式文件系統部署架構/
1.1.2 系統性能的影響因素/
1.2 HDFS設計及實現思想/
1.2.1 HDFS發展歷史/
1.2.2 HDFS性/
1.2.3 HDFS服務視圖/
1.2.4 HDFS架構/
1.3 小結/
第2章元數據架構/
2.1 內存Tree設計/
2.1.1 Namenode介紹/
2.1.2 Namenode啟動/
2.1.3 meta視圖/
2.1.4 FsDirectory和INodeMap/
2.1.5 文件維護/
2.2 FsImage和Edit Log/
2.2.1 FsImage分析/
2.2.2 Edit Log分析/
2.3 meta更新/
2.3.1 內存結構Update/
2.3.2 拓展：鎖優化/
2.4 小結/
第3章數據管理/
3.1 Namespace/
3.1.1 Namespace概況/
3.1.2 Namenode與Namespace/
3.1.3 DataNode與Namespace/
3.2 Slave節點/
3.2.1 Heartbeat機制/
3.2.2 FsDataset和DataStorage/
3.2.3 DataNode檢查器/
3.2.4 存儲類型/
3.2.5 拓展：NVDIMM/
3.3 Topology(Rack) Awareness/
3.3.1 Topology Awareness在分佈式存儲中的意義/
3.3.2 Topology Awareness在HDFS中實現/
3.3.3 Topology改進/
3.4 小結/
第4章Block與副本/
4.1 理解Block/
4.1.1 Block構成解析/
4.1.2 副本存儲解析/
4.2 Block狀態管理/
4.2.1 UnderConstruction/
4.2.2 Committed/
4.2.3 Complete/
4.2.4 UnderRecovery/
4.2.5 Block狀態小結/
4.3 副本狀態管理/
4.3.1 RBW/
4.3.2 finalized/
4.3.3 RWR/
4.3.4 RUR/
4.3.5 Temporary/
4.3.6 副本狀態小結/
4.4 Block管理/
4.4.1 無效Block/
4.4.2 損壞Block/
4.4.3 缺失與冗餘Block/
4.4.4 Block Recovery/
4.5 副本策略/
4.5.1 位置策略/
4.5.2 選盤(Volume)策略/
4.5.3 選盤策略改進/
4.6 小結/
第5章通信與訪問/
5.1 HDFS RPC/
5.1.1 Protocol Buffers介紹/
5.1.2 RPC架構/
5.1.3 非冪等訪問/
5.2 文件寫入/
5.2.1 數據包(packet)與Pipeline/
5.2.2 數據寫入/
5.2.3 Lease管理與pipeline Recovery/
5.3 數據訪問/
5.3.1 文件讀剖析/
5.3.2 short-circuit/
5.3.3 讀寫策略改進/
5.4 小結/
第6章HA和QJM/
6.1 HA發展路徑/
6.2 Quorum Journal Manager/
6.2.1 分佈式一致性原理/
6.2.2 Edit共享存儲系統/
6.2.3 QJM架構設計/
6.2.4 Edit Recovery/
6.3 HA原理/
6.3.1 ZKFC解析/
6.3.2 HA隔離機制/
6.3.3 Multi-Standby性/
6.3.4 HA優化及改進/
6.4 小結/
第7章緩存/
7.1 分佈式系統緩存設計/
7.1.1 本地緩存/
7.1.2 分佈式緩存/
7.2 集中式緩存管理/
7.2.1 原理介紹/
7.2.2 緩存調度/
7.2.3 DataNode緩存原理/
7.2.4 Cache&Uncache場景/
7.3 緩存實踐場景及改進/
7.3.1 實踐場景介紹/
7.3.2 集中式緩存V2/
7.4 小結/
第2篇拓展與實踐篇
第8章集群拓展/
8.1 水平拓展/
8.1.1 水平拓展策略及實踐/
8.1.2 Router-Based Federation/
8.2 垂直伸縮/
8.2.1 垂直伸縮策略及實踐/
8.2.2 HDFS Quotas/
8.3 多Namespace業務規劃/
8.4 小結/
第9章數據分層/
9.1 存儲分層的意義/
9.2 HDFS存儲分層/
9.2.1 冷熱集群分層管理/
9.2.2 異構分層存儲/
9.2.3 動態感知數據類型/
9.3 糾刪碼（Erasure Coding）/
9.3.1 EC使用介紹/
9.3.2 常見EC算法介紹/
9.3.3 EC讀寫解析/
9.4 數據遷移/
9.4.1 DistCp遷移/
9.4.2 FastCopy遷移/
9.5 小結/
第10章監控、多租戶和數據湖/
10.1 大數據監控/
10.1.1 基礎設施監控採集/
10.1.2 故障自愈/
10.2 多租戶與認證/
10.2.1 多租戶存儲規劃/
10.2.2 基於Kerberos的認證/
10.2.3 基於Delegation Token的認證/
10.3 HDFS與Data Lakes/
10.4 小結/