企業級數據架構 : 核心要素 架構模型 數據管理與平臺搭建

序
自序
前言
第一部分　架構基礎
第1章　企業架構概述 3
1.1　企業架構 4
1.2　Zachman框架 4
1.2.1　Zachman框架的維度 4
1.2.2　Zachman框架的特點 5
1.2.3　Zachman框架的使用 6
1.3　TOGAF 6
1.3.1　TOGAF完善架構流程 7
1.3.2　框架核心：ADM 8
1.4　業務架構 9
1.4.1　業務架構的價值 9
1.4.2　業務架構的關鍵點 10
1.5　資料架構 11
1.5.1　資料架構設計 12
1.5.2　資料架構核心組成 12
1.6　總結 13
第二部分 資料架構基礎
第2章　資料架構構成 18
2.1　資料模型 18
2.2　元資料 19
2.3　資料品質 20
2.4　資料標準 21
2.5　資料治理 21
2.6　資料資產 22
2.6.1　資料管理 22
2.6.2　資料倉儲 22
2.6.3　資料湖 23
2.6.4　資料資產內涵 23
2.7　資料生命週期 24
2.7.1　資料創建 25
2.7.2　資料使用 25
2.7.3　資料歸檔 26
2.7.4　資料銷毀 26
2.8　資料分佈 27
2.8.1　資料儲存 27
2.8.2　資料存取 27
2.9　常見資料架構技術選用 28
2.9.1　Lambda 28
2.9.2　Kappa 29
2.10　資料調度 30
2.11　總結 30
第3章　資料儲存 31
3.1　資料儲存基礎 32
3.1.1　計算機組成基礎架構 32
3.1.2　資料儲存核心概念 35
3.1.3　OLTP與OLAP場景 37
3.2　集中式數據庫 38
3.2.1　常見關係型數據庫 38
3.2.2　分庫分錶 39
3.3　分佈式數據庫 40
3.3.1　大規模平行處理技術 40
3.3.2　分佈式事務 41
3.4　大數據儲存 43
3.4.1　HDFS 43
3.4.2　Yarn 44
3.4.3　Hive 44
3.4.4　HBase 45
3.4.5　Spark及Spark Streaming 46
3.5　特定領域儲存 46
3.5.1　ClickHouse 46
3.5.2　Elasticsearch 48
3.6　即時計算階段 49
3.7　總結 49
第4章　資料調度與訊息傳輸 50
4.1　通用技術選型 50
4.2　Airflow調度平臺 52
4.2.1　Airflow基礎概念 52
4.2.2　Airflow架構 54
4.2.3　Airflow與其他調度平臺比較 55
4.3　DataX資料同步工具 56
4.3.1　DataX基礎概念 56
4.3.2　DataX資料同步 57
4.3.3　DataX最佳化 59
4.3.4　DataX與其他資料同步工具比較 60
4.4　Kafka訊息中介軟件 62
4.4.1　Kafka基礎概念 62
4.4.2　Kafka架構概論 63
4.4.3　Kafka高性能原理 63
4.4.4　Kafka與其他中介軟件對比 67
4.5　總結 68
第5章　Lambda架構與Kappa架構 69
5.1　架構演進 69
5.1.1　傳統資料倉儲架構 70
5.1.2　傳統大數據架構 71
5.1.3　流式運算架構 72
5.1.4　Lambda架構 73
5.1.5　Kappa架構 74
5.2　Lambda架構詳解 75
5.2.1　架構解析 76
5.2.2　核心組件 78
5.2.3　資料流向 81
5.3　Kappa架構詳解 82
5.3.1　架構解析 82
5.3.2　核心組件 85
5.3.3　資料流向 87
5.4　Lambda與Kappa對比 87
5.5　流批一體化 89
5.6　總結 90
第6章　輔助類應用體系介紹 91
6.1　資源管理 91
6.1.1　開源堡壘機JumpServer 92
6.1.2　部署與負載平衡 92
6.1.3　核心概念 94
6.1.4　最佳實務 95
6.2　資源及組件監控 95
6.2.1　開源監控系統Prometheus 96
6.2.2　可視化系統Grafana 98
6.2.3　告警模組AlertManager 100
6.2.4　小結 101
6.3　應用監控 102
6.3.1　應用鏈路監控Pinpoint 102
6.3.2　原理與組件介紹 103
6.3.3　最佳實務 104
6.3.4　小結 106
6.4　日誌監控 107
6.4.1　ELK 107
6.4.2　直連式日誌收集架構 107
6.4.3　高並發日誌收集架構 108
6.5　總結 109
第三部分 資料架構模型實踐
第7章　企業資料區與資料流向 113
7.1　資料區概述 113
7.2　資料區詳解 115
7.2.1　操作型資料區 115
7.2.2　整合型資料區 116
7.2.3　分析型資料區 117
7.2.4　歷史資料區 118
7.3　企業資料流向 119
7.3.1　操作型資料區資料流向 119
7.3.2　整合型資料區資料流向 120
7.3.3　分析型資料區資料流向 121
7.3.4　歷史資料區資料流向 122
7.4　企業資料分層 123
7.5　企業整合型資料區層級 124
7.5.1　資料緩衝層 125
7.5.2　資料貼源層 126
7.5.3　標準模型層 127
7.5.4　整合模型層 127
7.5.5　資料集市層 128
7.6　網絡公司的整合型資料區分層特性 129
7.7　總結 130
第8章　資料模型架構詳解 131
8.1　為什麼要建模 132
8.2　建模策略 134
8.2.1　資料緩衝層建模策略 135
8.2.2　資料貼源層建模策略 135
8.2.3　標準模型層建模策略 136