劍指大數據——企業級數據倉庫項目實戰（金融租賃版）
尚硅谷教育
- 出版商: 電子工業
- 出版日期: 2024-05-01
- 定價: $474
- 售價: 8.5 折 $403
- 語言: 簡體中文
- 頁數: 244
- ISBN: 7121476916
- ISBN-13: 9787121476914
-
相關分類:
大數據 Big-data
下單後立即進貨 (約4週~6週)
相關主題
商品描述
本書從需求規劃、需求實現到可視化展示等，遵循項目開發的主要流程，全景介紹了金融租賃行業離線數據倉庫的搭建過程。在整個數據倉庫的搭建過程中，介紹了主要組件的安裝部署、需求實現的具體思路、問題的解決方案等，並在其中穿插了許多大數據和數據倉庫相關的理論知識，包括數據倉庫的概念介紹、金融租賃業務概述、數據倉庫理論介紹和數據倉庫建模等。本書的第1章至第3章是項目前期準備階段，主要為讀者介紹了數據倉庫的概念、應用場景和搭建需求等，並初步搭建了數據倉庫項目所需的基本環境；第4章至第5章是數據倉庫搭建的核心部分，詳細為讀者講解了數據倉庫建模理論和數據從採集到分層搭建的全過程，是本書的重點；第6章至第7章介紹了全流程調度和指標可視化。
目錄大綱
第1章 數據倉庫概論 1
1.1 數據倉庫的概念與特點 1
1.2 數據倉庫的演進過程 2
1.3 數據倉庫技術 3
1.4 數據倉庫基本架構 5
1.5 數據庫和數據倉庫的區別 8
1.6 學前導讀 9
1.6.1 學習的基礎要求 9
1.6.2 你將學到什麽 9
1.7 本章總結 9
第2章 項目需求描述 11
2.1 前期調研 11
2.2 項目架構分析 12
2.2.1 金融租賃行業簡介 12
2.2.2 金融租賃數據倉庫產品描述 12
2.2.3 系統功能結構 13
2.2.4 系統流程圖 14
2.3 項目業務概述 14
2.3.1 數據採集模塊業務描述 14
2.3.2 數據倉庫需求業務描述 15
2.3.3 數據可視化業務描述 17
2.4 系統運行環境 18
2.4.1 硬件環境 18
2.4.2 軟件環境 19
2.5 本章總結 21
第3章 項目部署的環境準備 22
3.1 集群規劃與服務器配置 22
3.2 安裝JDK與Hadoop 22
3.2.1 準備虛擬機環境 22
3.2.2 安裝JDK 26
3.2.3 安裝Hadoop 27
3.2.4 Hadoop的分佈式集群部署 28
3.3 本章總結 35
第4章 業務數據採集模塊 36
4.1 金融租賃業務概述 36
4.1.1 金融租賃業務流程 36
4.1.2 業務表結構 40
4.2 數據同步 43
4.2.1 數據同步策略 43
4.2.2 數據同步工具選擇 45
4.3 環境準備 46
4.3.1 安裝DataX 46
4.3.2 安裝Maxwell 47
4.3.3 安裝ZooKeeper 52
4.3.4 安裝Kafka 54
4.3.5 安裝Flume 57
4.4 模擬業務數據 59
4.4.1 MySQL安裝 59
4.4.2 數據模擬 61
4.5 業務數據的採集 62
4.5.1 全量同步 62
4.5.2 增量同步 67
4.6 採集通道啟動和停止腳本 76
4.7 本章總結 77
第5章 數據倉庫搭建模塊 78
5.1 數據倉庫理論準備 78
5.1.1 數據建模概述 78
5.1.2 關系模型與範式理論 79
5.1.3 維度模型 82
5.1.4 維度建模理論之事實表 83
5.1.5 維度建模理論之維度表 86
5.1.6 星形模型、雪花模型與星座模型 89
5.2 數據倉庫建模實踐 91
5.2.1 名詞概念 91
5.2.2 為什麽要分層 92
5.2.3 數據倉庫搭建流程 93
5.2.4 數據倉庫開發規範 97
5.3 數據倉庫搭建環境準備 101
5.3.1 Hive安裝 101
5.3.2 Hive on Spark配置 104
5.3.3 YARN容量調度器並發度問題 106
5.3.4 數據倉庫開發環境配置 106
5.3.5 模擬數據準備 109
5.3.6 復雜數據類型 111
5.4 數據倉庫搭建——ODS層 112
5.4.1 ODS層表格的創建 112
5.4.2 ODS層業務數據導入腳本 116
5.5 數據倉庫搭建——DIM層 117
5.5.1 部門維度表（全量） 117
5.5.2 員工維度表（全量） 119
5.5.3 行業維度表（全量） 120
5.5.4 DIM層每日數據裝載腳本 121
5.6 數據倉庫搭建——DWD層 121
5.6.1 審批域金融租賃全流程累積快照事實表 121
5.6.2 DWD層首日數據裝載腳本 133
5.6.3 DWD層每日數據裝載腳本 133
5.7 數據倉庫搭建——ADS層 133
5.7.1 待審/在審項目主題指標 133
5.7.2 已審項目主題指標 154
5.7.3 已審項目轉化主題指標 167
5.7.4 ADS層數據導入腳本 170
5.8 數據模型評估及優化 170
5.9 本章總結 171
第6章 DolphinScheduler全流程調度 172
6.1 DolphinScheduler概述與安裝部署 172
6.1.1 DolphinScheduler概述 172
6.1.2 DolphinScheduler安裝部署 173
6.2 創建MySQL數據庫和表 179
6.3 DataX數據導出 188
6.4 全流程調度 192
6.4.1 數據準備 192
6.4.2 全流程調度配置 192
6.5 電子郵件報警 198
6.5.1 註冊郵箱 198
6.5.2 配置電子郵件報警 199
6.6 本章總結 202
第7章 數據可視化模塊 203
7.1 部署FineBI 203
7.1.1 安裝 203
7.1.2 初始化 205
7.2 數據源的配置 210
7.2.1 配置數據連接 210
7.2.2 配置數據源 213
7.3 製作圖表 215
7.3.1 製作堆積柱狀圖 215
7.3.2 製作餅狀圖 219
7.3.3 製作多系列柱狀圖 227
7.3.4 製作儀表板 229
7.4 本章總結 234
