大數據平臺基礎架構指南

劉旭暉

  • 出版商: 電子工業出版社
  • 出版日期: 2018-07-01
  • 定價: $414
  • 售價: $414
  • 貴賓價: 9.5$393
  • 語言: 簡體中文
  • 頁數: 248
  • 裝訂: 其他
  • ISBN: 7121342596
  • ISBN-13: 9787121342592
  • 相關分類: 大數據

下單後立即進貨 (4週~6週)

商品描述

當前不乏大數據具體技術組件的書籍,但卻很少有從大數據平臺整體建設和產品形態的宏觀角度入手來闡釋的。本書重點介紹大數據開發平臺服務構建的整體思路和解決方案,內容涵蓋一個成熟的大數據開發平臺必不可少的各類核心組件:工作流調度系統、集成開發環境、元數據管理系統、數據交換服務、數據可視化服務、數據質量管理服務,以及測試環境的建設等。書中還凝結了作者多年平臺建設的實踐經驗,以及對大數據相關從業人員能力建設和職業規劃的寶貴建議。本書適合廣大志在深入瞭解大數據平臺建設、開發和應用的在職人員及院校師生。

作者簡介

劉旭暉

花名天火,蘑菇街數據平台資深架構師,負責蘑菇街大數據服務平台整體產品規劃和架構設計工作;此前多年供職於Intel開源技術中心,是Spark/Hadoop/HBase/Phoenix等開源項目貢獻者;在內核驅動、操作系統中間件、輸入法、瀏覽器等方向均有多年開發經驗。

目錄大綱

第1章大數據平台整體建設思想1 
1.1什麼是大數據平台1 
1.2大數據平台的建設目標3 
1.2.1別人的大數據平台是怎樣的3 
1.2.2和業內領先的大數據平台的差距4 
1.2.3大數據平台建設目標小結6 
1.3大數據平台的建設指導方針6 
1.3.1組件工具化7 
1.3.2工具平台化8 
1.3.3平台服務化9 
1.3.4平台產品化10 
1.3.5對中小公司大數據平台的適用性11 
1.4大數據平台的兩種建設路徑12 
1.4.1垂直業務領域一站到底的建設方式13 
1.4.2通用組件建設,組合支持業務的方式13 
1.4.3從蘑菇街平台的實踐經驗對比兩種建設路徑14 
1.4.4兩種建設路徑的對比小結16 

第2章服務意識和產品思想的培養17 
2.1明確大數據平台服務能力的評估標準17 
2.1.1大數據平台團隊的職能定位18 
2.1.2打通上下游系統和業務流程的能力18 
2.2滿足用戶真正的需求19 
2.3認清服務的代價,做好心理建設20 
2.4尋找解決服務代 問題的方案23 
2.4.1路線選擇帶來的代價問題23 
2.4.2如何降低服務自身的代價25
2.5大數據平台的產品化思想29 
2.5.1從用戶體驗的角度談產品設計31 
2.5.2從價值和利益的角度談產品思維36 
2.6小結38
 
第3章工作流(作業)調度系統39 
3.1作業調度系統基礎理論40 
3.1.1調度系統分類40 
3.1.2工作流調度系統的兩種心法流派45 
3.1.3工作流調度系統功能特性詳解49 
3.2 Jarvis調度系統產品開發實踐55 
3.2.1需求定位分析55 
3.2.2具體功能目標的詳細分析和實踐57 
3.2.3第二代Jarvis現狀和將來75 
3.3小結79 

第4章集成開發環境門戶建設81 
4.1集成開發環境的功能定位82 
4.1.1集成開發環境的整體服務思路83 
4.1.2集成開發環境的具體產品建設目標86 
4.1.3小結93 
4.2開發平台測試環境建設94 
4.2.1問題背景94 
4.2.2系統功能性測試環境95 
4.2.3數據業務類測試環境96 
4.2.4小結100 

第5章數據採集、傳輸、交換、同步服務101 
5.1數據交換服務場景和常見開源方案102 
5.1.1大數據平 數據交換服務業務場景102
5.1.2常見數據交換服務解決方案介紹103 
5.2數據交換服務具體產品實踐110 
5.2.1數據交換服務底層組件110 
5.2.2數據交換服務管控平台113 
5.2.3蘑菇街數據交換服務的實踐現狀和未來改進計劃118 
5.3用戶行為鏈路分析之日誌埋點採集跟踪方案實踐120 
5.3.1記日誌有什麼難的120 
5.3.2蘑菇街的用戶行為日誌採集方案實踐122 
5.3.3小結129 

第6章數據可視化平台130 
6.1什麼是數據可視化平台130 
6.1.1數據可視化平台名詞定義131 
6.1.2已經有了那麼多商業BI系統,為什麼還要造輪子132 
6.2數據可視化平台產品實踐134 
6.2.1可視化平台產品定位和需求分析135 
6.2.2具體產品功能需求實踐詳解136 
6.2.3將來的改進目標146 
6.2.4產品實踐小結148 

第7章安全與權限管控149 
7.1權限管理的目標是什麼149 
7.1.1適度安全,降低人為風險150 
7.1.2隔離環境,提高工作效率151 
7.1.3權責明晰,規範業務 程152 
7.1.4權限管理目標小結153 
7.2如何解決安全和便利的矛盾153
7.2.1安全和便利天生矛盾153 
7.2.2改變角度,轉移目標154 
7.2.3把握尺度155 
7.2.4可能的變通措施157 
7.2.5思想小結163 
7.3權限管控系統產品方案和技術分析163 
7.3. 1常見開源方案164 
7.3.2 Kerberos 165 
7.3.3 Sentry和Ranger 168 
7.3.4 Knox 169 
7.3.5開源項目中常見的權限模型概念169 
7.4基於開發平台服務入口的權限管控方案171 
7.4.1權限管控方案實踐171 
7.4.2底層統一權限管控和平台邊界權限管控方案對比173 

第8章數據質量管理175 
8.1元數據管理平台176 
8.1.1元數據管理平台管理什麼176 
8.1.2元數據管理相關係統方案介紹180 
8.1.3元數據管理系統工程實踐183 
8.2 DQC數據質量中心185 
8.2.1 DQC數據質量中心業界方案186 
8.2.2 DQC數據質量系統建設實踐188 
8.3數據質量管理小結193 

第9章大數據集群遷移經驗談195 
9.1集群遷移都要面對哪些麻煩事196 
9.1.1集群和機房外部環境問題196
9.1.2平台自身組件和服務依賴問題196 
9.1.3業務模式和溝通配合問題197 
9.1.4業務邏輯和數據正確性問題198 
9.2集群搬遷方案的總體目標、原則、流程199 
9.3一些具體問題的分析和實踐201 
9.3.1如何保證正確性201 
9.3.2集群數據同步拷貝方案205 
9.3.3各種無法雙跑的業務場景梳理207 
9.4小結208 

第10章談談大數據碼農的職業發展問題210 
10.1如何成為一名糟糕的大數據平台工程師211 
10.1.1我是小白我怕誰211 
10.1.2敏而好學,不恥下問212 
10.1.3效率優先,中文至上213 
10.1.4流行的就是最好的213 
10.1.5我們的征途,是星辰大海215 
10.1.6書中自有顏如玉,熱衷閱讀代碼216 
10.1.7謎之問題的謎之解決方式218 
10.1.8勤奮好學,但是回頭即忘220 
10.1. 9小結221 
10.2職業選擇和我們早晚要面對的中年危機問題222 
10.2.1中年危機,要從娃娃抓起222 
10.2.2中年危機之抗焦慮指南223 
10.2.3如何才 能獲得自由225 
10.2.4案例230
10.2.5 小結233