從試算表到資料平台:重構資料工程的技術與團隊

陳家宏(Laurence Chen) 著

  • 出版商: 深智
  • 出版日期: 2025-09-19
  • 定價: $680
  • 售價: 7.9$537
  • 語言: 繁體中文
  • 頁數: 344
  • ISBN: 6267757285
  • ISBN-13: 9786267757284
  • 相關分類: Data-visualization
  • 尚未上市,歡迎預購

  • 從試算表到資料平台:重構資料工程的技術與團隊-preview-1
  • 從試算表到資料平台:重構資料工程的技術與團隊-preview-2
  • 從試算表到資料平台:重構資料工程的技術與團隊-preview-3
  • 從試算表到資料平台:重構資料工程的技術與團隊-preview-4
  • 從試算表到資料平台:重構資料工程的技術與團隊-preview-5
  • 從試算表到資料平台:重構資料工程的技術與團隊-preview-6
  • 從試算表到資料平台:重構資料工程的技術與團隊-preview-7
  • 從試算表到資料平台:重構資料工程的技術與團隊-preview-8
  • 從試算表到資料平台:重構資料工程的技術與團隊-preview-9
  • 從試算表到資料平台:重構資料工程的技術與團隊-preview-10
  • 從試算表到資料平台:重構資料工程的技術與團隊-preview-11
  • 從試算表到資料平台:重構資料工程的技術與團隊-preview-12
  • 從試算表到資料平台:重構資料工程的技術與團隊-preview-13
  • 從試算表到資料平台:重構資料工程的技術與團隊-preview-14
  • 從試算表到資料平台:重構資料工程的技術與團隊-preview-15
  • 從試算表到資料平台:重構資料工程的技術與團隊-preview-16
  • 從試算表到資料平台:重構資料工程的技術與團隊-preview-17
從試算表到資料平台:重構資料工程的技術與團隊-preview-1

買這商品的人也買了...

相關主題

商品描述

【本書特色】

不只是工具教學——本書源自顧問為企業導入現代資料棧的實戰經驗

精準拆解以 dbtMetabaseMeltano 為核心,並示範 DuckDB 與其它資料倉儲選項的現代資料棧應用,讓你少走 90% 的冤枉路

用案例解析常見瓶頸,教你避開踩坑與重工的惡性循環

適用於決策者、技術主管、資料團隊——立即啟動資料驅動決策文化

 

用顧問級方法,替你的團隊打造「不再重工、不再卡關」的資料基礎建設,讓決策更快、產出更穩、團隊更有餘裕專注真正的價值創造。

 

【書籍內容】

你是否曾懷疑過自己用錯了工具,因而浪費了許多時間?

在過去的職業生涯中,我以為自己掌握了開發軟體的核心技能,但在遇到真實的資料工程與資料分析問題時,我只用了軟體開發的方法去硬做,結果浪費了大量時間。

因為過去繞了很長的遠路,也順手做了不少研究,而這本書是我的心得。

這本書帶你深入了解現代資料棧,教你如何用更靈活、易於組裝的工具和方法論來有效處理資料,以提升數倍的產出。

本書為你提供:

現代資料棧:像 Linux Shell 一樣靈活的工具組合,協助你快速構建高品質的資料基礎建設。

資料分析的技巧與實務:透過研究實例與前人的分析方法,幫助你拆解陌生問題、提升解題效率。

管理實務:如何在組織內有效導入新技術,克服技術與決策的障礙。

◎誰應該讀這本書?

這本書寫給那些在資料相關領域中,感受到「卡住了」的人。無論你是哪一種角色,只要曾經在以下情境中點頭如搗蒜,這本書就是為你而寫:

你身為資料分析師,卻困在資料不乾淨、報表每週重工、每週趕進度的困境裡。

你是資料工程師,卻常常在寫一堆 ETL 程式,對資料倉儲與資料品質管控始終感到不夠優雅。

你是產品經理或行銷經理,每週都在催資料報表,卻不確定報表背後的資料是否一致、準確。

你是中階主管或技術領導者,想導入更好的資料流程,但每次提案總被打回票:「我們現在沒空重做」。

你身為數位轉型推動者,想改變整個組織面對資料的方式,但不知道該從哪裡開始。

這不是一本教你單一工具操作的書,而是一本幫助你理解「資料基礎建設」背後的思維框架、常見瓶頸、與改進路徑的書。如果你希望節省時間、提升品質、減少重工、甚至把某些原本工程師才能做的事轉交給資料分析師做,那你會在這本書裡找到具體可行的方法論與實踐路徑。

 

【專業推薦】

中國信託商業銀行 數位科技處部長|林佩蘭

XREX INC., Backend Engineering ManagerStone Huang

XREX INC., 資料科學家|陳安祖

作者簡介

陳家宏(Laurence Chen

現任睿博資訊負責人,專精於資訊顧問服務。他尤其擅長透過優化基礎設施,提升工程師在資料工程與應用軟體開發領域的生產力。自 2021 年起,他已成功協助多家台灣上市企業及新創公司導入現代資料棧(Modern Data Stack),顯著提升其資料處理與分析效率。

現亦任職於歐洲軟體顧問公司 Gaiwan GmbH,在國際專案中接觸前沿技術,累積豐富的跨國協作經驗。他也在多場台灣技術會議擔任講者,分享專業見解與實踐經驗,並積極推動社群發展,為 Clojure Taiwan Taipei dbt Meetup 的線下活動主辦人之一。

網站: https://replware.dev

電子報: https://replware.substack.com/ —— 分享最新技術觀點與實踐經驗。

目錄大綱

▌第一部 資料工程

第1章 我還想要更懶惰
需求概述
既有的作法:試算表流水生產線
相對合理的設計
軟體開發
業務報表
專案的後續與感想

第2章 現代資料棧(Modern Data Stack)
可程式化工具
資料基礎建設
資料基礎建設的發展階段
應用現代資料棧還有其它優點嗎?
選SQL 而非MapReduce
ELT 取代ETL
函數式資料轉換
理想的解決方案:現代資料棧
之後的章節

第3章 View Layer(視覺化層):Metabase
自助式資料服務的必要條件
Metabase 安裝
Metabase 自動分析
Metabase 基礎操作
Metabase 進階操作
Metabase 圖表/ 視覺化
Metabase 互動儀表板與嵌入式分析
Metabase 自動化(Automation)
本章小結

第4章 Transformation Layer(資料轉換層):dbt 與SQL
三個常見的SQL 難題與對應作法
dbt 安裝
DuckDB 安裝
dbt 基本操作
dbt 資料建模
dbt 進階操作
本章小結

第5章 Transformation Layer:SQL 概論
SQL 起步
SQL 進階語法
SQL 效能改進
本章小結

第6章 EL 與ETL
EL 是普遍的需求
ETL 仍然是重要的選項
EL 工具
Meltano 簡介
dlt 簡介
ETL 設計原則
ETL 開發實務
本章小結

第7章 資料可靠性(Data Reliability)
除錯方法論
dbt 套件- Elementary
dbt test
Recce
兩難問題的因果分析
本章小結

第8章 即時資料(Real Time Data)
不同的應用、不同的即時
變更資料擷取(Change Data Capture)
資料倉儲內的Lambda 視圖
簡易資料湖與查詢引擎
本章小結

第9章 將複雜度往下移動
機敏資料
隨著時間而變動的資料
即時資料的查詢延遲
本章小結

第10章 資料工程的挑戰
資料工程的思考:搬移程式到資料端
資料工程的思考:簡單與可擴展性的並存之道
隱而不現的資料工程問題
採用新技術時的準備
本章小結

▌第二部 資料分析

第11章 ChatGPT 作為一種資料分析工具
什麼是資料分析?
什麼是ChatGPT?
應用ChatGPT 的後設技巧(Meta-skill)
資料分析活用ChatGPT
進階議題:形式語言學的應用
本章小結

第12章 管理與統計
管理實務
量化與統計學的連結
貝氏定理(Bayesian Theorem)
Z 檢定
費米估算(Fermi Estimation)
信賴區間
蒙地卡羅法
線性模型
探索式資料分析(EDA, Exploratory Data Analysis)
本章小結

第13章 各領域的資料分析
引導決策的指標
可信度
編碼
本章小結

▌第三部 管理實務

第14章 資料團隊
結果優先vs 流程優先
複雜度轉換:往下層移動
三種常見的資料團隊組織架構
資料團隊的發展
資訊的價值
向上管理vs 向上資訊管理
逆向工作
本章小結

第15章 變革管理
評估新技術
向上溝通:原理
向上溝通:從現在到未來
從想法到行動
本章小結

結語 寫給想要更懶惰的人