暗數據：被看到、被聽到、被測量到的，往往不是「真凶」 Dark Data: Why What We Don’t Know Is Even More Important Than What We Do

大數據時代必讀的暗數據解析大作。
「只因為沒有人在森林裡聽見樹倒了，不代表樹沒發出聲音。」
我們都習慣看向光亮之處，
但是黑暗中，看不見的事物裡，必定藏有更多決定性細節。

　　◆本書賣點
　　●《不大可能法則》作者全新著作。所謂暗數據，相當於宇宙中的暗物質、金融界的「黑池」、網路世界的「暗網」，都是不易察覺的事物，但觀察不到，不代表不存在；而觀察得到的東西，也不等於「全部」，尤其是數據。

　　●大數據就像漫畫一般，以簡單幾筆，補捉基本的輪廓，簡化了很多細節。忽略的資訊或數據可能鬧出人命、釀成災害，甚至讓經濟體、社會崩解，生命毀滅。本書揭露暗數據無所不在的事實，其成因及影響。

　　◆內容簡介
　　//在遺漏數據的世界裡做出好決定的務實指南//

　　身處大數據時代，不難以為我們擁有做出好決定的一切數據。但我們擁有的數據其實從未完整，甚至只取得冰山一角。就如同宇宙大部分由暗物質組成，雖然存在卻不被看見，資訊世界也充滿了暗數據，為我們所無視，非常危險。在這本《暗數據》中，數據專家大衛．漢德帶領我們踏上一趟啟發人心的精采旅程，走進我們看不見的數據的世界。

　　本書探討許多對於暗數據視而不見的情況，討論這些情況如何讓我們做出錯誤、危險，甚至災難性的結論與行動。作者檢視了現實生活中的例子，從挑戰者號太空梭爆炸到複雜的金融詐騙，並分享一套務實的暗數據分類法，說明這些暗數據是如何產生，以便我們學會辨別與掌控暗數據。作者不僅教導我們要對未知事物造成的問題提高警覺，也闡述如何利用暗數據，從中得益，讓我們得到更深入的理解，做出更好的決定。

　　如今我們所有人都仰賴數據做決定。本書將告訴我們如何避免做出壞的決定。

　　★暗數據無所不在，生活中有哪些事件涉及了暗數據？
　　‧有人類，就有詐騙。如何辨識各種隱藏數據的詐騙手法？
　　‧挑戰者號太空梭爆炸事故起因於漏掉的數據？
　　‧症狀不明顯的病人容易錯過最佳治療時機？
　　‧鑽漏洞與操弄制度也屬於玩弄暗數據？
　　‧社群媒體讓我們覺得他人生活多采多姿，竟是暗數據的作用？
　　‧選舉民調中未回覆的民眾，可能具有決定性的影響力？

本書特色

　　■作者出身學術界，也為金融、健康、藥學領域及政府分析大量資料，而《暗數據》結集其中精華，稱之為「消失數據」領域的專家或先驅，亦不為過。

　　■數據不是絕對的客觀，也非真理：本書教讀者在判讀資料時，如何避免掉進「客觀」的陷阱，對已獲取、看似可掌握的資料，保有一定的懷疑。

　　■展現一般人不易觀察到的統計學分析角度：這個時代一面倒地推崇大數據，沉浸在只要掌握愈多數據就無所不能的幻覺中。本書指出箇中盲點，翻轉視角，開闢另一片視野。

　　■深入剖析生活中實例，有閱讀驚悚推理小說的味道：作者寫作經驗豐富，以生動具條理的敘事，引導讀者進入主題。即使門外漢讀來，也會對暗數據有基本的認識。

　　■本書延續作者前一部作品《不大可能法則》的風格，觸及醫療、製藥、政府、社會政策、金融業、製造業等各領域的暗數據現象，揭櫫問題根本的解決之道，就在於瞭解訊息中不為人知的黑暗邊角是如何扭曲我們的認知。

名人推薦

　　鄭宇庭　政治大學商學院統計系教授
　　謝邦昌　輔仁大學副校長、台灣人工智慧發展學會（TIAI）理事長
　　謝金河　財信傳媒集團董事長
　　M觀點創辦人　Miula

各界佳評

　　本書深入研究了遺漏的（暗）數據，以及這些數據如何影響人做決定……作者在書中提供專業的指南，從如何辨別事實遭到篩選到設計隨機試驗，點亮了科學、醫療與政策領域的幽暗角落。──芭芭拉．凱瑟（Barbara Kiser），《自然》

　　你一定要讀這本書，信服作者的論證與實例，相信我們沒看到或沒記錄到的數據攸關重大，甚至足以致命。讀完書後，你會覺得暗數據一詞確實有力，能激起我們的好奇與懷疑，同時慶幸終於有統計學家發明了一個好詞，只可惜想到的不是自己。──孟曉犁（Xiao-Li Meng），《資訊與管理科學學報》

　　不論是個人或專業領域，我們做決定時總會從某些數據開始。數據的英文「data」一詞源自於拉丁文，意思是「給定之物」。但給的人是誰？數據從哪裡來？我們應該不加懷疑逕直接受嗎？本書充滿洞見，是一部開眼之作，讓我們看見將「給定之物」視為理所當然的危險，在這個「假新聞與數據爆炸密不可分」的時代，應該人人必讀。──艾德里恩．史密斯（Adrian Smith），圖靈研究所所長兼執行長

　　任何依靠數據做決策的人，不可能讀完本書而不獲益良多。作者信手拈來，引導讀者認識暗數據的危險。──艾爾諾．西貝斯（Arno Siebes），烏特勒支大學

　　作者大大照亮了統計學裡的陰暗角落。書中知識淵博，但充滿機智，流暢易讀，而且重要。我讀完收穫良多，你也不會例外。──提姆．哈福德（Tim Harford），《轉角遇見經濟學》作者、BBC《或多或少》節目主持人

　　本書與眾不同，是介紹暗數據的好讀指南，在這個一般人警覺降低的時代，正是大眾亟需之作。──蓋爾特．莫倫伯格斯（Geert Molenberghs），哈瑟爾特大學及魯汶大學

作者簡介

大衛‧漢德（David Hand）

　　英國統計學權威，目前是倫敦帝國理工學院數學系榮譽教授暨資深研究調查員。曾擔任倫敦帝國理工學院及公開大學統計學教授，為合格統計學家及多家學術機構成員，多次獲獎，學術成就非凡。除了常上媒體接受訪問，也曾協助警方調查科學詐欺案件。

　　曾出版七本著作，其中包含《統計極簡介》（Statistics: A Very Short Introduction）、《資訊世代：資訊如何掌管世界》（Information Generation: How Data Rule Our World）、《不大可能法則》（The Improbability Principle）。

譯者簡介

賴盈滿

　　倫敦政經學院科學哲學碩士，現專事翻譯。譯有《分心不上癮》、《跳舞的骷髏》和《成功的反思》等書。

序言

第一部 暗數據：來源與後果
第一章 暗數據：我們看不見的事物形塑了我們的世界
數據鬼魂
你以為你有的數據就是全部？
沒事，所以我們不當回事
暗數據的威力
暗數據無所不在

第二章 發現暗數據：我們蒐集什麼、不蒐集什麼
怎麼看都是暗數據
數據廢氣、數據選取與自我選取
由少至多
實驗數據
當心人性弱點

第三章 定義與暗數據：你想知道什麼？
定義不同，量錯東西
不可能什麼都量
篩檢
依據過去表現來選取

第四章 無心造成的暗數據：言行不一
全貌
摘要
人為錯誤
儀器侷限
鏈結數據集

第五章 策略暗數據：玩弄、反饋與資訊不對稱
玩弄
反饋
資訊不對稱
逆選擇與演算法

第六章 刻意為之的暗數據：詐騙與詐欺
詐騙
身分盜竊與網路詐騙
個人理財詐騙
金融市場詐騙與內線交易
保險詐騙
其他

第七章 科學與暗數據：發現的本質
科學的本質
早知道
偶遇暗數據
暗數據與全貌
隱瞞事實
論文撤回
出處與可信度：是誰說的？

第二部：點亮與使用暗數據
第八章 面對暗數據：點亮它
希望！
鏈結已知和遺漏的數據
辨別造成數據遺漏的機制
使用已知數據
數據之外：要是你先掛了怎麼辦？
數據之外：插補法
迭代
數字錯了！

第九章 從暗數據中得益：換個角度看問題
隱藏數據
隱藏數據不讓自己看見：隨機對照試驗
可能會如何
複製數據
想像的數據：貝氏事前機率
隱私與保密
在黑暗中蒐集數據

第十章 分類暗數據：穿越迷宮
暗數據分類法
點亮暗數據

註釋