大數據分析師面試筆試寶典

《大數據分析師面試筆試寶典》旨在幫助讀者了解大數據分析師的工作內容、
技能要求、各類常用技術的原理和可能應用的場景。
大數據分析是一個多學科交叉的領域，包含了統計學、計算機科學、運籌學乃至市場營銷學等。
《大數據分析師面試筆試寶典》並沒有介紹大數據分析領域涉及的所有方面，
而是根據當前用人單位對大數據分析師的需求，
選擇了其中較為重要的內容進行解析，將當前大數據分析涉及的熱點技術一網打盡。
閱讀《大數據分析師面試筆試寶典》需要具備一定的數理統計知識基礎和計算機編程背景。
本書盡量不去證明一些在理論界已有的結論，而是用淺顯的語言來解釋複雜的公式，
以便讀者更為輕鬆地掌握全書的知識，從而能夠從容面對面試以及日常工作。

周炎亮
全棧數據分析師，北京化工大學工程管理碩士。
擁有10多年的數據分析經驗，擅長將各種業務問題轉化為可量化的數學模型。
先後在諮詢公司、互聯網公司擔任數據分析師，
現在某工業互聯網公司擔任高級數據分析經理，致力於解決工業領域的數據分析問題。

劉誌全
博士，暨南大學網絡空間安全學院副研究員、碩士生導師；
近年來共在IEEE TITS、IEEE TDSC、IEEE IOTJ、IEEE TVT等國內外權威期刊/會議發表SCI/EI論文40餘篇，
申請/授權/公告國家發明專利/國外發明專利/PCT專利40餘項。

第1章面試經驗／1
1.1 大數據分析技能要求／1
1.1.1 數據分析師／1
1.1.2 數據開發工程師／4
1.1.3 數據挖掘工程師／7
1.1.4 職業能力模型／10
1.2 數據分析工作流程／10
1.2.1 組織架構／10
1.2.2 分析流程／11
1.3 數據分析師臨場面試／13
1.3.1 如何準備面試／13
1.3.2 面試問題／16
1.4 本章總結／18
第2章統計學知識／19
2.1 概率知識／19
2.1.1 概率模型之間的關係解析／19
2.1.2 概率相關面試題／25
2.1.3 貝葉斯公式／28
2.2 參數估計／31
2.2.1 點估計／31
2.2.2 區間估計／34
2.3 假設檢驗／41
2.3.1 假設檢驗原理／41
2.3.2 兩類錯誤／43
2.3.3 假設檢驗的常用方法／45
2.4 抽樣技術解析／49
2.4.1 樣本量影響因素分析／50
2.4.2 假設檢驗樣本量計算／52
2.4.3 參數估計樣本量計算／53
2.5 馬爾可夫模型／54
2.5.1 馬爾可夫過程原理／55
2.5.2 馬爾可夫模型計算／55
2.6 隱馬爾可夫模型／57
2.6.1 HMM和三類問題／57
2.6.2 求概率問題／58
2.6.3 預測問題／59
2.6.4 學習問題／60
2.7 EM算法／62
2.7.1 基本思想／62
2.7.2 算法流程／63
2.8 本章總結／63
第3章數據挖掘算法／65
3.1 常用聚類算法／66
3.1.1 Kmeans算法／66
3.1.2 DBSCAN算法／68
3.1.3 聚類算法評估／69
3.2 常用分類算法／74
3.2.1 決策樹／74
3.2.2 樸素貝葉斯／79
3.2.3 KNN／80
3.2.4 SVM／81
3.2.5 邏輯回歸／84
3.2.6 BP神經網絡／88
3.3 集成學習算法／91
3.3.1 Bagging原理／92
3.3.2 隨機森林／93
3.3.3 Boosting原理／95
3.3.4 Adaboost算法／96
3.3.5 Stacking算法／99
3.3.6 分類算法評估／100
3.3.7 分類算法小結／108
3.4 關聯規則算法／108
3.4.1 Apriori／108
3.4.2 Fp_Growth／111
3.4.3 算法評估／112
3.5 數據降維算法／112
3.5.1 降維技術基本理論／112
3.5.2 特徵選擇／113
3.5.3 主成分分析／116
3.5.4 SVD分解／118
3.5.5 降維方法選擇／121
3.6 數據升維方法／121
3.6.1 分箱／121
3.6.2 交互式特徵／123
3.7 推薦算法／124
3.7.1 基於內容推薦／124
3.7.2 基於用戶的協同過濾／125
3.7.3 基於物品的協同過濾／126
3.7.4 SVD推薦原理／127
3.7.5 推薦算法評估／130
3.8 模型優化方法／130
3.8.1 機器學習抽樣／130
3.8.2 相似性度量／134
3.8.3 損失函數／136
3.8.4 過擬合與欠擬合／138
3.8.5 正則化方法／139
3.8.6 剪枝方法／141
3.8.7 模型選擇／144
3.9 本章總結／145
第4章大數據技術解析／147
4.1 數據埋點技術／148
4.1.1 技術原理／148
4.1.2 代碼埋點／149
4.1.3 可視化埋點／149
4.1.4 無埋點技術／150
4.1.5 埋點需求分析／150
4.1.6 選擇部署方式／151
4.2 網絡爬蟲技術／152
4.2.1 聚焦爬蟲工作流程／153
4.2.2 數據解析流程／154
4.2.3 爬行策略／154
4.2.4 網頁更新策略／155
4.3 數據倉庫技術／156
4.3.1 數倉名詞解析／156
4.3.2 數據建模方法／161
4.3.3 數倉建設原則／164
4.3.4 SQL查詢／166
4.3.5 SQL查詢優化／170
4.4 ETL技術／171
4.4.1 數據質量評估／172
4.4.2 ETL流程／173
4.4.3 缺失值處理方法／177
4.4.4 異常值識別方法／179
4.5 Hadoop技術／180
4.5.1 Hadoop核心之HDFS／181
4.5.2 Hadoop核心之MapReduce／184
4.5.3 YARN／190
4.5.4 WordCount源碼／192
4.5.5 MapReduce優化／194
4.6 Spark技術／196
4.6.1 Spark集群運行／196
4.6.2 Spark程序運行／199
4.6.3 Spark RDD／202
4.6.4 Spark存儲／210
4.6.5 Spark 內存管理／216
4.6.6 Spark資源分配／222
4.6.7 Spark Shuffle機制／224
4.6.8 Spark的算子調優／230
4.6.9 數據傾斜問題解析／231
4.7 本章總結／235
第5章數據可視化／237
5.1 圖表類型／237
5.2 繪圖原則／243
5.3 ECharts快速上手／247
5.3.1 ECharts引入／247
5.3.2 準備DOM容器／248
5.3.3 柱狀圖示例／249
5.4 本章總結／249
附錄／250
附錄A 筆面試真題／250