Python機器學習技術：模型關系管理

本書的主體內容包括機器學習概念與特徵工程、機器學習技術、模型關系管理，其中，模型關系管理部分主要介紹了弱集成學習、強集成學習和混合專家模型。弱集成學習是指使用機器學習中的弱分類器實現模型準確度和穩定性之間的平衡。強集成學習是指協同特徵工程與強分類器形成強集成學習環境。混合專家模型是指通過神經網絡集成和網絡結構設計形成深度學習框架。本書以案例分析為主線介紹不同的集成學習方法，首先闡述弱集成學習如何解決項目痛點問題，然後以痛點為起點，集中討論強集成學習如何解構子項目問題，最後通過深度學習分析非結構化數據。在每個案例中，歸因問題是分析的核心，提供瞭解析歸因問題的一系列方法，以作者多年的項目經驗為基礎，展示 Python 數據分析的強大之處。

第 1 部分 機器學習概念與特徵工程
第 1 章 機器學習的基礎概念 / 002
1.1 數據源 / 002
1.1.1 數值：單元格 / 002
1.1.2 圖像：像素點 / 003
1.1.3 文本：詞向量 / 004
1.2 模型的基本形式：回歸 / 006
1.2.1 文氏圖：方差分解 / 006
1.2.2 分佈圖：分佈與隨機 / 007
1.2.3 角色：監督與非監督 / 008
1.2.4 模型應用：歸因與預測 / 008
1.3 模型與算法 / 013
1.3.1 模型進化：從 1.0 到 4.0 / 013
1.3.2 算法驅動：參數與超參數 / 014
1.4 SMD 學習技術 / 014
1.4.1 統計學習：線性回歸 / 014
1.4.2 機器學習：支持向量機 / 015
1.4.3 深度學習：神經網絡 / 016
1.5 機器學習誤差源 / 018
1.5.1 誤差源 / 018
1.5.2 偏差與方差窘境 / 019
1.6 模型擬合診斷 / 020
1.6.1 模型擬合 / 020
1.6.2 模型的評估指標 / 021
1.7 數據分區技術 / 024
1.7.1 數據分區：訓練與評估 / 025
1.7.2 交叉驗證：分區的升級 / 026
1.8 集成學習方法 / 028
1.8.1 強分類器：特徵工程+模型 / 029
1.8.2 弱分類器：模型+模型 / 029
1.8.3 混合專家：神經網絡 / 029
1.9 運算加速度 / 029
1.9.1 大數據挑戰 / 030
1.9.2 數據的高效運算 / 030

第 2 章 特徵工程技術 / 032
2.1 數據變換 / 032
2.1.1 特徵規範化：對中處理 / 033
2.1.2 樣本規範化：距離相似度 / 035
2.2 數據編碼 / 036
2.2.1 獨熱編碼：無序性 / 037
2.2.2 數據分箱：業務標簽 / 038
2.3 缺失值填補 / 039
2.3.1 中位數填補：穩健 / 039
2.3.2 最近鄰填補：高維 / 039
2.3.3 隨機森林填補：“賢內助” / 041
2.4 異常值診斷 / 045
2.4.1 單變量異常值：描述 / 045
2.4.2 多變量異常值：監督 / 046
2.4.3 多變量異常值：非監督 / 046
2.4.4 非結構式異常值：自編碼器 / 047
2.5 共線性的危害 / 053
2.5.1 雙變量共線：新特徵 / 053
2.5.2 多變量共線：特徵分解 / 055
2.5.3 特徵組合技術 / 058
2.6 特徵篩選技術 / 059
2.6.1 經驗：“站在誰的肩膀上” / 061
2.6.2 相關：相關系數 / 061
2.6.3 回歸：特徵篩選 / 061
2.6.4 降維：線性與非線性 / 062
2.6.5 工具：“指南針” / 065
2.7 聚類技術：市場細分 / 066

第 2 部分 機器學習技術
第 3 章 機器學習準備 / 069
3.1 機器學習的數學基礎 / 069
3.1.1 微積分基礎 / 069
3.1.2 向量運算：相關分析 / 072
3.1.3 矩陣運算：回歸模型 / 074
3.1.4 張量運算：神經網絡 / 076
3.2 機器學習理解 / 077
3.2.1 連續型因變量：線性回歸 / 077
3.2.2 分類型因變量：邏輯回歸 / 081
3.3 機器學習算法 / 083
3.3.1 最小二乘法：準確度 / 083
3.3.2 最大似然估計法：測量 / 083
3.3.3 隨機梯度下降法：大數據 / 085

第 4 章 統計學：回歸“進化” / 087
4.1 大數據與回歸模型 / 087
4.1.1 統計學的煩惱 / 087
4.1.2 線性回歸的進化 / 088
4.2 正則化約束 / 089
4.2.1 正則化技術的原理 / 089
4.2.2 LASSO 回歸與嶺回歸 / 090
4.2.3 彈性網的特徵 / 091
4.3 案例：隨機梯度下降回歸與歸因解釋 / 092

第 5 章 神經網絡模型：預測 / 096
5.1 感知器模型 / 096
5.1.1 與或四門通往何方 / 096
5.1.2 感知器=線性回歸 / 099
5.1.3 激活函數為何是非線性的 / 100
5.1.4 感知器=CPU / 102
5.2 神經網絡模型 / 102
5.2.1 感知器集成：網絡結構 / 102
5.2.2 前向傳播技術：聯立方程 / 105
5.2.3 反向傳播技術：自動微分 / 107
5.2.4 網絡結構設計：隱含層 / 110
5.2.5 神經網絡專題 1：特徵工程 / 111
5.2.6 神經網絡專題 2：維度災難 / 112
5.3 案例：數據分析流與神經網絡 / 112

第 6 章 決策樹：歸因與可視化 / 122
6.1 決策樹模型原理 / 122
6.1.1 熵與相關性 / 122
6.1.2 決策樹概覽 / 123
6.1.3 特徵分叉運算 / 124
6.1.4 特徵選擇運算 / 125
6.1.5 決策樹與剪枝 / 128
6.2 樹模型的特徵 / 128
6.3 兩類歸因：決策樹與邏輯回歸 / 130
6.3.1 樹形圖解釋 / 130
6.3.2 S 形圖解釋 / 131

第 7 章 支持向量機：高維數據 / 135
7.1 支持向量機簡介 / 135
7.1.1 超平面 / 135
7.1.2 點距超平面 / 137
7.2 線性支持向量機 / 138
7.2.1 硬間隔：嚴格邊界 / 138
7.2.2 軟間隔：鬆弛邊界 / 138
7.3 非線性與核技巧 / 139
7.3.1 理解核技巧 / 139
7.3.2 核函數及其應用 / 140
7.3.3 支持向量機：經驗匯總 / 141
7.4 支持向量機模型運算 / 142
7.5 案例：圖像識別與預測分類 / 144
第 8 章 關聯分析 / 148
8.1 數據源格式 / 148
8.1.1 標準數據格式 / 148
8.1.2 概念的層級性 / 149
8.2 關聯規則與度量指標 / 150
8.2.1 關聯規則度量 / 150
8.2.2 頻繁項集 / 151
8.2.3 Apriori 算法 / 151
8.2.4 強關聯規則 / 153
8.3 案例：商品關聯過濾與營銷推薦 / 154

第 3 部分 模型關系管理
第 9 章 集成學習方法：弱集成 / 160
9.1 集成學習：弱分類器 / 160
9.1.1 自抽樣法 / 161
9.1.2 套袋法與隨機森林 / 162
9.1.3 套袋法的運算 / 163
9.1.4 隨機森林與特徵工程 / 165
9.1.5 提升法與提升樹 / 165
9.1.6 提升法的運算 / 167
9.1.7 XGBoost 的原理與應用 / 170
9.2 集成學習：聚合策略 / 173
9.2.1 簡單投票法 / 174
9.2.2 堆疊法 / 175
9.2.3 理論判斷法 / 176
9.2.4 元分析法 / 177
9.2.5 結構方程模型 / 178

第 10 章 多階段模型管理：強集成 / 181
10.1 特徵工程與模型集成 / 181
10.1.1 機器學習與模型關系管理 / 181
10.1.2 “主成分+”與“聚類+”模式 / 182
10.2 多階段模型管理與案例解析 / 183
10.2.1 線性與非線性：決策樹+回歸 / 184
10.2.2 異常診斷一：異常評分+主次歸因+規則歸因 / 190
10.2.3 異常診斷二：異常規則+復雜歸因 / 195
10.2.4 經驗法：貝葉斯規則+回歸 / 199
10.2.5 不平衡修正：平衡性抽樣+模型集成 / 208
10.2.6 數據源：問捲+數據庫 / 212

第 11 章 深度學習模型：混合專家 / 219
11.1 全連接神經網絡：數值分析 / 220
11.1.1 全連接神經網絡規則 / 220
11.1.2 梯度爆炸與梯度消失 / 221
11.1.3 全連接層：正則化 / 224
11.1.4 構建全連接神經網絡 / 224
11.2 捲積神經網絡：圖像識別 / 225
11.2.1 捲積層：核運算 / 226
11.2.2 池化層：標準化 / 232
11.2.3 全連接層：信息傳遞 / 233
11.2.4 構建捲積神經網絡 / 234
11.3 循環神經網絡：自然語言處理 / 237
11.3.1 概率語言模型 / 237
11.3.2 循環神經網絡 / 239
11.3.3 長短期記憶網絡 / 241
11.3.4 構建循環神經網絡 / 244

第 12 章 自動化機器學習 / 246
12.1 自動化與集成學習 / 246
12.1.1 自動化集成 / 246
12.1.2 TPOT 配置 / 247
12.1.3 案例：模型復雜度評估 / 248
12.2 數據分析流水線 / 251
12.2.1 數據分析流 / 252
12.2.2 模型失效周期 / 255
12.2.3 知識發現與模型 / 258
12.2.4 流水線技術準備 / 259
12.2.5 創建復雜流水線 / 261
12.3 超參數與高效運行 / 265
12.3.1 熱啟動 / 266
12.3.2 隨機搜索 / 266
12.3.3 貝葉斯搜索 / 268
12.3.4 增量學習 / 269
總結與展望 / 272