機器學習中的概率統計：Python 語言描述

張雨萌

資深人工智能技術專家，畢業於清華大學計算機系，現就職於中國艦船研究設計中心，
長期從事人工智能領域相關研究工作，諳熟機器學習算法應用及其背後的數學理論基礎。
目前已出版多部機器學習數學基礎類暢銷書籍，併入選京東推薦排行榜，廣受讀者好評。

序
前言
第1章 概率思想：構建理論基礎 1
1.1 理論基石：條件概率、獨立性與貝葉斯 1
1.1.1 從概率到條件概率 1
1.1.2 條件概率的具體描述 2
1.1.3 條件概率的表達式分析 3
1.1.4 兩個事件的獨立性 4
1.1.5 從條件概率到全概率公式 5
1.1.6 聚焦貝葉斯公式 6
1.1.7 本質內涵：由因到果，由果推因 7
1.2 事件的關系：深入理解獨立性 8
1.2.1 重新梳理兩個事件的獨立性 8
1.2.2 不相容與獨立性 8
1.2.3 條件獨立 9
1.2.4 獨立與條件獨立 11
1.2.5 獨立重復實驗 11

第2章 變量分佈：描述隨機世界 13
2.1 離散型隨機變量：分佈與數字特徵 13
2.1.1 從事件到隨機變量 13
2.1.2 離散型隨機變量及其要素 14
2.1.3 離散型隨機變量的分佈列 15
2.1.4 分佈列和概率質量函數 16
2.1.5 二項分佈及二項隨機變量 17
2.1.6 幾何分佈及幾何隨機變量 21
2.1.7 泊松分佈及泊松隨機變量 24
2.2 連續型隨機變量：分佈與數字特徵 27
2.2.1 概率密度函數 27
2.2.2 連續型隨機變量區間概率的計算 29
2.2.3 連續型隨機變量的期望與方差 29
2.2.4 正態分佈及正態隨機變量 30
2.2.5 指數分佈及指數隨機變量 33
2.2.6 均勻分佈及其隨機變量 35
2.3 多元隨機變量（上）：聯合、邊緣與條件 38
2.3.1 實驗中引入多個隨機變量 38
2.3.2 聯合分佈列 38
2.3.3 邊緣分佈列 39
2.3.4 條件分佈列 40
2.3.5 集中梳理核心的概率理論 44
2.4 多元隨機變量（下）：獨立與相關 46
2.4.1 隨機變量與事件的獨立性 46
2.4.2 隨機變量之間的獨立性 47
2.4.3 獨立性示例 48
2.4.4 條件獨立的概念 48
2.4.5 獨立隨機變量的期望和方差 50
2.4.6 隨機變量的相關性分析及量化方法 52
2.4.7 協方差及協方差矩陣 52
2.4.8 相關系數的概念 54
2.5 多元隨機變量實踐：聚焦多元正態分佈 55
2.5.1 再談相關性：基於二元標準正態分佈 55
2.5.2 二元一般正態分佈 57
2.5.3 聚焦相關系數 60
2.5.4 獨立和相關性的關系 64
2.6 多元高斯分佈：參數特徵和幾何意義 66
2.6.1 從一元分佈到多元分佈 66
2.6.2 多元高斯分佈的參數形式 67
2.6.3 二元高斯分佈的具體示例 68
2.6.4 多元高斯分佈的幾何特徵 71
2.6.5 二元高斯分佈幾何特徵實例分析 74

第3章 參數估計：探尋最大可能 77
3.1 極限思維：大數定律與中心極限定理 77
3.1.1 一個背景話題 77
3.1.2 大數定律 78
3.1.3 大數定律的模擬 80
3.1.4 中心極限定理 83
3.1.5 中心極限定理的工程意義 84
3.1.6 中心極限定理的模擬 85
3.1.7 大數定律的應用：蒙特卡羅方法 86
3.2 推斷未知：統計推斷的基本框架 89
3.2.1 進入統計學 89
3.2.2 統計推斷的例子 90
3.2.3 統計推斷中的一些重要概念 91
3.2.4 估計量的偏差與無偏估計 92
3.2.5 總體均值的估計 93
3.2.6 總體方差的估計 95
3.3 極大似然估計 100
3.3.1 極大似然估計法的引例 100
3.3.2 似然函數的由來 102
3.3.3 極大似然估計的思想 103
3.3.4 極大似然估計值的計算 105
3.3.5 簡單極大似然估計案例 106
3.3.6 高斯分佈參數的極大似然估計 107
3.4 含有隱變量的參數估計問題 110
3.4.1 參數估計問題的回顧 110
3.4.2 新情況：場景中含有隱變量 111
3.4.3 疊代法：解決含有隱變量情形的拋硬幣問題 112
3.4.4 代碼實驗 115
3.5 概率漸增：EM算法的合理性 118
3.5.1 EM算法的背景介紹 119
3.5.2 先拋出EM算法的疊代公式 119
3.5.3 EM算法為什麼是有效的 120
3.6 探索EM公式的底層邏輯與由來 123
3.6.1 EM公式中的E步和M步 124
3.6.2 剖析EM算法的由來 124
3.7 探索高斯混合模型：EM 疊代實踐 127
3.7.1 高斯混合模型的引入 128
3.7.2 從混合模型的角度看內部機理 129
3.7.3 高斯混合模型的參數估計 131
3.8 高斯混合模型的參數求解 132
3.8.1 利用 EM 疊代模型參數的思路 132
3.8.2 參數估計示例 136
3.8.3 高斯混合模型的應用場景 139

第4章 隨機過程：聚焦動態特徵 145
4.1 由靜向動：隨機過程導引 145
4.1.1 隨機過程場景舉例1：博彩 146
4.1.2 隨機過程場景舉例2：股價的變化 150
4.1.3 隨機過程場景舉例3：股價變化過程的展現 152
4.1.4 兩類重要的隨機過程概述 154
4.2 狀態轉移：初識馬爾可夫鏈 155
4.2.1 馬爾可夫鏈三要素 155
4.2.2 馬爾可夫性：靈魂特徵 156
4.2.3 轉移概率和狀態轉移矩陣 157
4.2.4 馬爾可夫鏈性質的總結 158
4.2.5 一步到達與多步轉移的含義 159
4.2.6 多步轉移與矩陣乘法 160
4.2.7 路徑概率問題 163
4.3 變與不變：馬爾可夫鏈的極限與穩態 164
4.3.1 極限與初始狀態無關的情況 164
4.3.2 極限依賴於初始狀態的情況 165
4.3.3 吸收態與收斂分析 167
4.3.4 可達與常返 168
4.3.5 周期性問題 171
4.3.6 馬爾可夫鏈的穩態分析和判定 172
4.3.7 穩態的求法 174
4.4 隱馬爾可夫模型：明暗兩條線 176
4.4.1 從馬爾可夫鏈到隱馬爾可夫模型 176
4.4.2 典型實例1：盒子摸球實驗 177
4.4.3 典型實例2：小寶寶的日常生活 180
4.4.4 隱馬爾可夫模型的外在表徵 181
4.4.5 推動模型運行的內核三要素 182
4.4.6 關鍵性質：齊次馬爾可夫性和觀測獨立性 183
4.5 概率估計：隱馬爾可夫模型觀測序列描述 183
4.5.1 隱馬爾可夫模型的研究內容 183
4.5.2 模型研究問題的描述 185
4.5.3 一個直觀的思路 186
4.5.4 更優的方法：前向概率算法 187
4.5.5 概率估計實踐 190
4.5.6 代碼實踐 192
4.6 狀態解碼：隱馬爾可夫模型隱狀態揭秘 194
4.6.1 隱狀態解碼問題的描述 194
4.6.2 最大路徑概率與維特比算法 195
4.6.3 應用維特比算法進行解碼 197
4.6.4 維特比算法的案例實踐 199
4.6.5 代碼實踐 202
4.7 連續域上的無限維：高斯過程 204
4.7.1 高斯過程的一個實際例子 205
4.7.2 高斯過程的核心要素和嚴謹描述 206
4.7.3 徑向基函數的代碼演示 207
4.7.4 高斯過程回歸原理詳解 208
4.7.5 高斯過程回歸代碼演示 210

第5章 統計推斷：貫穿近似策略 215
5.1 統計推斷的基本思想和分類 215
5.1.1 統計推斷的根源和場景 215
5.1.2 後驗分佈：推斷過程的關註重點 216
5.1.3 精確推斷和近似推斷 216
5.1.4 確定性近似：變分推斷概述 217
5.2 隨機近似方法 219
5.2.1 蒙特卡羅方法的理論支撐 219
5.2.2 隨機近似的核心：蒙特卡羅 220
5.2.3 接受-拒絕採樣的問題背景 221
5.2.4 接受-拒絕採樣的方法和步驟 221
5.2.5 接受-拒絕採樣的實踐 222
5.2.6 接受-拒絕採樣方法背後的內涵挖掘 225
5.2.7 重要性採樣 226
5.2.8 兩種採樣方法的問題及思考 227
5.3 採樣絕佳途徑：借助馬爾可夫鏈的穩態性質 228
5.3.1 馬爾可夫鏈回顧 228
5.3.2 核心：馬爾可夫鏈的平穩分佈 229
5.3.3 馬爾可夫鏈進入穩態的轉移過程 231
5.3.4 穩態及轉移過程演示 231
5.3.5 馬爾可夫鏈穩態的價值和意義 235
5.3.6 基於馬爾可夫鏈進行採樣的原理分析 236
5.3.7 採樣過程實踐與分析 238
5.3.8 一個顯而易見的問題和難點 242
5.4 馬爾可夫鏈-蒙特卡羅方法詳解 242
5.4.1 穩態判定：細致平穩條件 243
5.4.2 Metropolis-Hastings採樣方法的原理 244
5.4.3 如何理解隨機遊走疊加接受概率 245
5.4.4 如何實現隨機遊走疊加接受概率 247
5.4.5 建議轉移概率矩陣Q的設計 247
5.4.6 Metropolis-Hastings方法的步驟和代碼演示 251
5.5 Gibbs採樣方法簡介 253
5.5.1 Gibbs方法核心流程 253
5.5.2 Gibbs採樣的合理性 255
5.5.3 Gibbs採樣代碼實驗 256