Python 機器學習中的數學修煉

數學是機器學習和數據科學的基礎，任何期望涉足相關領域並切實領悟具體技術與方法的人都無法繞過數學這一關。本書系統地整理並介紹了機器學習中所涉及的必備數學基礎，這些都是筆者從浩如煙海的數學知識中精心萃取的，在學習和研究機器學習技術時所必須的內容。具體包括微積分（主要是與最優化內容相關的部分）、概率論與數理統計、數值計算、信息論、凸優化、泛函分析基礎與變分法，以及蒙特卡洛採樣等話題。為了幫助讀者加深理解並強化所學，本書還從上述數學基礎出發進一步介紹了回歸、分類、聚類、流形學習、集成學習，以及概率圖模型等機器學習領域中的重要話題。其間，本書將引領讀者循序漸進地拆解各路算法的核心設計思想及彼此間的關聯關系，並結合具體例子演示基於Python進行實際問題求解的步驟與方法。真正做到理論與實踐並重，讓讀者知其然更知其所以然。本書可作為機器學習及相關課程的教學參考書，適用於高等院校人工智能、機器學習或數據挖掘等相關專業的師生研習之用，也可供從事電腦應用（特別是數據科學相關專業）的研發人員參考。

左飛 博士，技術作家、譯者。
著作涉及人工智能、圖像處理和編程語言等多個領域，其中兩部作品的繁體版在中國台灣地區發行。
同時，他還翻譯出版了包括《編碼》在內的多部經典著作。
曾榮獲“□受讀者喜愛的IT圖書作譯者獎”。
他撰寫的技術博客（http□://□aimafujinji.blog.csdn.net/）非常受歡迎，累計擁有近500萬的訪問量。

第1章最優化基礎
1.1泰勒公式
1.2黑塞矩陣
1.3正定與半正定矩陣
1.4凸函數與詹森不等式
1.4.1凸函數的概念
1.4.2詹森不等式及其證明
1.4.3詹森不等式的應用
1.5泛函與抽象空間
1.5.1線性空間
1.5.2距離空間
1.5.3賦範空間
1.5.4巴拿赫空間
1.5.5內積空間
1.5.6希爾伯特空間
1.6從泛函到變分法
1.6.1理解泛函的概念
1.6.2關於變分概念
1.6.3變分法的基本方程
1.6.4哈密頓原理
1.6.5等式約束下的變分

第2章概率論基礎
2.1概率論的基本概念
2.2隨機變量數字特徵
2.2.1期望
2.2.2方差
2.2.3矩與矩母函數
2.2.4協方差與協方差矩陣
2.3基本概率分佈模型
2.3.1離散概率分佈
2.3.2連續概率分佈
2.4概率論中的重要定理
2.4.1大數定理
2.4.2中心極限定理
2.5經驗分佈函數

第3章統計推斷
3.1隨機採樣
3.2參數估計
3.2.1參數估計的基本原理
3.2.2單總體參數區間估計
3.2.3雙總體均值差的估計
3.2.4雙總體比例差的估計
3.3假設檢驗
3.3.1基本概念
3.3.2兩類錯誤
3.3.3均值檢驗
3.4最大似然估計
3.4.1最大似然法的基本原理
3.4.2求最大似然估計的方法

第4章採樣方法
4.1蒙特卡洛法求定積分
4.1.1無意識統計學家法則
4.1.2投點法
4.1.3期望法
4.2蒙特卡洛採樣
4.2.1逆採樣
4.2.2博克斯穆勒變換
4.2.3拒絕採樣與自適應拒絕採樣
4.3矩陣的極限與馬爾可夫鏈
4.4查普曼柯爾莫哥洛夫等式
4.5馬爾可夫鏈蒙特卡洛方法
4.5.1重要性採樣
4.5.2馬爾可夫鏈蒙特卡洛方法的基本概念
4.5.3米特羅波利斯黑斯廷斯算法
4.5.4吉布斯採樣

第5章信息論基礎
5.1信息論中的熵
5.2微分熵與KullbackLeibler散度
5.2.1微分熵
5.2.2微分熵與香農熵的關係
5.2.3相對熵
5.3率失真函數
5.4香農下邊界

第6章一元線性回歸
6.1回歸分析的性質
6.2回歸的基本概念
6.2.1總體的回歸函數
6.2.2隨機干擾的意義
6.2.3樣本的回歸函數
6.3回歸模型的估計
6.3.1普通最小二乘法原理
6.3.2一元線性回歸的應用
6.3.3經典模型的基本假定
6.3.4總體方差的無偏估計
6.3.5估計參數的概率分佈
6.4正態條件下的模型檢驗
6.4.1擬合優度的檢驗
6.4.2整體性假定檢驗
6.4.3單個參數的檢驗
6.5一元線性回歸模型預測
6.5.1點預測
6.5.2區間預測

第7章多元線性回歸
7.1多元線性回歸模型
7.2多元回歸模型估計
7.2.1最小二乘估計量
7.2.2多元回歸實例
7.2.3總體參數估計量
7.3從線性代數角度理解最小二乘
7.3.1最小二乘問題的通解
7.3.2最小二乘問題的計算
7.4多元回歸模型檢驗
7.4.1線性回歸的顯著性
7.4.2回歸係數的顯著性
7.5多元線性回歸模型預測
7.6格蘭傑因果關係檢驗

第8章線性回歸進階
8.1更多回歸模型函數形式
8.1.1雙對數模型以及生產函數
8.1.2倒數模型與菲利普斯曲線
8.1.3多項式回歸模型及其分析
8.2回歸模型的評估與選擇
8.2.1嵌套模型選擇
8.2.2赤池信息準則
8.3現代回歸方法的新進展
8.3.1多重共線性
8.3.2從嶺回歸到LASSO
8.3.3正則化與沒有免費午餐原理
8.3.4彈性網絡
8.3.5RANSAC

第9章邏輯回歸與最大熵模型
9.1邏輯回歸
9.2牛頓法解Logistic回歸
9.3應用實例： 二分類問題
9.3.1數據初探
9.3.2建模
9.4多元邏輯回歸
9.5最大熵模型
9.5.1最大熵原理
9.5.2約束條件
9.5.3模型推導
9.5.4極大似然估計
9.6應用實例： 多分類問題
9.6.1數據初探
9.6.2建模

第10章感知機與神經網絡
10.1從感知機開始
10.1.1感知機模型
10.1.2感知機學習
10.1.3多層感知機
10.1.4感知機應用示例
10.2基本神經網絡
10.2.1神經網絡結構
10.2.2符號標記說明
10.2.3後向傳播算法
10.3神經網絡實踐
10.3.1建模
10.3.2Softmax與神經網絡

第11章支持向量機與核方法
11.1線性可分的支持向量機
11.1.1函數距離與幾何距離
11.1.2最大間隔分類器
11.1.3拉格朗日乘數法
11.1.4對偶問題的求解
11.2鬆弛因子與軟間隔模型
11.3非線性支持向量機方法
11.3.1從更高維度上分類
11.3.2非線性核函數方法
11.3.3機器學習中的核方法
11.3.4默瑟定理
11.4對數據進行分類的實踐
11.4.1數據分析
11.4.2線性可分的例子
11.4.3線性不可分的例子

第12章決策樹
12.1決策樹基礎
12.1.1Hunt算法
12.1.2基尼測度與劃分
12.1.3信息熵與信息增益
12.1.4分類誤差
12.2決策樹進階
12.2.1ID3算法
12.2.2C4.5算法
12.3分類回歸樹
12.4決策樹剪枝
12.5決策樹應用實例

第13章集成學習
13.1集成學習的理論基礎
13.2Bootstrap方法
13.3Bagging與隨機森林
13.3.1算法原理
13.3.2應用實例
13.4Boosting與AdaBoost
13.4.1算法原理
13.4.2應用實例
13.5梯度提升
13.5.1梯度提升樹與回歸
13.5.2梯度提升樹與分類
13.5.3梯度提升樹的原理推導

第14章聚類分析
14.1聚類的概念
14.2k均值算法
14.2.1距離度量
14.2.2算法描述
14.2.3應用實例——圖像的色彩量化
14.3最大期望算法
14.3.1算法原理
14.3.2收斂探討
14.4高斯混合模型
14.4.1模型推導
14.4.2應用實例
14.5密度聚類
14.5.1DBSCAN算法
14.5.2應用實例
14.6層次聚類
14.6.1AGNES算法
14.6.2應用實例
14.7譜聚類
14.7.1基本符號
14.7.2拉普拉斯矩陣
14.7.3相似圖
14.7.4譜聚類切圖
14.7.5算法描述
14.7.6應用實例

第15章矩陣分解、降維與流形學習
15.1主成分分析
15.2奇異值分解
15.2.1一個基本的認識
15.2.2為什麼可以做SVD
15.2.3SVD與PCA的關係
15.2.4應用示例與矩陣偽逆
15.3多維標度法

第16章貝葉斯定理及其應用
16.1貝葉斯推斷中的基本概念
16.1.1貝葉斯公式與邊緣分佈
16.1.2先驗概率與後驗概率
16.1.3共軛分佈
16.2樸素貝葉斯分類器原理
16.3貝葉斯網絡
16.3.1基本結構單元
16.3.2模型推理
16.4貝葉斯網絡的應用示例
16.5隱馬爾可夫模型
16.5.1隨機過程
16.5.2從時間角度考慮不確定性
16.5.3前向算法
16.5.4維特比算法

附錄A數學傳奇
參考文獻