從統計思維出發 - 用 Python 實作的機器學習範例

董平（博士）

上海對外經貿大學統計與信息學院講師。曾獲概率論與數理統計理學博士學位（山東大學2018）、理學學士學位和經濟學學士學位（山東大學2012）；美國邁阿密大學訪問學者。主要研究領域為高維數據、假設檢驗、半監督回歸、統計機器學習等。參與多項科研項目和工程類項目，主持多項校級課程建設項目，曾獲第三屆上海市高校教師教學創新大賽二等獎。

緒論

0.1本書講什麼，初衷是什麼

0.2貫穿本書的兩大思維模式

0.3這本書決定它還想要這樣

0.4如何使用本書

 

第 1 章 步入監督學習之旅

1.1機器學習從資料開始

1.2監督學習是什麼

1.3如何評價模型的好壞

1.4損失最小化思想

1.5怎樣理解模型的性能：方差 偏差折中思想

1.6如何選擇最佳模型

1.7本章小結

1.8 習題

 

第 2 章 線性迴歸模型

2.1探尋線性迴歸模型

2.2最小平方法

2.3線性迴歸模型的預測

2.4擴充部分：嶺迴歸與套索迴歸

2.5案例分析——共用單車資料集

2.6本章小結

2.7 習題

 

第 3 章 K 近鄰模型

3.1鄰友思想

3.2K 近鄰演算法

3.3最近鄰分類器的誤差率

3.4k 維樹

3.5擴充部分：距離度量學習的 K 近鄰分類器

3.6案例分析——鶯尾花資料集

3.7本章小結

3.8 習題

 

第 4 章 貝氏推斷

4.1貝氏思想

4.2貝氏分類器

4.3如何訓練貝氏分類器

4.4常用的單純貝氏分類器

4.5擴充部分

4.6案例分析——蘑菇資料集

4.7本章小結

4.8 習題

4.9 閱讀時間：貝氏思想的起源

 

第 5 章 邏輯迴歸模型

5.1一切始於邏輯函式

5.2邏輯迴歸模型的學習

5.3邏輯迴歸模型的學習演算法

5.4擴充部分

5.5案例分析——離職資料集

5.6本章小結

5.7 習題

5.8 閱讀時間：牛頓法是牛頓提出的嗎

 

第 6 章 最大熵模型

6.1問世間熵為何物

6.2最大熵思想

6.3最大熵模型的學習問題

6.4模型學習的最最佳化演算法

6.5案例分析——湯圓小例子

6.6本章小結

6.7 習題

6.8 閱讀時間：奇妙的對數

 

第 7 章 決策樹模型

7.1決策樹中蘊含的基本思想

7.2決策樹的特徵選擇

7.3 決策樹的生成演算法

7.4 決策樹的剪枝過程

7.5 擴充部分：隨機森林

7.6 案例分析——帕爾默企鵝資料集

7.7 本章小結

7.8 習題

7.9 閱讀時間：經濟學中的基尼指數

 

第 8 章 感知機模型

8.1感知機制——從邏輯迴歸到感知機

8.2感知機的學習

8.3感知機的最佳化演算法

8.4案例分析——鶯尾花資料集

8.5本章小結

8.6 習題

 

第 9 章 支援向量機

9.1從感知機到支援向量機

9.2線性可分支援向量機

9.3線性支援向量機

9.4非線性支援向量機

9.5SMO 最佳化方法

9.6案例分析——電離層資料集

9.7本章小結

9.8 習題

 

第 10 章 EM 演算法

10.1極大似然法與 EM 演算法

10.2EM 演算法的迭代過程

10.3EM 演算法的應用

10.4本章小結

10.5 習題

 

第 11 章 提升方法

11.1提升方法（Boosting）是一種整合學習方法

11.2起步於 AdaBoost 演算法

11.3提升樹和 GBDT 演算法

11.4擴充部分：XGBoost 演算法

11.5案例分析——波士頓房價資料集

11.6本章小結

11.7 習題

 

參考文獻

 

附錄-小冊子

第 1 章 微積分小工具

1.1 凸函式與凹函式

1.2 幾個重要的不等式

1.3 常見的求導公式與求導法則

1.4 泰勒公式

1.5 費馬原理

 

第 2 章 線性代數小工具

2.1 幾類特殊的矩陣

2.2 矩陣的基本運算

2.3 二次型的矩陣表示

 

第 3 章 機率統計小工具

3.1 隨機變數

3.2 機率分佈

3.3 數學期望和方差

3.4 常用的幾種分佈

3.5 小技巧—從二項分佈到正態分佈的連續修正

 

第 4 章 最佳化小工具

4.1 梯度下降法

4.2 牛頓法

4.3 擬牛頓法

4.4 座標下降法

4.5 拉格朗日對偶思想