機器學習的矩陣方法

 

目錄

 

 

第1章緒論： 從主成分分析說起

 

1.1數據降維的必要性

 

1.2PCA的步驟

 

1.3PCA的原理

 

1.3.1投影方差最大化

 

1.3.2重構誤差最小化

 

1.4PCA的知識脈絡

 

習題

 

第2章矩陣與向量空間

 

2.1矩陣的概念和運算

 

2.1.1矩陣和向量的定義

 

2.1.2常見的特殊矩陣

 

2.1.3矩陣的運算

 

2.1.4逆矩陣

 

2.2線性方程組及其求解

 

2.2.1線性方程組的形式

 

2.2.2特解與通解

 

2.2.3初等變換

 

2.2.4負1技巧解齊次線性方程組

 

2.2.5矩陣求逆

 

2.2.6解的進一步討論

 

2.3向量空間

 

2.3.1向量空間的概念

 

2.3.2子空間

 

2.3.3線性組合與線性相關

 

2.3.4基

 

2.3.5秩

 

2.4線性變換

 

2.4.1線性變換的定義

 

2.4.2線性變換的矩陣表示

 

2.4.3基變換與坐標變換

 

2.4.4不同基下的變換矩陣

 

2.4.5像與核

 

2.5仿射空間

 

2.5.1仿射空間的概念

 

2.5.2仿射變換

 

習題

 

第3章矩陣與內積空間

 

3.1範數

 

3.2內積

 

3.2.1點積

 

3.2.2一般內積

 

3.2.3對稱正定矩陣

 

3.3長度和距離

 

3.4角度和正交

 

3.5規範正交基

 

3.6正交補

 

3.7函數的內積

 

3.8正交投影

 

3.8.11維子空間上的正交投影

 

3.8.2一般子空間上的正交投影

 

3.8.3線性方程組的最小二乘解

 

3.8.4施密特正交化

 

3.8.5仿射空間上的正交投影

 

3.9旋轉

 

3.9.12維歐氏空間中的旋轉

 

3.9.23維歐氏空間中的旋轉

 

3.9.3n維歐氏空間中的旋轉

 

3.9.4旋轉的性質

 

習題

 

第4章矩陣的度量與分解

 

4.1行列式與跡

 

4.1.1行列式的遞歸定義

 

4.1.2行列式的性質

 

4.1.3跡的定義和性質

 

4.2特征值和特征向量

 

4.2.1概念和求解

 

4.2.2直觀解釋

 

4.2.3進一步討論

 

4.3特征分解與對角化

 

4.3.1原理和方法

 

4.3.2特征分解的直觀解釋

 

4.4奇異值分解

 

4.4.1從特征值到奇異值

 

4.4.2奇異值分解定理

 

4.4.3奇異值分解的直觀解釋

 

4.4.4奇異值分解的構建

 

4.4.5特征分解與奇異值分解

 

4.5常見的矩陣範數

 

4.5.1元素形式範數

 

4.5.2誘導範數

 

4.6矩陣的低秩近似

 

4.7Cholesky分解

 

習題

 

第5章向量函數的微分

 

5.1一元函數的導數

 

5.1.1導數及其幾何意義

 

5.1.2基本導數公式與求導法則

 

5.1.3泰勒級數

 

5.2多元函數的梯度

 

5.2.1偏導數和梯度

 

5.2.2梯度的加法和乘法法則

 

5.2.3梯度的鏈式法則

 

5.3向量值函數的雅可比矩陣

 

5.4廣義梯度的計算

 

5.4.1鏈式法則應用舉例

 

5.4.2常用的恒等式

 

5.5多層神經網絡中的反向傳播

 

5.6Hessian矩陣

 

5.6.1二階導數與Hessian矩陣

 

5.6.2使用Hessian矩陣判斷極值和鞍點

 

習題

 

第6章矩陣與概率統計

 

6.1概率空間和隨機變量

 

6.1.1從布爾邏輯到概率論 

 

6.1.2概率與隨機變量

 

6.1.3概率論與統計學

 

6.2多維概率分布

 

6.2.1離散型隨機向量的分布

 

6.2.2連續型隨機向量

 

6.2.3離散型分布與連續型分布之比較

 

6.3求和規則、乘積規則和貝葉斯定理

 

6.3.1求和規則

 

6.3.2乘積規則

 

6.3.3貝葉斯定理

 

6.4匯總統計和統計量

 

6.4.1均值和協方差

 

6.4.2經驗均值和經驗協方差

 

6.4.3隨機向量求和與仿射變換

 

6.4.4統計獨立性

 

6.5高斯分布

 

6.5.1高斯分布的定義

 

6.5.2多維高斯分布的邊緣分布和條件分布

 

6.5.3和與線性變換

 

6.6隨機變量的變量替換

 

6.6.1一維隨機變量的變量替換

 

6.6.2多維隨機變量的變量替換

 

習題

 

第7章矩陣與連續優化

 

7.1無約束優化與梯度下降

 

7.1.1常見的損失函數

 

7.1.2梯度下降的基本原理

 

7.1.3利用梯度解線性方程組

 

7.1.4學習率

 

7.1.5帶有動量的梯度下降

 

7.1.6批量梯度下降

 

7.1.7初始值的影響及對策

 

7.2凸集和凸函數

 

7.3約束優化與拉格朗日乘子法

 

7.3.1不等式約束優化

 

7.3.2等式與不等式混合約束優化

 

7.3.3線性規劃及其對偶

 

7.3.4二次規劃及其對偶

 

習題

 

附錄APython實驗

 

A.1實驗環境與工具

 

A.1.1Anaconda安裝配置

 

A.1.2Python環境配置

 

A.1.3項目創建及Python解釋器選擇

 

A.2NumPy基礎實驗

 

A.2.1數組操作

 

A.2.2數值計算

 

A.2.3線性代數

 

A.3Matplotlib繪圖實驗

 

A.3.1基礎繪圖

 

A.3.2圖表美化(添加標題、圖例、標簽，調整顏色、線型)

 

A.3.3多圖繪制

 

A.4PCA的實現與應用

 

A.4.1PCA原理回顧

 

A.4.2PCA實現

 

A.4.3PCA應用實例

 

A.5線性方程組求解

 

A.5.1直接求解 

 

A.5.2梯度下降法

 

A.6矩陣分解實驗

 

A.6.1特征分解

 

A.6.2奇異值分解

 

A.7優化算法實驗

 

A.7.1無約束優化

 

A.7.2約束優化

 

參考文獻