矩陣力量 (線性代數全彩圖解 + 微課 + Python 編程)

 

 

 

 

緒論 1

 

第1章 不止向量 7

1.1 有數據的地方，必有矩陣 8

1.2 有矩陣的地方，更有向量 10

1.3 有向量的地方，就有幾何 12

1.4 有幾何的地方，皆有空間 17

1.5 有數據的地方，定有統計 20

 

第2章 向量運算 23

2.1 向量：多面手 25

2.2 行向量、列向量 27

2.3 向量長度：模，歐氏距離，L2範數 31

2.4 加減法：對應位置元素分別相加減 35

2.5 標量乘法：向量縮放 36

2.6 向量內積：結果為標量 37

2.7 向量夾角：反餘弦 43

2.8 餘弦相似度和餘弦距離 45

2.9 向量積：結果為向量 47

2.10 逐項積：對應元素分別相乘 50

2.11 張量積：張起網格面 51

 

第3章 向量範數 57

3.1 Lp範數：L2範數的推廣 58

3.2 Lp範數和超橢圓的聯系 61

3.3 L1範數：旋轉正方形 64

3.4 L2範數：正圓 66

3.5 L∞範數：正方形 69

3.6 再談距離度量 71

 

第4章 矩陣 77

4.1 矩陣：一個不平凡的表格 79

4.2 矩陣形狀：每種形狀都有特殊用途 81

4.3 基本運算：加減和標量乘法 85

4.4 廣播原則 86

4.5 矩陣乘法：線性代數的運算核心 88

4.6 兩個視角解剖矩陣乘法 90

4.7 轉置：繞主對角線鏡像 92

4.8 矩陣逆：“相當於”除法運算 94

4.9 跡：主對角元素之和 95

4.10 逐項積：對應元素相乘 97

4.11 行列式：將矩陣映射到標量值 98

 

第5章 矩陣乘法 105

5.1 矩陣乘法：形態豐富多樣 107

5.2 向量和向量 107

5.3 再聊全1列向量 112

5.4 矩陣乘向量：線性方程組 116

5.5 向量乘矩陣乘向量：二次型 120

5.6 方陣乘方陣：矩陣分解 123

5.7 對角陣：批量縮放 124

5.8 置換矩陣：調換元素順序 127

5.9 矩陣乘向量：映射到一維 128

5.10 矩陣乘矩陣：映射到多維 130

5.11 長方陣：奇異值分解、格拉姆矩陣、張量積 133

5.12 愛因斯坦求和約定 136

5.13 矩陣乘法的幾個雷區 138

 

第6章 分塊矩陣 143

6.1 分塊矩陣：橫平豎直切豆腐 145

6.2 矩陣乘法第一視角：標量積展開 149

6.3 矩陣乘法第二視角：外積展開 150

6.4 矩陣乘法更多視角：分塊多樣化 154

6.5 分塊矩陣的逆 160

6.6 克羅內克積：矩陣張量積 160

 

第7章 向量空間 165

7.1 向量空間：從直角坐標系說起 166

7.2 給向量空間塗顏色：RGB色卡 178

7.3 張成空間：線性組合紅、綠、藍三原色 179

7.4 線性無關：紅色和綠色，調不出青色 183

7.5 非正交基底：青色、品紅、黃色 184

7.6 基底轉換：從紅、綠、藍，到青色、品紅、黃色 187

 

第8章 幾何變換 189

8.1 線性變換：線性空間到自身的線性映射 191

8.2 平移：仿射變換，原點變動 195

8.3 縮放：對角陣 196

8.4 旋轉：行列式值為1 200

8.5 鏡像：行列式值為負 205

8.6 投影：降維操作 207

8.7 再談行列式值：幾何視角 208

 

第9章 正交投影 215

9.1 標量投影：結果為標量 217

9.2 向量投影：結果為向量 218

9.3 正交矩陣：一個規範正交基 222

9.4 規範正交基性質 226

9.5 再談鏡像：從投影視角 229

9.6 格拉姆-施密特正交化 231

9.7 投影視角看回歸 233

 

第10章 數據投影 241

10.1 從一個矩陣乘法運算說起 242

10.2 二次投影 + 層層疊加 245

10.3 二特徵數據投影：標準正交基 249

10.4 二特徵數據投影：規範正交基 254

10.5 四特徵數據投影：標準正交基 259

10.6 四特徵數據投影：規範正交基 263

10.7 數據正交化 269

 

第11章 矩陣分解 277

11.1 矩陣分解：類似因式分解 278

11.2 LU分解：上下三角 279

11.3 Cholesky分解：適用於正定矩陣 280

11.4 QR分解：正交化 282

11.5 特徵值分解：刻畫矩陣映射的特徵 286

11.6 奇異值分解：適用於任何實數矩陣 290

 

 

第12章 Cholesky分解 295

 

12.1 Cholesky分解 296

12.2 正定矩陣才可以進行Cholesky分解 297

12.3 幾何角度：開合 299

12.4 幾何變換：縮放 → 開合 302

12.5 推廣到三維空間 305

12.6 從格拉姆矩陣到相似度矩陣 309

 

第13章 特徵值分解 313

 

13.1 幾何角度看特徵值分解 315

13.2 旋轉 → 縮放 → 旋轉 317

13.3 再談行列式值和線性變換 320

13.4 對角化、譜分解 323

13.5 聊聊特徵值 328

13.6 特徵值分解中的復數現象 330

 

第14章 深入特徵值分解 333

 

14.1 方陣開方 334

14.2 矩陣指數：冪級數的推廣 335

14.3 斐波那契數列：求通項式 337

14.4 馬爾科夫過程的平穩狀態 339

14.5 瑞 利商 342

14.6   再談橢圓：特徵值分解 346

 

第15章 奇異值分解 353

15.1 幾何視角：旋轉 → 縮放 → 旋轉 355

15.2 不同類型SVD分解 359

15.3 左奇異向量矩陣U 360

15.4 右奇異向量矩陣V 363

15.5 兩個視角：投影和數據疊加 365

 

第16章 深入奇異值分解 369

16.1 完全型：U為方陣 371

16.2 經濟型：S去掉零矩陣，變方陣 372

16.3 緊湊型：非滿秩 373

16.4 截斷型：近似 374

16.5 數據還原：層層疊加 375

16.6 估計與誤差：截斷型SVD 379

16.7 正交投影：數據正交化 382

 

 

第17章 多元函數微分 387

17.1 偏導：特定方向的變化率 388

17.2 梯度向量：上山方向 392

17.3 法向量：垂直於切平面 396

17.4 方向性微分：函數任意方向的變化率 398

17.5 泰勒展開：一元到多元 402

 

第18章 拉格朗日乘子法 407

18.1 回顧優化問題 408

18.2 等式約束條件 410

18.3 線性等式約束 414

18.4 非線性等式約束 415

18.5 不等式約束 417

18.6 再談特徵值分解：優化視角 420

18.7 再談SVD：優化視角 423

18.8 矩陣範數：矩陣 → 標量，矩陣“大小” 426

18.9 再談數據正交投影：優化視角 428

 

第19章 直線到超平面 437

19.1 切向量：可以用來定義直線 438

19.2 法向量：定義直線、平面、超平面 441

19.3 超平面：一維直線和二維平面的推廣 443

19.4 平面與梯度向量 446

19.5 中垂線：用向量求解析式 451

19.6 用向量計算距離 453

 

第20章 再談圓錐曲線 457

20.1 無處不在的圓錐曲線 459

20.2 正圓：從單位圓到任意正圓 460

20.3 單位圓到旋轉橢圓：縮放 → 旋轉 → 平移 463

20.4 多元高斯分佈：矩陣分解、幾何變換、距離 468

20.5 從單位雙曲線到旋轉雙曲線 474

20.6 切線：構造函數，求梯度向量 476

20.7 法線：法向量垂直於切向量 479

第21章 曲面和正定性 481

21.1 正 定性 483

21.2 幾何視角看正定性 485

21.3 開口朝上拋物面：正定 486

 

 

第22章 數據與統計 501

22.1 統計 + 線性代數：以鳶尾花數據為例 502

22.2 均值：線性代數視角 503

22.3 質心：均值排列成向量 505

22.4 中心化：平移 508

22.5 分類數據：加標簽 510

22.6 方差：均值向量沒有解釋的部分 512

22.7 協方差和相關性系數 514

22.8 協方差矩陣和相關性系數矩陣 517

 

第23章 數據空間 523

23.1 從數據矩陣X說起 524

23.2 向量空間：從SVD分解角度理解 527

23.3 緊湊型SVD分解：剔除零空間 529

23.4 幾何視角說空間 532

23.5 格拉姆矩陣：向量模、夾角餘弦值的集合體 537

23.6 標準差向量：以數據質心為起點 540

23.7 白話說空間：以鳶尾花數據為例 543

 

第24章 數據分解 549

24.1 為什麽要分解矩陣？ 550

24.2 QR分解：獲得正交系 555

24.3 Cholesky分解：找到列向量的坐標 557

24.4 特徵值分解：獲得行空間和零空間 559

24.5 SVD分解：獲得四個空間 562

 

第25章 數據應用 567

25.1 從線性代數到機器學習 568

25.2 從隨機變量的線性變換說起 572

25.3 單方向映射 574

25.4 線性回歸 578

25.5 多方向映射 582

25.6 主成分分析 584