人工智能線性代數基礎

薛棟，華東理工大學信息科學與工程學院副教授、博士生導師，德國慕尼黑工業大學工學博士，入選上海市高層次青年人才計劃、浦江人才計劃。長期從事人工智能與大數據相關研究，主持多項 重大專項課題、 自然科學基金面上項目、企業科研攻關項目等。常年主講人工智能專業必修課程“人工智能數學基礎”。段兆陽，華東理工大學信息科學與工程學院講師，碩士生導師，美國德州農工大學博士，從事過程系統工程、非線性系統理論與應用研究，承擔博弈論和機器學習相關課程教學工作，主持 重點研發計劃課題和上海市“科技創新行動計劃”揚帆計劃項目，參與多項 和省部級科研項目。王聖強，華東理工大學數學學院副教授、數學與應用數學系副主任，覆旦大學數學科學學院博士，先後獲得第五屆上海高校青年教師教學競賽一等獎、上海市教學能手、校教學新星、校研究生課程 任課教師等榮譽。

第1章 線性代數基礎
1．1 線性代數在人工智能中的作用 002
1．1．1 神經網絡中的矩陣運算 002
1．1．2 數據降維與特征提取中的線性代數 005
1．1．3 推薦系統與圖像處理中的線性代數應用 007
1．2 向量與矩陣 010
1．2．1 向量的定義及其在數據表示中的應用 010
1．2．2 矩陣的定義及其在數據表示中的應用 012
1．2．3 高維數據的矩陣表示與操作 015
1．3 向量空間與線性變換 017
1．3．1 向量空間的定義與幾何意義 017
1．3．2 線性變換的基本概念及其應用 018
1．3．3 數據轉換 020
1．4 向量與矩陣的基本操作 021
1．4．1 使用NumPy庫進行向量與矩陣的加法、乘法運算 022
1．4．2 矩陣轉置與逆矩陣的計算 023
1．4．3 通過矩陣運算模擬單層神經網絡的計算 025
1．5 課後練習 027
第2章 矩陣運算與線性方程組
2．1 矩陣的基本運算 030
2．1．1 矩陣加法與標量乘法 030
2．1．2 矩陣乘法與計算覆雜度 032
2．1．3 矩陣的轉置與對稱矩陣 033
2．1．4 矩陣分塊及其在大規模數據處理中的應用 036
2．2 線性方程組的矩陣表示 038
2．2．1 線性方程組的矩陣形式 039
2．2．2 向量表示的線性方程組 040
2．2．3 線性回歸問題的矩陣表示 042
2．2．4 機器學習中的最小二乘法與線性方程組求解 042
2．3 高斯消元法求解線性方程組 043
2．3．1 高斯消元法介紹及其Python實現 044
2．3．2 高斯消元法處理大規模數據矩陣的技巧 046
2．3．3 使用高斯消元法求解機器學習模型參數 047
2．4 使用矩陣求解線性方程組 048
2．4．1 線性回歸中的最優解求解 048
2．4．2 圖像處理中的矩陣求逆 049
2．4．3 比較不同求解方法（LU分解與QR分解）的效果與性能 051
2．4．4 在推薦系統中使用矩陣分解進行用戶偏好預測 053
2．5 課後練習 055
第3章 特征值與特征向量
3．1 特征值與特征向量的定義與幾何意義 058
3．1．1 特征值與特征向量的數學定義 058
3．1．2 特征向量的幾何意義：線性變換中的不變方向 060
3．1．3 特征值的幾何意義：線性變換中的比例縮放 062
3．1．4 通過特征向量理解線性代數中的變換 064
3．2 特征值分解與矩陣對角化 066
3．2．1 特征值分解的定義與步驟 066
3．2．2 實對稱矩陣的性質與特征值分解 069
3．2．3 矩陣對角化的過程與應用 071
3．3 特征值與特征向量的計算與應用 073
3．3．1 應用實例：使用特征值與特征向量分析物體的振動模式 073
3．3．2 應用實例：特征值分解在PageRank算法中的應用 074
3．3．3 應用實例：使用特征值分解進行數據降維與簡化模型 075
3．3．4 應用實例：在圖像處理中的特征值計算 077
3．4 課後練習 080
第4章 奇異值分解
4．1 奇異值分解的基本概念 082
4．1．1 奇異值分解的定義、步驟與實例 082
4．1．2 奇異值分解中的矩陣分解 084
4．1．3 奇異值分解與矩陣恢覆：如何重構原始矩陣 084
4．1．4 奇異值分解在高維數據簡化中的應用 085
4．2 奇異值分解的幾何意義 087
4．2．1 奇異值分解的幾何解釋：數據的變換與投影 087
4．2．2 如何通過奇異值分解將數據映射到低維空間 087
4．2．3 奇異值分解在高維數據降維中的作用 088
4．2．4 基於奇異值分解的數據集結構分析 089
4．3 奇異值分解的計算 090
4．3．1 奇異值分解的Python實現 090
4．3．2 處理大規模數據的奇異值分解優化技巧 091
4．4 課後練習 094
第5章 向量空間與正交化
5．1 向量的基與維數 096
5．1．1 向量空間的定義與基本性質 096
5．1．2 基的定義與計算方法 098
5．1．3 向量空間的維數與維數計算 100
5．2 正交化與QR分解 101
5．2．1 正交化的定義與幾何解釋 101
5．2．2 QR分解的定義與步驟 102
5．2．3 正交化與QR分解在計算中的作用 104
5．2．4 正交化與特征值分解的關系 105
5．3 施密特正交化與QR分解 107
5．3．1 施密特正交化的Python實現 107
5．3．2 QR分解的Python實現與應用 109
5．3．3 數據預處理中的正交化與QR分解 110
5．3．4 大規模數據QR分解的性能優化方法 112
5．4 課後練習 115
第6章 準備工作：數據預處理
6．1 數據預處理的數學意義 117
6．1．1 數據預處理的流程與目標 117
6．1．2 線性代數與數據質量的關系 118
6．2 數據清洗的線性代數方法 119
6．2．1 缺失值處理 119
6．2．2 異常值檢測 122
6．3 數據轉換與標準化 125
6．3．1 標準化與歸一化 125
6．3．2 非線性變換的線性化 129
6．4 特征選擇和特征提取 132
6．4．1 特征選擇和特征提取的基本概念 132
6．4．2 特征向量與特征矩陣 135
6．4．3 特征選擇 136
6．4．4 特征提取 139
6．4．5 特征構造 141
6．5 課後練習 143
第7章 網絡模型中的線性代數
7．1 人工智能中的網絡模型 146
7．1．1 機器學習和深度學習介紹 146
7．1．2 線性代數在機器學習和深度學習中的應用 147
7．2 機器學習與線性代數 148
7．2．1 線性回歸算法 148
7．2．2 邏輯回歸算法 155
7．2．3 SVM算法 158
7．2．4 決策樹算法 160
7．2．5 隨機森林算法 163
7．2．6 K近鄰算法 165
7．3 線性代數在深度學習中的應用 168
7．3．1 前饋神經網絡與線性代數 168
7．3．2 卷積神經網絡與線性代數 171
7．3．3 循環神經網絡與線性代數 174
7．3．4 長短期記憶網絡與線性代數 177
7．3．5 生成對抗網絡與線性代數 180
7．4 課後練習 185
第8章 模型優化中的線性代數
8．1 優化問題數學建模 188
8．1．1 優化目標與損失函數 188
8．1．2 參數空間的線性代數表示 191
8．2 梯度下降法家族 194
8．2．1 梯度下降法的數學基礎 194
8．2．2 梯度下降法的算法步驟 195
8．2．3 線性代數在梯度計算中的應用 196
8．2．4 隨機梯度下降 198
8．2．5 動量法 201
8．2．6 Nesterov加速梯度 206
8．2．7 自適應學習率算法 210
8．3 高階優化方法 215
8．3．1 牛頓法 215
8．3．2 擬牛頓法 218
8．3．3 自適應優化算法 221
8．3．4 二階優化的計算挑戰與近似方法 224
8．4 課後練習 227
第9章 強化學習與線性代數：從數學原理到應用實踐
9．1 強化學習基礎 229
9．1．1 強化學習的核心特點與數學形式 229
9．1．2 強化學習與其他機器學習方法的區別 229
9．1．3 線性代數在強化學習中的作用 230
9．2 狀態和動作的數學表示 231
9．2．1 狀態向量與動作空間的張量表示 231
9．2．2 歐氏空間與離散狀態編碼的線性代數方法 234
9．3 價值函數與策略的線性代數分析 238
9．3．1 價值函數的矩陣疊代公式 238
9．3．2 策略梯度法的雅可比矩陣與梯度計算 241
9．3．3 策略表示與線性代數 243
9．4 馬爾可夫決策過程與線性代數 245
9．4．1 MDP的核心思想 245
9．4．2 MDP的矩陣形式化定義 246
9．4．3 貝爾曼方程的矩陣運算推導 249
9．4．4 狀態價值函數的線性方程組解法 253
9．5 經典強化學習算法中的線性代數 254
9．5．1 蒙特卡洛方法：基於狀態-動作矩陣的統計估計 254
9．5．2 對蒙特卡洛預測策略的改進 257
9．5．3 時序差分學習 262
9．5．4 Q-learning與貝爾曼最優方程的矩陣收斂性分析 267
9．6 課後練習 271
第10章 自然語言處理與線性代數：從數學原理到應用實踐
10．1 自然語言處理基礎與核心任務 273
10．1．1 自然語言處理的基本概念 273
10．1．2 線性代數在自然語言處理中的作用 273
10．2 詞嵌入的數學本質與應用實踐 277
10．2．1 詞嵌入的基本概念與數學本質 277
10．2．2 Word2Vec中的矩陣分解 277
10．2．3 GloVe模型的協方差矩陣解析 280
10．2．4 使用Gensim庫訓練領域專用詞向量 284
10．3 表示學習與線性代數 291
10．3．1 表示學習介紹與常用方法 291
10．3．2 線性代數的應用 292
10．3．3 潛在語義分析與線性代數 295
10．3．4 神經網絡中的嵌入層 302
10．4 語言模型的線性代數視角 308
10．4．1 語言模型基礎 308
10．4．2 線性代數在語言模型中的應用 310
10．4．3 n-gram模型的概率矩陣構建 312
10．5 Transformer架構的矩陣運算革命 316
10．5．1 Transformer架構的基本概念與組成 316
10．5．2 線性代數在Transformer中的應用 319
10．5．3 多頭註意力的並行計算實現 323
10．6 課後練習 327
第11章 計算機視覺與線性代數：從數學原理到應用實踐
11．1 計算機視覺的數學基礎 329
11．1．1 計算機視覺的核心任務與行業應用 329
11．1．2 線性代數在計算機視覺中的作用 329
11．2 圖像處理的線性代數內核 330
11．2．1 圖像數字化表示 330
11．2．2 空域與頻域變換 332
11．2．3 幾何變換與圖像變換的矩陣表示 334
11．2．4 梯度計算與邊緣檢測 337
11．2．5 圖像增強與線性代數 339
11．2．6 圖像分割 343
11．3 特征工程的矩陣方法 345
11．3．1 傳統特征提取方法與線性代數 345
11．3．2 深度學習特征提取方法與線性代數 353
11．4 視覺模型中的線性代數架構 357
11．4．1 CNN的矩陣化實現 357
11．4．2 Transformer視覺模型 361
11．4．3 基於生成對抗網絡的圖像處理 366
11．5 目標檢測與分割的矩陣優化 370
11．5．1 新形式下的目標檢測方法 370
11．5．2 目標分割技術的矩陣表達 373
11．6 課後練習 377
第12章 推薦系統與線性代數：從數學原理到應用實踐
12．1 推薦系統基礎理論 379
12．1．1 推薦系統的分類 379
12．1．2 推薦系統的數學定義與形式化表示 380
12．1．3 將推薦問題轉化為線性代數優化問題 380
12．2 經典推薦算法中的線性代數 381
12．2．1 基於內容的推薦 381
12．2．2 基於矩陣分解的協同過濾推薦 383
12．2．3 基於標簽的推薦 387
12．3 張量分解與高階推薦系統 390
12．3．1 三維用戶-物品-上下文張量表示 391
12．3．2 CP分解與Tucker分解在推薦系統中的應用 394
12．4 深度學習推薦模型的線性代數視角 397
12．4．1 嵌入向量的空間理論 397
12．4．2 神經協同過濾的混合模型 400
12．4．3 圖神經網絡推薦系統 405
12．5 課後練習 410