最優化模型與方法
李振華、魏明強
- 出版商: 清華大學
- 出版日期: 2025-12-01
- 售價: $354
- 語言: 簡體中文
- 頁數: 223
- ISBN: 7302704767
- ISBN-13: 9787302704768
-
相關分類:
Machine Learning
下單後立即進貨 (約4週~6週)
商品描述
"本書系統介紹**化的基本理論、建模方法與常用算法, 旨在為人工智能、機器學習、數據 科學等領域的學習者提供紮實的優化基礎. 內容涵蓋優化的基本概念、**性條件、凸優化、無 約束與約束優化等基礎知識, 並重點討論機器學習中的優化建模與算法, 如主成分分析、支持向 量機、隨機優化和零階優化算法等. 書中通過豐富的例題講解, 結合理論與實際應用, 幫助讀者 掌握從模型建立到算法實現的全面技能. 本書適合人工智能、計算機科學、數學優化、運籌學、數據科學等專業的本科生、研究生及 科研人員. 它不僅能幫助學生打下堅實的理論基礎, 還能幫助從業者在實際問題中選擇合適的優 化方法與算法進行有效求解, 是一本理論與實踐兼具的優化學習和參考書. "
作者簡介
魏明強，南京航空航天大學教授、博士生導師、腦機智能技術教育部重點實驗室副主任，國家自然科學基金優秀青年基金獲得者，江蘇省計算機學會青年科技獎和航空航天學會青年科學家獎獲得者，第14屆中國計算機圖形學大會最佳論文一等獎獲得者。博士畢業於香港中文大學並獲最佳博士畢業論文獎（2014）。目前為多個期刊的編委/客座編輯，如ACM TOMM、IEEETMM、計算機輔助設計與圖形學學報。近年來，圍繞大飛機三維掃描與測量、幾何深度學習和三維視覺等研究方向，主持國家級和省部級項目數十項；在CFF A類期刊和會議上發表學術論文150余篇，如IEEE TPAMI、TVCG、TIP、SIGGRAPH，IJCV、CVPR、ICCV，相關技術用在國家重點型號工程。
目錄大綱
目錄
第1 引言 1
1.1 最優化為什麼重要 1
1.2 最優化問題示例 1
1.3 優化的基本概念與思想 2
1.3.1 優化問題的一般形式 2
1.3.2 最優化的基本概念 3
1.3.3 疊代算法與收斂速率 4
1.3.4 優化的基本思想 7
第2 章基礎知識 8
2.1 線性代數 8
2.1.1 線性空間與線性映射 8
2.1.2 內積與範數 12
2.1.3 線性方程組與矩陣 18
2.1.4 矩陣的基本運算與性質 19
2.1.5 矩陣的特征分解 21
2.2 多元微積分基礎 28
2.2.1 多元可微函數 28
2.2.2 可微映射與微分的鏈式法則 32
2.2.3 矩陣函數的梯度 34
2.2.4 微分中值定理與Taylor 公式 37
2.2.5 切向量與切空間 39
第2 章練習 41
第3 章凸集與凸函數 43
3.1 凸集 43
3.2 凸函數 46
3.2.1 凸集與凸函數的關聯 48
3.2.2 凸函數的性質 49
3.2.3 凸函數的判定條件 50
3.2.4 強凸函數及其性質 55
第3 章練習 56
第4 章最優性條件 58
4.1 極小值點的存在性條件 58
4.2 無約束優化的最優性條件 58
4.2.1 一階必要條件 59
4.2.2 二階最優性條件 60
4.2.3 不可微函數的最優性條件 62
4.3 等式約束優化的最優性條件 63
4.3.1 切空間 64
4.3.2 拉格朗日乘子與一階條件 65
4.3.3 二階條件 68
4.4 一般約束優化的最優性條件 72
4.4.1 可行方向 73
4.4.2 KKT 條件 75
4.4.3 二階最優性條件 78
4.5 對偶理論 80
4.5.1 拉格朗日對偶 80
4.5.2 約束規範條件與強對偶 82
4.5.3 凸規劃問題 84
第4 章練習 85
第5 章機器學習中的優化問題與模型 88
5.1 機器學習的基本概念 88
5.2 參數估計 89
5.2.1 最大似然原理 90
5.2.2 最大後驗估計 94
5.3 線性模型 94
5.3.1 線性回歸 94
5.3.2 引入正則化 95
5.3.3 從最大似然估計到最小二乘問題 96
5.3.4 線性分類器 98
5.4 數據降維與主成分分析 99
5.4.1 投影 99
5.4.2 總體近似誤差最小化 101
5.4.3 k-維特征子空間 103
5.4.4 冪疊代方法 107
5.4.5 矩陣近似 108
5.5 支持向量機 111
5.5.1 線性支持向量機 111
5.5.2 最優性條件與對偶 112
5.5.3 非線性特征映射與核函數 114
5.5.4 軟邊距SVM 114
5.6 神經網絡 116
5.6.1 層次化特征學習 116
5.6.2 計算圖與自動微分 118
第5 章練習 120
第6 章無約束優化算法 122
6.1 線搜索 122
6.1.1 非精確線搜索準則 123
6.1.2 線搜索方法 125
6.1.3 線搜索算法的全局收斂性 127
6.2 梯度下降法 130
6.2.1 最速下降方向 130
6.2.2 梯度法在二次函數上的收斂速率 131
6.2.3 梯度下降法的收斂性分析 134
6.3 牛頓法 142
6.3.1 非線性方程的零點 142
6.3.2 牛頓法相關概念 143
6.3.3 牛頓法的收斂性分析 146
6.3.4 修正牛頓法 149
6.4 共軛梯度法 150
6.4.1 共軛方向 151
6.4.2 子空間擴展定理 152
6.4.3 共軛梯度法 154
6.4.4 非線性共軛梯度法 157
6.4.5 共軛梯度法的性質 157
6.5 擬牛頓法 159
6.5.1 截線法 159
6.5.2 擬牛頓法的推導 160
6.5.3 擬牛頓法的性質和收斂性 163
6.5.4 非單調下降步長：BB 方法 165
6.5.5 有限存儲的L-BFGS 166
6.6 信賴域方法 169
6.6.1 信賴域 169
6.6.2 信賴域子問題的求解 169
6.6.3 信賴域半徑的確定 171
6.7 非線性最小二乘問題算法 171
6.7.1 高斯-牛頓法 172
6.7.2 LMF 方法 173
第6 章練習 174
第7 章約束優化算法 177
7.1 罰函數法 177
7.1.1 外點罰函數法 177
7.1.2 內點罰函數法 181
7.2 增廣拉格朗日函數法 182
7.2.1 等式約束的增廣拉格朗日函數法 182
7.2.2 不等式約束的增廣拉格朗日函數法 183
7.3 投影梯度法 185
7.3.1 投影梯度法的收斂性 187
7.3.2 向標準單純形投影 190
第7 章練習 193
第8 章機器學習中的優化方法 194
8.1 隨機優化方法 194
8.1.1 隨機梯度下降 195
8.1.2 自適應優化方法 198
8.2 隨機優化中的方差縮減 200
8.3 近端梯度法 206
8.4 Nesterov 加速梯度法 209
8.5 坐標下降法 211
8.5.1 隨機坐標下降法 211
8.5.2 分塊坐標下降法 213
8.6 交替方向乘子法 215
8.7 零階優化方法 217
8.7.1 高斯平滑與梯度近似 217
8.7.2 演化策略 220
參考文獻 224
