機器學習中的一階與隨機優化方法 First-Order and Stochastic Optimization Methods for Machine Learning

本書對優化算法的理論和研究進展進行了系統的梳理，旨在幫助讀者快速了解該領域的發展脈絡，
掌握必要的基礎知識，進而推進前沿研究工作。
本書首先介紹流行的機器學習模式，對重要的優化理論進行回顧，接著重點討論已廣泛應用於優化的算法，
以及有潛力應用於大規模機器學習和數據分析的算法，包括一階方法、隨機優化方法、
隨機和分佈式方法、非凸隨機優化方法、無投影方法、算子滑動和分散方法等。

譯者序
前言
第1章機器學習模型
1.1 線性回歸
1.2 邏輯回歸
1.3 廣義線性模型
1.3.1 指數分佈族
1.3.2 模型構建
1.4 支持向量機
1.5 正則化、Lasso回歸和嶺回歸
1.6 群體風險最小化
1.7 神經網絡
1.8 練習和註釋
第2章凸優化理論
2.1 凸集
2.1.1 定義和例子
2.1.2 凸集上的投影
2.1.3 分離定理
2.2 凸函數
2.2.1 定義和例子
2.2.2 可微凸函數
2.2.3 不可微凸函數
2.2.4 凸函數的Lipschitz連續性
2.2.5 凸優化的優性條件
2.2.6 表示定理與核
2.3 拉格朗日對偶
2.3.1 拉格朗日函數與對偶性
2.3.2 強對偶性的證明
2.3.3 鞍點
2.3.4 Karush-Kuhn-Tucker條件
2.3.5 對偶支持向量機
2.4 Legendre-Fenchel共軛對偶
2.4.1 凸函數的閉包
2.4.2 共軛函數
2.5 練習和註釋
第3章確定性凸優化
3.1 次梯度下降法
3.1.1 一般非光滑凸問題
3.1.2 非光滑強凸問題
3.1.3 光滑凸問題
3.1.4 光滑強凸問題
3.2 鏡面下降法
3.3 加速梯度下降法
3.4 加速梯度下降法的博弈論解釋
3.5 非光滑問題的光滑方案
3.6 鞍點優化的原始-對偶方法
3.6.1 一般雙線性鞍點問題
3.6.2 光滑雙線性鞍點問題
3.6.3 光滑強凸雙線性鞍點問題
3.6.4 線性約束問題
3.7 乘子交替方向法
3.8 變分不等式的鏡面-鄰近方法
3.8.1 單調變分不等式
3.8.2 廣義單調變分不等式
3.9 加速水平法
3.9.1 非光滑、光滑和弱光滑問題
3.9.2 鞍點問題
3.10 練習和註釋
第4章隨機凸優化
4.1 隨機鏡面下降法
4.1.1 一般非光滑凸函數
4.1.2 光滑凸問題
4.1.3 準確性證書
4.2 隨機加速梯度下降法
4.2.1 無強凸性問題
4.2.2 非光滑強凸問題
4.2.3 光滑強凸問題
4.2.4 準確性證書
4.3 隨機凹凸鞍點問題
4.3.1 通用算法框架
4.3.2 極小極大隨機問題
4.3.3 雙線性矩陣博弈
4.4 隨機加速原始-對偶方法
4.4.1 加速原始-對偶方法
4.4.2 隨機雙線性鞍點問題
4.5 隨機加速鏡面-鄰近方法
4.5.1 算法框架
4.5.2 收斂性分析
4.6 隨機塊鏡面下降方法
4.6.1 非光滑凸優化
4.6.2 凸複合優化
4.7 練習和註釋
第5章凸有限和及分佈式優化
5.1 隨機原始-對偶梯度法
5.1.1 多人共軛空間博弈的重新表述
5.1.2 梯度計算的隨機化
5.1.3 強凸問題的收斂性
5.1.4 隨機化方法的複雜度下界
5.1.5 對非強凸性問題的推廣
5.2 隨機梯度外插法
5.2.1 梯度外插方法
5.2.2 確定性有限和問題
5.2.3 隨機有限和問題
5.2.4 分佈式實現
5.3 降低方差的鏡面下降法
5.3.1 無強凸性的光滑問題
5.3.2 光滑和強凸問題
5.4 降低方差加速梯度下降法
5.4.1 無強凸性的光滑問題
5.4.2 光滑和強凸問題
5.4.3 滿足錯誤界條件的問題
5.5 練習和註釋
第6章非凸優化
6.1 無約束非凸隨機優化法
6.1.1 隨機一階方法
6.1.2 隨機零階方法
6.2 非凸隨機複合優化法
6.2.1 鄰近映射的一些性質
6.2.2 非凸鏡面下降法
6.2.3 非凸隨機鏡面下降法
6.2.4 複合問題的隨機零階方法
6.3 非凸隨機塊鏡面下降法
6.4 非凸隨機加速梯度下降法
6.4.1 非凸加速梯度下降法
6.4.2 隨機加速梯度下降法
6.5 非凸降低方差鏡面下降法
6.5.1 確定性問題的基本求解方案
6.5.2 隨機優化問題的推廣
6.6 隨機化加速鄰近點方法
6.6.1 非凸有限和問題
6.6.2 非凸多塊問題
6.7 練習和註釋
第7章無投影方法
7.1 條件梯度法
7.1.1 經典條件梯度
7.1.2 條件梯度的新變體
7.1.3 複雜度下界
7.2 條件梯度滑動法
7.2.1 確定性條件梯度滑動法
7.2.2 隨機條件梯度滑動法
7.2.3 鞍點問題的推廣
7.3 非凸條件梯度法
7.4 隨機非凸條件梯度
7.4.1 有限和問題的基本求解方案
7.4.2 隨機優化問題的推廣
7.5 隨機非凸條件梯度滑動法
7.5.1 Wolfe間隙與投影梯度
7.5.2 迫使投影梯度減小的無投影法
7.6 練習和註釋
第8章算子滑動和分散優化
8.1 複合優化問題的梯度滑動法
8.1.1 確定性梯度滑動法
8.1.2 隨機梯度滑動法
8.1.3 強凸和結構化的非光滑問題
8.2 加速梯度滑動法
8.2.1 複合光滑優化
8.2.2 複合雙線性鞍點問題
8.3 通信滑動和分散優化
8.3.1 問題公式化
8.3.2 分散通信滑動
8.3.3 隨機分散通信滑動
8.3.4 高概率結果
8.3.5 收斂性分析