最優化與機器學習

王祥豐 華東師範大學計算機科學與技術學院/數學科學學院教授，入選上海市青年科技啟明星，擔任上海市運籌學會副理事長、中國運籌學會算法軟件與應用分會常務理事等。主要研究方向為智能體（最優化、強化學習、大語言模型驅動智能體）及應用等。獲中國工業與應用數學學會應用數學落地成果認證、中國運籌學會青年科技獎提名獎、IEEE信號處理學會最佳論文獎、華為雲技術合作優秀合作夥伴獎、上海開源創新卓越成果獎等。

第1章 機器學習中的 化問題
1.1 為什麼學習 化
1.2 機器學習中的 化問題
1.2.1 監督學習
1.2.2 無監督學習
1.2.3 深度學習
1.2.4 強化學習
1.3 本章小結
第2章 化基礎理論
2.1 化問題基本形式
2.2 拉格朗日對偶問題
2.3 性條件與KKT條件
2.4 應用案例
2.4.1 Water-filling問題
2.4.2 小二乘問題
2.5 本章小結
2.6 習題
第3章 梯度下降類方法
3.1 為什麼需要利用梯度信息
3.2 梯度下降法
3.3 梯度下降法收斂性分析
3.4 梯度類方法的一般形式
3.5 應用案例
3.5.1 小二乘問題
3.5.2 邏輯回歸問題
3.6 本章小結
3.7 習題
第4章 鄰近梯度法及其擴展
4.1 鄰近算子
4.2 鄰近梯度
4.3 鄰近梯度法
4.4 廣義鄰近梯度法
4.5 Nesterov加速方法
4.6 應用案例
4.6.1 Lasso問題
4.6.2 l1-正則邏輯回歸問題
4.7 本章小結
4.8 習題
第5章 牛頓法和BFGS方法
5.1 牛頓法
5.2 BFGS方法
5.3 有限內存的BFGS方法
5.4 本章小結
5.5 習題
第6章 塊坐標下降法
6.1 塊坐標下降法基本架構
6.2 子問題 新機制
6.3 塊坐標選擇機制
6.4 系列塊坐標下降法匯總
6.5 應用案例
本書全面探討了機器學 習中的 化理論、方法與 實踐，特別是在人工智能顛 覆性發展的背景下，包括但 不限於監督學習、無監督學 習、深度學習及強化學習等 的應用。本書詳細介紹了 優性條件、KKT條件、拉格 朗日對偶等核心 化理論 ，探討了梯度下降法、鄰近 梯度法、牛頓法、擬牛頓方 法（BFGS方法）、塊坐標 下降法、隨機梯度類方法、 增廣拉格朗日方法、交替方 向乘子法、雙層規劃等經典 化方法， 介紹了機 器學習與 化深度融合的 學習優化方法。通過本 書的學習，讀者將能夠全面 理解機器學習中 化問題 的建模和求解計算，及其在 實際問題中的應用，為後續 的機器學習研究和實踐奠定 堅實的基礎。 在機器學習領域， 化方法不僅是實現模型學習 的關鍵技術，也是提高模型 性能、防止過擬合和增強泛 化能力的基石。本書通過豐 富的理論分析和實例演示， 使讀者能深入理解 化方 法在機器學習中的核心作用 ，並為解決實際問題提供有 力的工具。 本書適合作為高等院校 計算機、運籌學、計算數學 、大數據、統計學等相關專 業的教材，是一本適合廣大 人工智能愛好者的 讀物 。