機器學習中的交替方向乘子法

使用機器學習技術解決實際應用問題涉及模型的建立、訓練及評估等步驟。最佳化演算法常被用於訓練模型的參數，是機器學習的重要組成部分。機器學習模型的訓練可以建模成無約束優化問題或帶約束優化問題，約束可以為模型增加更多的先驗知識。基於梯度的演算法（例如加速梯度法、隨機梯度法等）是求解無約束最佳化問題的常用方法，而交替方向乘子法（ADMM）則是求解帶約束最佳化問題的強大工具。 《BR》 本書概述了機器學習中ADMM的新進展。書中全面介紹了各種情形下的ADMM，包括確定性和隨機性的演算法、集中式和分散式的演算法，以及求解凸問題和非凸問題的演算法，深入介紹了各個演算法的核心思想，並為演算法的收斂性和收斂速度提供了詳細的證明。