分佈式機器學習——交替方向乘子法在機器學習中的應用

雷大江，重慶郵電大學數據科學與大數據技術教授，博士，IET學會會員、ICST學會會員、中國計算機學會會員、兒童醫療大數據智能應用重慶市高校工程研究中心技術委員會委員。
2006年畢業於武漢科技大學計算機應用技術專業，獲工學碩士學位；2012年畢業於重慶大學計算機科學與技術專業，獲工學博士學位。
2014-2015年在挪威奧斯陸大學Simula研究院從事高性能計算博士後研究，2018年獲得重慶市留學歸國人員創新創業項目支持人選稱號。

目錄
第1章引言
1.1大數據對機器學習的挑戰
1.2分佈式優化算法國內外研究現狀
1.3本書研究內容
1.4參考文獻

第2章交替方向乘子法
2.1凸優化
2.1.1凸集
2.1.2凸函數
2.1.3優化問題
2.1.4凸優化問題
2.2對偶
2.2.1拉格朗日對偶函數
2.2.2對偶函數和共軛函數
2.2.3對偶問題
2.2.4鞍點
2.2.5對偶上升法
2.2.6對偶分解性
2.3交替方向乘子法
2.3.1增廣拉格朗日乘子法
2.3.2交替方向乘子法
2.3.3全局變量一致性優化
2.4參考文獻

第3章稀疏回歸
3.1Lasso問題
3.2ADMM求解Lasso問題
3.3Lasso問題的一般求解
3.4Lasso問題的全局一致性求解
3.4.1基於樣本劃分的Lasso問題
3.4.2基於特徵劃分的Lasso問題
3.5參考文獻

第4章Huber回歸
4.1Huber損失在稀疏魯棒性編碼中的應用
4.1.1基於回歸分析的一般分類框架
4.1.2稀疏編碼
4.1.3Huber損失函數
4.2Huber損失的一般化求解
4.3Huber損失的並行求解
4.3.1基於特徵劃分的Huber函數
4.3.2基於樣本劃分的Huber函數
4.4參考文獻

第5章交替方向乘子法在圖像處理中的應用
5.1基於交替方向乘子法的全變差模糊圖像恢復
5.1.1圖像退化模型
5.1.2ADMM算法圖像恢復推導過程
5.2基於交替方向乘子法的遙感圖像融合
5.2.1基於變分框架的圖像融合方法
5.2.2基於增強稀疏結構一致性的遙感圖像融合
5.2.3實驗結果與分析
5.3參考文獻

第6章加權Huber約束稀疏表達的魯棒性算法
6.1Sigmoid權重
6.2加權Huber約束稀疏編碼
6.2.1權重的初始值
6.2.2疊代條件
6.2.3查詢樣本類別判斷
6.3算法魯棒性分析
6.4算法的疊代步驟及其子問題劃分
6.4.1ADMM求解子問題
6.4.2計算複雜度分析
6.4.3收斂性和收斂率分析
6.5加權Huber約束稀疏編碼算法實驗
6.5.1實驗設置
6.5.2弱遮擋的人臉識別
6.5.3強遮擋的人臉識別
6.5.4圖像的重構
6.5.5運行時間
6.5.6參數與識別率
6.5.7實驗結果與分析
6.6本章小結
6.7參考文獻

第7章自適應加權Huber約束稀疏表達的魯棒性算法
7.1自適應權重
7.2自適應加權Huber約束編碼的模型
7.3自適應加權Huber約束稀疏編碼的模型
7.3.1自適應權重更新
7.3.2自適應權重初始值
7.3.3疊代條件
7.3.4查詢樣本分類
7.4算法魯棒性分析
7.5算法的疊代步驟及子問題分析
7.5.1ADMM求解子問題
7.5.2計算複雜度分析
7.5.3收斂性和收斂率分析
7.6自適應加權Huber約束稀疏編碼算法實驗
7.6.1實驗設置
7.6.2弱閉塞的人臉識別
7.6.3強閉塞的人臉識別
7.6.4運行時間
7.6.5參數分析
7.6.6實驗結果與分析
7.7本章小結
7.8參考文獻

第8章極大不相關多元邏輯回歸
8.1引入極大不相關約束的意義
8.2極大不相關多元邏輯回歸算法
8.2.1基於多元邏輯回歸算法的改進
8.2.2求解算法時間複雜度分析
8.3極大不相關多元邏輯回歸算法實驗
8.3.1數據集介紹
8.3.2人工數據集和公開數據集實驗結果
8.3.3極大不相關神經網絡算法實驗
8.4大規模極大不相關多元邏輯回歸算法
8.4.1極大不相關多元邏輯回歸的一致性求解算法
8.4.2極大不相關多元邏輯回歸的共享求解算法
8.4.3求解算法時間複雜度分析
8.5分佈式極大不相關邏輯回歸算法實驗
8.5.1運行環境與數據集介紹
8.5.2一致性求解算法的實驗對比
8.5.3共享求解算法的實驗對比
8.6本章小結
8.7參考文獻

第9章快速稀疏多元邏輯回歸
9.1稀疏多元邏輯回歸串行求解算法
9.1.1疊代重加權最小二乘法
9.1.2快速稀疏多元邏輯回歸算法
9.2快速稀疏多元邏輯回歸算法實驗
9.2.1實驗設置
9.2.2優化算法實驗及分析
9.2.3傳統算法實驗及分析
9.3稀疏多元邏輯回歸併行求解算法
9.3.1多元邏輯回歸的一致性優化求解
9.3.2多元邏輯回歸的共享優化求解
9.3.3求解算法收斂性分析
9.3.4求解算法計算複雜度分析
9.4SPSMLR算法和FPSMLR算法實驗
9.4.1實驗設置
9.4.2樣本劃分實驗及分析
9.4.3特徵劃分實驗及分析
9.4.4大規模算法實驗及分析
9.5本章小結
9.6參考文獻

第10章CoCoA框架下的Lasso回歸分佈式求解
10.1CoCoA框架介紹
10.1.1框架應用的兩種問題形式
10.1.2各節點求解的子問題
10.1.3CoCoA總體計算框架
10.2CoCoA框架下求解Lasso回歸
10.3CoCoA框架下求解Lasso回歸實驗
10.3.1實驗設置
10.3.2實驗結果與分析
10.4本章小結
10.5參考文獻

第11章CoCoA框架下的稀疏多元邏輯回歸分佈式求解
11.1稀疏多元邏輯回歸
11.2稀疏多元邏輯回歸分佈式求解
11.3CoCoA框架下求解稀疏多元邏輯回歸實驗
11.3.1實驗設置
11.3.2實驗結果與分析
11.4本章小結
11.5參考文獻