對抗機器學習：機器學習系統中的攻擊和防禦

葉夫根尼沃羅貝基克（Yevgeniy Vorobeychik）
美國範德堡大學的計算機科學、計算機工程和生物醫學信息學助理教授。此前，他是桑迪亞國家實驗室的首席研究員（Principal Research Scientist）。2008至2010年，他在賓夕法尼亞大學計算機與信息科學系擔任博士後研究員。他在密歇根大學獲得了計算機科學與工程博士（2008）和碩士（2004）學位，在西北大學獲得了計算機工程學士學位。他的工作重點是安全和隱私的博弈論建模、對抗機器學習、算法與行為博弈論和激勵設計、優化、基於代理的建模、覆雜系統、網絡科學和流行病控制。Vorobeychik博士於2017年獲得NSF CAREER獎，並受邀參加了IJCAI-16早期職業焦點演講。他被提名2008年ACM博士論文獎，並獲得了2008年IFAAMAS傑出論文獎的榮譽提名。

穆拉特坎塔爾喬格盧（Murat Kantarcioglu）
美國得克薩斯大學達拉斯分校的計算機科學教授和UTD數據安全與隱私實驗室主任。目前，他還是哈佛大學數據隱私實驗室的訪問學者。他擁有中東技術大學計算機工程學士學位、普渡大學計算機科學碩士和博士學位。葉夫根尼沃羅貝基克（Yevgeniy Vorobeychik）
美國範德堡大學的計算機科學、計算機工程和生物醫學信息學助理教授。此前，他是桑迪亞國家實驗室的首席研究員（Principal Research Scientist）。2008至2010年，他在賓夕法尼亞大學計算機與信息科學系擔任博士後研究員。他在密歇根大學獲得了計算機科學與工程博士（2008）和碩士（2004）學位，在西北大學獲得了計算機工程學士學位。他的工作重點是安全和隱私的博弈論建模、對抗機器學習、算法與行為博弈論和激勵設計、優化、基於代理的建模、覆雜系統、網絡科學和流行病控制。Vorobeychik博士於2017年獲得NSF CAREER獎，並受邀參加了IJCAI-16早期職業焦點演講。他被提名2008年ACM博士論文獎，並獲得了2008年IFAAMAS傑出論文獎的榮譽提名。

穆拉特坎塔爾喬格盧（Murat Kantarcioglu）
美國得克薩斯大學達拉斯分校的計算機科學教授和UTD數據安全與隱私實驗室主任。目前，他還是哈佛大學數據隱私實驗室的訪問學者。他擁有中東技術大學計算機工程學士學位、普渡大學計算機科學碩士和博士學位。
Kantarcioglu博士的研究重點是創造能夠有效地從任何數據中提取有用的信息而不犧牲隱私或安全的技術。他的研究獲得了NSF、AFOSR、ONR、NSA和NIH的經費支持。他已經發表了超過175篇同行評審論文，並被《波士頓環球報》《ABC新聞》等媒體報道過，獲得了三項最佳論文獎。除此之外，他還獲得了其他各種獎項，包括NSF CAREER獎、普渡CERIAS鉆石學術卓越獎、AMIA（美國醫學信息學會）2014年Homer R. Warner獎和IEEE ISI（情報與安全信息學）2017年技術成就獎（由IEEE SMC和IEEE ITS協會聯合頒發，以表彰他在數據安全和隱私方面的研究成就）。他是ACM的傑出科學家。

◆譯者簡介◆
王坤峰
北京化工大學信息科學與技術學院教授。他於2003年7月獲得北京航空航天大學材料科學與工程專業學士學位，於2008年7月獲得中國科學院研究生院控制理論與控制工程專業博士學位。2008年7月至2019年7月，他在中國科學院自動化研究所工作，歷任助理研究員、副研究員，其中2015年12月至2017年1月，在美國喬治亞理工學院做訪問學者。2019年8月，他調入北京化工大學，任教授。
他的研究方向包括計算機視覺、機器學習、智能交通和自動駕駛。他主持和參加了國家自然科學基金、國家重點研發計劃、863、973、中科院院地合作項目、國家電網公司科技項目等科研項目20多項，在國內外期刊和會議上發表學術論文70多篇，其中SCI論文20多篇。他獲授權國家發明專利17項，獲得2011年中國自動化學會技術發明一等獎、2018年中國自動化學會科學技術進步特等獎。現為IEEE Senior Member、中國自動化學會高級會員、中國自動化學會平行智能專委會副主任、模式識別與機器智能專委會委員、混合智能專委會委員、中國計算機學會計算機視覺專委會委員、中國圖象圖形學學會機器視覺專委會委員、視覺大數據專委會委員。他目前擔任國際期刊《IEEE Transactions on Intelligent Transportation Systems》編委，曾經擔任《Neurocomputing》專刊和《自動化學報》專刊客座編委。

王雨桐
中國科學院大學人工智能學院和中國科學院自動化研究所直博研究生。她於2016年獲得哈爾濱工程大學自動化專業學士學位。她的研究方向是對抗深度學習、深度學習的安全性與可解釋性，尤其專註於圖像分類和目標檢測任務中的對抗攻擊和防禦。她已經在《IEEE Transactions on Vehicular Technology》《Neurocomputing》《IEEE Intelligent Vehicles Symposium》《模式識別與人工智能》以及中國自動化大會等國內外期刊和會議上發表了多篇論文。

譯者序
前言
致謝
作者簡介
譯者簡介
第1章　引言1
第2章　機器學習預備知識5
　2.1　監督學習5
2.1.1　回歸學習6
2.1.2　分類學習7
2.1.3　PAC可學習性9
2.1.4　對抗環境下的監督學習9
　2.2　無監督學習10
2.2.1　聚類11
2.2.2　主成分分析11
2.2.3　矩陣填充12
2.2.4　對抗環境下的無監督學習13
　2.3　強化學習15
2.3.1　對抗環境下的強化學習17
　2.4　參考文獻註釋17
第3章　對機器學習的攻擊類型19
　3.1　攻擊時機20
　3.2　攻擊者可以利用的信息22
　3.3　攻擊目標23
　3.4　參考文獻註釋24
第4章　決策時攻擊26
　4.1　對機器學習模型的規避攻擊示例26
4.1.1　對異常檢測的攻擊：多態混合27
4.1.2　對PDF惡意軟件分類器的攻擊28
　4.2　決策時攻擊的建模30
　4.3　白盒決策時攻擊31
4.3.1　對二元分類器的攻擊：對抗性分類器規避31
4.3.2　對多類分類器的決策時攻擊38
4.3.3　對異常檢測器的決策時攻擊40
4.3.4　對聚類模型的決策時攻擊40
4.3.5　對回歸模型的決策時攻擊41
4.3.6　對強化學習的決策時攻擊44
　4.4　黑盒決策時攻擊45
4.4.1　對黑盒攻擊的分類法46
4.4.2　建模攻擊者信息獲取48
4.4.3　使用近似模型的攻擊50
　4.5　參考文獻註釋51
第5章　決策時攻擊的防禦53
　5.1　使監督學習對決策時攻擊更堅固53
　5.2　最優規避魯棒性分類56
5.2.1　最優規避魯棒的稀疏SVM56
5.2.2　應對自由範圍攻擊的規避魯棒SVM60
5.2.3　應對受限攻擊的規避魯棒SVM62
5.2.4　無限制特徵空間上的規避魯棒分類63
5.2.5　對抗缺失特徵的魯棒性64
　5.3　使分類器對決策時攻擊近似堅固66
5.3.1　鬆弛方法66
5.3.2　通用防禦：疊代再訓練68
　5.4　通過特徵級保護的規避魯棒性69
　5.5　決策隨機化70
5.5.1　模型70
5.5.2　最優隨機化的分類操作72
　5.6　規避魯棒的回歸74
　5.7　參考文獻註釋75
第6章　數據投毒攻擊77
　6.1　建模投毒攻擊78
　6.2　對二元分類的投毒攻擊79
6.2.1　標簽翻轉攻擊79
6.2.2　對核SVM的中毒數據插入攻擊81
　6.3　對無監督學習的投毒攻擊84
6.3.1　對聚類的投毒攻擊84
6.3.2　對異常檢測的投毒攻擊86
　6.4　對矩陣填充的投毒攻擊87
6.4.1　攻擊模型87
6.4.2　交替最小化的攻擊89
6.4.3　核範數最小化的攻擊91
6.4.4　模仿普通用戶行為92
　6.5　投毒攻擊的通用框架94
　6.6　黑盒投毒攻擊96
　6.7　參考文獻註釋98
第7章　數據投毒的防禦100
　7.1　通過數據二次採樣的魯棒學習100
　7.2　通過離群點去除的魯棒學習101
　7.3　通過修剪優化的魯棒學習104
　7.4　魯棒的矩陣分解107
7.4.1　無噪子空間恢覆107
7.4.2　處理噪聲108
7.4.3　高效的魯棒子空間恢覆109
　7.5　修剪優化問題的高效算法110
　7.6　參考文獻註釋111
第8章　深度學習的攻擊和防禦113
　8.1　神經網絡模型114
　8.2　對深度神經網絡的攻擊：對抗樣本115
8.2.1　l2範數攻擊116
8.2.2　l範數攻擊119
8.2.3　l0範數攻擊121
8.2.4　物理世界中的攻擊122
8.2.5　黑盒攻擊123
　8.3　使深度學習對對抗樣本魯棒123
8.3.1　魯棒優化124
8.3.2　再訓練127
8.3.3　蒸餾127
　8.4　參考文獻註釋128
第9章　未來之路131
　9.1　超出魯棒優化的範圍131
　9.2　不完全信息132
　9.3　預測的置信度133
　9.4　隨機化133
　9.5　多個學習器134
　9.6　模型和驗證134
參考文獻136
索引146