人工智能安全（第二版）

曾劍平，2006年獲廈門大學博士學位，現為復旦大學計算機科學技術學院副教授、碩士生導師。主要研究方向：大數據安全、人工智能安全、社交媒體分析及應用、主動防禦技術。

 

 

 

 

 

 

 

目錄

第一部分人工智能安全概述

 

第1章人工智能安全觀

 

1.1人工智能及其安全問題的出現

 

1.2人工智能安全觀的基本內容

 

1.3人工智能安全的層次結構

 

1.4人工智能的漏洞與對抗

 

1.5人工智能安全的基本屬性

 

1.6人工智能安全的技術體系

 

1.6.1技術體系組成

 

1.6.2人工智能應用與對抗場景技術

 

1.6.3針對AI模型與數據的攻擊

 

1.6.4AI模型與數據的防禦與治理

 

1.6.5人工智能平臺安全

 

1.7人工智能安全技術的學習方法

 

1.8人工智能安全的相關法律與規範

 

1.9人工智能安全的發展趨勢

 

參考文獻

 

第2章人工智能安全基礎

 

2.1網絡空間安全的主要技術

 

2.1.1攻擊技術

 

2.1.2防禦技術

 

2.2人工智能的主要技術

 

2.2.1學習範式

 

2.2.2預訓練與微調

 

2.3學科交叉關系

 

2.4人工智能安全的數學基礎

 

 

第二部分人工智能應用與對抗場景

 

第3章網絡安全中的AI應用與檢測

 

3.1網絡入侵與檢測

 

3.1.1AI安全的起點

 

3.1.2AI應用的總體情況

 

3.1.3數據集

 

3.1.4數據預處理

 

3.1.5特征工程

 

3.1.6AI模型及其應用開發

 

3.1.7入侵檢測問題與對抗演進

 

3.2SQL註入攻擊與檢測

 

3.2.1概述

 

3.2.2SQL註入方法

 

3.2.3SQL註入檢測與AI安全起點

 

3.2.4SQL語句的特征提取

 

3.2.5AI模型及其應用開發

 

3.3虛假信息檢測

 

3.3.1概述

 

3.3.2虛假信息與AI安全

 

3.3.3基於統計學習的檢測

 

3.3.4基於多任務學習的檢測

 

3.3.5有待人工智能解決的問題

 

參考文獻

 

第4章AIGC的濫用與倫理風險

 

4.1AIGC的簡介

 

4.2AIGC的應用

 

4.3AIGC工具與原理

 

4.3.1AIGC工具

 

4.3.2AIGC技術原理

 

4.4AIGC的濫用場景與風險

 

4.4.1偏見

 

4.4.2歧視

 

4.4.3不良信息

 

4.4.4不實信息

 

4.4.5深度偽造

 

4.4.6侵犯知識產權

 

4.4.7輔助網絡攻擊

 

4.4.8學術誠信與過度依賴

 

4.5AIGC濫用原因

 

4.6大模型註入攻擊

 

第三部分對抗的演進： 攻擊AI模型與數據

 

第5章機器學習系統的攻擊者

 

5.1從垃圾郵件檢測談起

 

5.2機器學習系統的漏洞

 

5.3攻擊者及其目的

 

5.4知識及攻擊者能力

 

5.4.1知識

 

5.4.2攻擊者能力

 

5.5攻擊者的代價與收益

 

5.6攻擊行為與分類

 

5.6.1攻擊行為

 

5.6.2攻擊行為分類

 

 

第6章對抗樣本的理論與方法

 

6.1對抗樣本與方法

 

6.1.1對抗樣本及其存在性

 

6.1.2對抗樣本生成方法概述

 

6.2對抗樣本生成方法

 

6.2.1基於梯度的方法

 

6.2.2基於優化的方法

 

6.2.3ZOO對抗樣本生成

 

6.2.4決策樹的對抗樣本生成

 

6.2.5面向普適擾動的對抗樣本生成

 

6.2.6基於生成對抗網絡的生成方法

 

參考文獻

 

第7章典型的對抗攻擊方法與實例

 

7.1投毒攻擊

 

7.1.1投毒攻擊場景

 

7.1.2投毒攻擊的原理

 

7.1.3基於天池AI的SVM投毒實現

 

7.1.4手寫數字分類器的投毒

 

7.2後門攻擊

 

7.2.1後門攻擊的原理

 

7.2.2後門攻擊的實例

 

7.3逃避攻擊

 

7.3.1逃避攻擊場景

 

7.3.2逃避攻擊的原理

 

7.3.3手寫數字識別的逃避攻擊

 

7.4遷移攻擊

 

7.4.1遷移攻擊的原理

 

7.4.2遷移攻擊的實例

 

7.5自然語言對抗樣本生成

 

7.5.1自然語言對抗攻擊的場景

 

7.5.2文本情感分類的逃避攻擊

 

7.5.3原文本的對抗樣本生成

 

7.5.4偽文本生成

 

7.6口令對抗樣本生成

 

7.6.1PassGAN設計原理

 

7.6.2PassGAN的應用

 

7.6.3基於GPT模型的口令生成

 

參考文獻

 

第8章智能系統的數據隱私攻擊

 

8.1概述

 

8.2機器學習模型的隱私

 

8.3數據隱私攻擊

 

8.3.1外部知識攻擊

 

8.3.2差分攻擊

 

8.4成員推理攻擊

 

8.4.1基本原理

 

8.4.2實例

 

8.5其他類型的隱私推理攻擊

 

8.6大語言模型的數據隱私攻擊

 

8.6.1大模型的訓練

 

8.6.2隱私攻擊

 

 

第9章聚類模型的攻擊

 

9.1聚類攻擊場景

 

9.2聚類算法的攻擊模型

 

9.2.1攻擊者的目標

 

9.2.2攻擊者的知識

 

9.2.3攻擊者的能力

 

9.2.4攻擊方式

 

9.2.5攻擊性能評價

 

9.3聚類算法的攻擊方法

 

9.3.1橋接攻擊

 

9.3.2擴展攻擊

 

9.4天池AI上的聚類攻擊實現

 

9.4.1橋接攻擊

 

9.4.2擴展攻擊

 

參考文獻

 

第四部分對抗的演進： AI的防禦與治理

 

第10章防禦與治理的共性技術

 

10.1防禦與治理技術概況

 

10.2數據層的防禦

 

10.3模型層的防禦

 

10.3.1正則化

 

10.3.2蒸餾網絡

 

10.4算法層的防禦

 

10.4.1對抗訓練

 

10.4.2防禦蒸餾

 

10.4.3算法魯棒性增強

 

10.5機器遺忘學習

 

10.5.1需求與動機

 

10.5.2方法

 

10.5.3評估與驗證

 

10.5.4機器遺忘帶來的防禦挑戰

 

10.6對抗訓練實例

 

 

第11章非平衡數據分類

 

11.1數據非平衡現象與影響

 

11.2非平衡數據分類方法

 

11.2.1數據欠采樣

 

11.2.2數據過采樣

 

11.2.3數據組合采樣

 

11.2.4特征層的不平衡數據分類

 

11.2.5算法層的非平衡數據分類

 

11.3非平衡數據分類方法的實現

 

參考文獻

 

第12章噪聲數據處理

 

12.1噪聲的分類、產生原因與影響

 

12.2噪聲處理的理論與方法

 

12.3基於數據清洗的噪聲過濾與實例

 

12.4主動式噪聲疊代過濾

 

12.5噪聲魯棒模型

 

12.5.1調整錯誤樣本的權重

 

12.5.2損失函數設計

 

參考文獻

 

第13章小樣本學習方法

 

13.1小樣本學習基礎

 

13.1.1小樣本學習的類型

 

13.1.2小樣本學習與其他機器學習的關系

 

13.1.3小樣本學習的PAC理論

 

13.1.4小樣本學習方法體系

 

13.2小樣本的數據增強方法

 

13.3基於模型的小樣本學習

 

13.3.1多任務學習

 

13.3.2嵌入學習

 

13.3.3生成式模型

 

13.4基於算法的小樣本學習

 

13.5小樣本學習的相關資源

 

參考文獻

 

第14章大模型的內容安全保障

 

14.1概述

 

14.2大模型價值對齊

 

14.2.1價值與對齊的解釋

 

14.2.2對齊方法

 

14.3內容安全技術

 

14.4相關數據集

 

 

第15章智能系統的隱私保護

 

15.1概述

 

15.2隱私保護技術基礎

 

15.2.1隱私保護應用場景

 

15.2.2數據脫敏

 

15.2.3匿名化

 

15.2.4差分隱私保護

 

15.2.5同態加密

 

15.3大數據的隱私保護

 

15.3.1關系型數據隱私保護

 

15.3.2位置數據隱私保護

 

15.3.3社交網絡數據隱私保護

 

15.4隱私計算架構

 

15.4.1安全多方計算

 

15.4.2聯邦學習

 

15.5典型應用中的隱私保護

 

15.5.1LBS推薦中的隱私保護

 

15.5.2蘋果手機中的差分隱私

 

參考文獻

 

第16章智能系統的網絡安全防禦策略

 

16.1概述

 

16.2攻擊圖簡介

 

16.2.1攻擊圖的基本概念

 

16.2.2攻擊圖生成方法

 

16.2.3攻擊圖的計算任務

 

16.3基於圖論的方法

 

16.3.1圖的路徑算法

 

16.3.2圖節點排序算法

 

16.4基於貝葉斯網絡的方法

 

16.5基於馬爾可夫理論的方法

 

16.5.1馬爾可夫鏈

 

16.5.2馬爾可夫決策過程

 

16.5.3隱馬爾可夫模型

 

16.5.4部分可觀測馬爾可夫決策過程

 

16.6基於博弈論的方法

 

16.7攻擊圖的發展趨勢

 

參考文獻

 

第五部分人工智能平臺的安全與實驗

 

第17章人工智能平臺的安全

 

17.1機器學習平臺漏洞

 

17.1.1機器學習平臺自身的漏洞

 

17.1.2依賴庫漏洞

 

17.2TensorFlow的模型安全

 

17.2.1TensorFlow的模型機制與使用

 

17.2.2TensorFlow的模型風險與攻擊

 

17.2.3安全措施

 

17.3智能體及其平臺安全

 

17.3.1智能體框架

 

17.3.2針對智能體的攻擊

 

17.3.3智能體的安全技術

 

參考文獻

 

 

第18章人工智能安全實驗

 

18.1實驗案例介紹

 

18.2阿裏雲天池AI學習平臺上的實驗

 

18.3壁仞科技GPU環境下的實驗

 

參考文獻