多目標貝葉斯優化——面向大模型的超參調優理論

徐華，博士，2003年畢業於清華大學計算機科學與技術系，現為清華大學計算機科學與技術系長聘副教授，博士生導師。從事多模態智能信息處理、智能優化和共融機器人智能控制等研究工作。擔任愛思唯爾（Elsevier）開放期刊Intelligent Systems with Applications首任主編，權威期刊Expert Systems with Applications副主編。完成國家科技重大專項課題3項，國家自然科學基金項目4項，國家973項目二級課題2項，國家863項目（課題）5項，國際500強企業（寶潔、西門子、安捷倫等）合作項目13項。目前已在本專業領域權威國際期刊和AAAI、ACL、ACMMM等頂級會議上發表學術論文100餘篇。獲得國家科技進步獎二等獎1項（集體獎），北京市科學技術獎一等獎1項，北京市科學技術獎二等獎1項（集體獎），北京市科學技術獎三等獎1項，重慶市科技進步獎三等獎1項，中國物流與採購聯合會科技發明獎一等獎1項，中國物流與採購聯合會科學技術獎一等獎1項。作為主講教師，主講清華大學全校性課程“數據挖掘：方法與應用”“工業數據挖掘與分析”“因特網產品設計”等課程。獨立編寫專著和教材5本，其中《演化機器學習》是國內首部演化機器學習領域的學術專著；《面向共融機器人的自然交互——人機對話意圖理解》是國內首部共融機器人自然交互領域的學術專著；《數據挖掘：方法與應用》和《數據挖掘：方法與應用——應用案例》已經被國內眾多高校選用為配套教材，並獲得清華大學優秀教材（2020年）二等獎。

目錄

 

 

第1章概述1

1.1研究背景1

1.2昂貴的多目標優化問題3

1.3研究現狀分析5

1.3.1低維多目標貝葉斯優化方法5

1.3.2高維多目標貝葉斯優化方法10

1.4本書的主要研究內容12

1.5本書的結構安排14

第2章背景知識15

2.1基本概念15

2.2貝葉斯優化16

2.3高斯過程18

2.3.1均值函數和核函數選擇19

2.3.2超參數選擇20

2.4獲取函數21

2.4.1期望改進22

2.4.2知識梯度23

2.4.3熵搜索和預測熵搜索27

2.4.4多步最優獲取函數28

2.5標準合成的多目標測試問題29

2.6多目標優化方法的評價指標30

2.7本章小結33

第3章研究綜述34

3.1綜述部分的總體結構34

3.2相關研究工作34

3.2.1高維優化34

3.2.2組合優化37

3.2.3噪聲和魯棒優化38

3.2.4昂貴的約束優化41

3.2.5多目標優化43

3.2.6多任務優化46

3.2.7多保真度優化49

3.2.8遷移學習/元學習50

3.2.9並行/批次貝葉斯優化52

3.3本章小結53

目錄  多目標貝葉斯優化——面向大模型的超參調優理論〖2〗〖2〗 〖1〗 第4章基於自適應採樣的批量多目標貝葉斯優化方法54

4.1引言54

4.2ParEGO簡介與局限性分析55

4.3基於自適應採樣的批量多目標貝葉斯優化的研究方法56

4.3.1算法框架57

4.3.2初始化58

4.3.3函數評估與目標函數聚合58

4.3.4獲取函數58

4.3.5自適應批量採樣60

4.3.6高斯模型及更新62

4.4實驗63

4.4.1實驗設置63

4.4.2標準合成測試集上的對比結果65

4.4.3採樣策略對算法性能的影響74

4.5神經網絡超參調優任務案例分析77

4.5.1問題描述78

4.5.2實驗結果與分析78

4.6本章小結81

第5章基於塊坐標更新的高維多目標貝葉斯優化方法82

5.1引言82

5.2基於塊坐標更新的高維多目標貝葉斯優化的研究方法83

5.2.1算法框架83

5.2.2初始化84

5.2.3函數評估與目標函數聚合85

5.2.4塊坐標更新87

5.2.5貪心獲取函數89

5.2.6高斯模型及候選解推薦90

5.3實驗91

5.3.1實驗設置91

5.3.2標準合成測試集上的對比結果92

5.3.3塊坐標更新對決策空間降維的影響100

5.3.4貪心獲取函數對平衡收斂性與多樣性的影響103

5.3.5塊大小d對算法性能的影響106

5.3.6上下文向量對算法性能的影響108

5.4本章小結109

第6章基於可加高斯結構的高維多目標貝葉斯優化方法111

6.1引言111

6.2ADDGPUCB簡介與局限性分析112

6.3基於可加高斯結構的高維多目標貝葉斯優化的研究方法114

6.3.1算法框架114

6.3.2初始化115

6.3.3函數評估與目標函數聚合116

6.3.4決策空間劃分學習116

6.3.5可加高斯模型117

6.3.6可加雙目標獲取函數和候選解推薦118

6.3.7模型更新119

6.4實驗120

6.4.1實驗設置120

6.4.2標準合成測試集上的對比結果121

6.4.3可加雙目標獲取函數對算法性能的影響125

6.5本章小結127

第7章基於變量交互分析的高維多目標貝葉斯優化方法128

7.1引言128

7.2基於變量交互分析的高維多目標貝葉斯優化的研究方法129

7.2.1算法框架129

7.2.2初始化與函數評估131

7.2.3可分多目標問題重定義131

7.2.4決策空間劃分學習131

7.2.5多目標可加高斯模型133

7.2.6候選解推薦134

7.2.7模型更新135

7.3實驗135

7.3.1實驗設置135

7.3.2標準合成測試集上的對比結果136

7.3.3獲取函數對算法性能的影響137

7.4本章小結139

第8章智能交通領域優化問題案例分析140

8.1問題描述140

8.1.1汽車側面碰撞問題140

8.1.2帶有偏好信息的汽車駕駛室設計問題141

8.2實驗結果與分析142

8.2.1汽車側面碰撞問題的結果分析143

8.2.2帶有偏好信息的汽車駕駛室設計問題的結果分析143

8.3本章小結145

第9章未來研究工作展望146

9.1分佈式貝葉斯優化146

9.2聯邦貝葉斯優化147

9.3動態優化147

9.4異構評估148

9.5算法公平性148

9.6非平穩優化149

9.7負遷移150

第10章全書總結151

參考文獻153

附錄178

英文對照表178

圖索引180

表索引182