圖表示學習 Graph Representation Learning

威廉·漢密爾頓（William Hamilton）是麥吉爾大學（McGill University）計算機科學系的助理教授，也是加拿大高等研究院（Canadian Institute for Advanced Research, CIFAR）AI 方向的主席、GraphSAGE 的作者。
他專註於圖表示學習及其在計算社會科學和生物學中的應用。
近年來，他在機器學習和網絡科學領域的頂級會議發表了20 多篇關於圖表示學習的論文，並且參與組織了關於該主題的幾次大型研討會，分享了多份重磅教程。
他的工作獲得了多個獎項的認可，其中包括2017 年美國科學院Cozzarelli最佳論文獎和2018 年斯坦福大學計算機科學系Arthur Samuel 最佳博士論文獎等。

AI TIME是2019年由清華大學人工智能研究院張鈸院士和清華大學計算機系唐傑教授、李涓子教授等人聯合發起的圈子。
AI TIME是一個開放、包容的組織，專註於探索AI科學、發揚科學思辨精神。
我們邀請各界人士辯論AI本質，介紹學術前沿、展示研究機構風採，鼓勵所有參與者用辯論的形式，平等、自由、充分地交流，探討人工智能和人類未來之間的矛盾，探索人工智能領域的未來。

第一部分背景介紹
第1 章引言.............................................. ................................................. 2
1.1 什麼是圖.............................................. ............................................ 3
1.2 圖機器學習.............................................. ........................................ 6

第2 章背景與傳統方法........................................... ................................. 13
2.1 圖統計特徵與核方法........................................... .......................... 14
2.2 鄰域重疊檢測............................................. ................................... 23
2.3 圖的拉普拉斯矩陣和圖的譜方法..................................... ............. 32
2.4 面向表示學習.............................................. .................................. 41

第二部分節點嵌入
第3 章鄰域節點重構.......................................... ...................................... 44
3.1 編碼-解碼框架............................................. .................................. 45
3.2 基於因式分解的方法........................................... .......................... 49
3.3 隨機遊走嵌入表示............................................ ............................. 52
3.4 shallow embedding 的局限性............................................ ............. 56

第4 章多關係數據及知識圖譜......................................... ......................... 58
4.1 重建多關係數據............................................. ................................ 59
4.2 損失函數............................................... ......................................... 60
4.3 多關係解碼器............................................. ................................... 64
4.4 解碼器的性能表徵............................................ ............................. 68

第三部分圖神經網絡（GNN）
第5 章圖神經網絡（GNN）模型........................................ ...................... 72
5.1 神經消息傳遞.............................................. .................................. 74
5.2 廣義鄰域聚合............................................. ................................... 80
5.3 廣義的更新方法............................................. ................................ 89
5.4 邊特徵和多元關係GNN ........................................... ..................... 96
5.5 圖池化.............................................. .............................................. 99
5.6 通用的消息傳遞方法............................................ ....................... 102

第6 章圖神經網絡（GNN）的實現....................................... .................. 104
6.1 應用和損失函數............................................. .............................. 104
6.2 效率問題和節點採樣............................................ ....................... 110
6.3 參數共享與正則化............................................ ........................... 112

第7 章圖神經網絡（GNN）的理論動機...................................... ............ 114
7.1 GNN與圖捲積............................................ ................................. 115
7.2 GNN和概率圖模型............................................ ......................... 135
7.3 GNN與圖同構............................................ ................................. 141

第四部分生成圖模型
第8 章傳統圖生成方法........................................... ............................... 158
8.1 傳統方法概述.............................................. ................................ 159
8.2 ERDÖS–RÉNYI 模型............................................. ..................... 159
8.3 隨機塊模型.............................................. .................................... 160
8.4 優先鏈接模型.............................................. ................................ 161
8.5 傳統應用............................................... ....................................... 163

第9 章深度生成模型............................................ .................................. 165
9.1 VAE 方法............................................... ...................................... 166
9.2 對抗方法............................................... ....................................... 176
9.3 自回歸模型.............................................. .................................... 178
9.4 圖生成的評估............................................. ................................. 184
9.5 分子圖生成.............................................. .................................... 185