視覺：對人類如何表示和處理視覺信息的計算研究

本書研究了人類對視覺信息的表示和處理，並對視覺計算處理過程提出了全面的計算理論。全書立足於電腦科學的進展，是跨學科交叉研究的經典教科書，並對多個學科的研究都有深刻啟發作用。特別值得一提的是，在近年深度學習的熱潮之中，瞭解掌握本書介紹的視覺計算理論對於在人工智能和電腦視覺領域內開展進一步探索是至關重要的。

作者：David Courtnay Marr是計算神經科學領域的創始人之一，曾任麻省理工學院心理學教授。 Shimon Ullman是位於以色列雷霍沃特的魏茨曼科學研究所的計算機科學Samy和Ruth Cohn講席教授。 Tomaso Poggio是麻省理工學院腦和認知科學系的Eugene McDermott講席教授。 Ullman和Poggio都曾在麻省理工學院與David Marr共事。

譯者：吳佳俊，斯坦福大學計算機科學系助理教授，研究方向是計算機視覺、機器學習和計算認知科學。加入斯坦福大學之前，曾是谷歌研究院的訪問研究員，並分別在清華大學和麻省理工學院獲得了學士和博士學位。他的研究曾獲ACM博士學位論文榮譽提名獎、AAAI/ACM SIGAI博士學位論文獎、麻省理工學院George M. Sprowls人工智能與決策博士學位論文獎，以及2020年三星人工智能年度研究人員獎。

Ⅰ部分 引言和哲學基礎
總述........................................................................................................................... 3
１章 哲學原理和方法.......................................................................................... 7
1.1 背景知識 ...................................................................................................... 7
1.2 理解複雜的信息處理系統......................................................................... 16
表示和描述 ................................................................................................ 16
處理............................................................................................................ 17
信息處理的三個層次 ................................................................................ 19
計算理論的重要性 .................................................................................... 21
J. J. Gibson 的方法..................................................................................... 22
1.3 視覺的表示框架 ........................................................................................ 24
視覺的目的 ................................................................................................ 25
高級視覺 .................................................................................................... 26
目標與可行性 ............................................................................................ 28
Ⅱ部分 視覺
2 章 圖像的表示............................................................................................... 33
2.1 早期視覺的物理背景................................................................................. 33
圖像的表示 ................................................................................................ 35
基本物理假設 ............................................................................................ 35
圖像表示的一般性質 ................................................................................ 40
2.2 過零點和原初草圖..................................................................................... 42
過零點........................................................................................................ 42
生物學的意義 ............................................................................................ 48
原初草圖 .................................................................................................... 54
哲學私語 .................................................................................................... 59
2.3 圖像的空間排布 ........................................................................................ 62
2.4 光源和透明度 ............................................................................................ 68
其他光源效果 ............................................................................................ 70
透明度........................................................................................................ 70
結論............................................................................................................ 71
2.5 聚合過程和全初草圖................................................................................. 71
主要論點 .................................................................................................... 75
紋理辨別的計算方法及其心理物理學意義............................................. 76
3 章 從圖像到表面 ........................................................................................... 78
3.1 人類視覺處理的模塊化組織..................................................................... 78
3.2 圖像的處理、約束和可用表示................................................................. 81
3.3 立體視覺 .................................................................................................... 87
測量立體視差 ............................................................................................ 87
從視差中計算距離和表面朝向 .............................................................. 121
3.4 方向選擇性 .............................................................................................. 124
視覺運動引言 .......................................................................................... 124
利用方向選擇性來分離獨立運動的表面............................................... 136
漸進.......................................................................................................... 141
3.5 似動 .......................................................................................................... 141
為什麼要研究似動 .................................................................................. 142
把問題一分為二 ...................................................................................... 143
對應問題 .................................................................................................. 146
從運動中恢復結構 .................................................................................. 158
光流.......................................................................................................... 164
3.6 形狀輪廓 .................................................................................................. 166
一些例子 .................................................................................................. 167
遮擋輪廓 .................................................................................................. 168
表面朝向的不連續 .................................................................................. 173
表面輪廓 .................................................................................................. 175
3.7 表面紋理 .................................................................................................. 180
分離紋理元素 .......................................................................................... 180
小結.......................................................................................................... 184
3.8 明暗和光度立體視覺............................................................................... 184
梯度空間 .................................................................................................. 185
表面光照、表面反和圖像強度 .......................................................... 188
反率圖 .................................................................................................. 189
從明暗中恢復形狀 .................................................................................. 191
光度立體視覺 .......................................................................................... 192
3.9 明度、亮度和色彩................................................................................... 194
Helson-Judd 方法..................................................................................... 195
關於亮度和色彩的視網膜—皮層理論................................................... 196
同時對比的重要性的物理依據 .............................................................. 200
對強度非線性變化的表層起源的假設................................................... 202
測量三色圖像的意義 .............................................................................. 203
本方法小結 .............................................................................................. 204
3.10 本章小結 ................................................................................................ 205
4 章 可見表面的直接表示............................................................................... 208
4.1 引言 .......................................................................................................... 208
4.2 圖像分割 .................................................................................................. 209
4.3 對問題的重新建模................................................................................... 211
4.4 需要表示的信息 ...................................................................................... 213
4.5 2.5 維草圖的一般形式............................................................................. 215
4.6 表示的可能形式 ...................................................................................... 216
4.7 可能的坐標系 .......................................................................................... 220
4.8 插值、延續性和不連續性....................................................................... 221
4.9 插值問題的計算 ...................................................................................... 224
不連續...................................................................................................... 224
插值方法 .................................................................................................. 226
4.10 其他內部計算 ........................................................................................ 228
5 章 用於識別的形狀表示............................................................................... 230
5.1 引言 .......................................................................................................... 230
5.2 形狀表示引起的問題............................................................................... 231
評判形狀表示的有效性的標準 .............................................................. 232
形狀表示的設計選擇 .............................................................................. 233
5.3 三維模型表示 .......................................................................................... 235
自然坐標系 .............................................................................................. 236
基於坐標軸的描述 .................................................................................. 236
三維模型表示的模塊化組織 .................................................................. 237
三維模型的坐標系 .................................................................................. 239
5.4 自然推廣 .................................................................................................. 241
5.5 推導和使用三維模型表示....................................................................... 244
三維模型描述的推導 .............................................................................. 244
以觀察者為中心的坐標系和以物體為中心的坐標系的關係............... 247
三維模型的索引和目錄 .......................................................................... 247
推導和識別的交互 .................................................................................. 250
5.6 心理學的考量 .......................................................................................... 253
6 章 總結........................................................................................................ 256
Ⅲ部分 尾聲
7 章 對計算方法的辯護 .................................................................................. 261
7.1 引言 .......................................................................................................... 261
7.2 一段對話 .................................................................................................. 261
原書 2 版後記 Marr 的《視覺》和計算神經科學............................................. 284
中文版後記 從 Marr 的《視覺》到人類智能問題................................................ 288
術語表................................................................................................................... 292
參考文獻 ............................................................................................................... 298