計算機視覺

魯繼文，清華大學長聘副教授，博士生導師，自動化系副主任，國家傑出青年科學基金獲得者，IEEE Fellow，IAPR Fellow，國際期刊Pattern Recognition Letters主編。主要研究方向包括計算機視覺、模式識別、智能機器人，發表PAMI/CVPR/ICCV/ECCV論文160余篇，獲授權國家發明專利50余項，主持國家重點研發計劃項目1項和國家自然科學基金重點項目2項，獲國家級教學成果獎二等獎1項、北京市高等教育教學成果一等獎1項、和中國電子學會自然科學一等獎1項。曾/現任IEEE T-IP、T-CSVT、T-BIOM等10多個國內外期刊編委，ACCV2026、FG2023、ICME2022、VCIP2022等國際會議大會主席/程序主席，中國自動化學會專家咨詢工作委員會副主任，模式識別與機器智能專委會常務委員，中國計算機學會計算機視覺專委會常務委員，中國人工智能學會模式識別專委會常務委員。

目錄

第1章緒論

/



1.1基本概念/

1.2發展歷史/

1.3應用舉例/

1.4本書概述/

第2章視覺信息獲取

/



2.1射影幾何與變換/

2.1.1二維射影幾何與變換/

2.1.2三維射影幾何與變換/

2.2攝像機模型/

2.2.1有限攝像機/

2.2.2一般射影攝像機/

2.2.3無窮遠攝像機/

2.3光度測定學的圖像形成/

2.3.1照明/

2.3.2反射與陰影/

2.3.3光學/

2.4深度圖像與點雲的獲取/

2.4.1深度相機/

2.4.2激光雷達/

思考題/

第3章圖像視頻處理

/



3.1局部圖像處理算子/

3.1.1形態學變換/

3.1.2線性濾波器/

3.1.3圖像銳化與模糊/

3.1.4距離變換/

3.2全局圖像處理算子/

3.2.1傅裏葉變換/

3.2.2圖像插值方法/

3.2.3圖像幾何變換/

3.2.4圖像色彩空間變換/

3.2.5直方圖均衡化/

3.3典型圖像增廣方法/

3.3.1隨機仿射變換/

3.3.2隨機明度/色相/飽和度變換/

3.3.3隨機裁剪與拼接/

思考題/

第4章視覺特征提取

/



4.1點與塊特征提取/

4.1.1自相關函數/

4.1.2自適應非最大抑制/

4.1.3尺度不變特征變換/

4.1.4梯度位置方向直方圖(GLOH)/

4.1.5局部二值描述子/

4.2邊緣特征提取/

4.2.1邊緣提取算子/

4.2.2邊緣連接問題/

4.2.3應用舉例： 車道線檢測/

4.3形狀特征提取/

4.3.1霍夫變換/

4.3.2消失點檢測/

4.3.3圓的檢測/

思考題/

第5章視覺特征配準

/



5.1傳統特征匹配/

5.1.1匹配距離/

5.1.2匹配策略/

5.1.3匹配評價準則/

5.2傳統幾何配準/

5.2.1傳統幾何配準方法/

5.2.2傳統幾何配準優化方法/

5.2.3傳統幾何配準評價指標/

5.2.4傳統幾何配準改進思路/

5.2.5應用舉例： 殘缺人臉識別/

5.3深度學習配準/

5.3.1基於圖像的深度學習配準/

5.3.2基於點雲的深度學習配準/

5.3.3基於多模態的深度學習配準/

5.4光流估計/

5.4.1LucasKanade光流法/

5.4.2代價體積/

5.4.3基於深度學習的光流估計/

5.5場景流估計/

5.5.1基於圖像的場景流估計/

5.5.2基於點雲的場景流估計/

思考題/

第6章三維場景重建

/



6.1由運動到結構/

6.1.1對極幾何約束/

6.1.2本質矩陣估計與分解/

6.1.3三角測量/

6.1.4PnP問題與求解方法/

6.2稠密場景重建/

6.2.1基於傳統幾何的稠密重建方法/

6.2.2基於深度學習的稠密重建方法/

6.3深度估計/

6.3.1單目深度估計/

6.3.2多視角深度估計/

6.3.3環視深度估計/

6.4神經輻射場/

6.4.1從“場”的概念開始/

6.4.2圖形學基本概念/

6.4.3神經輻射場和新視角合成/

6.4.4神經輻射場和表面重建/

6.4.5神經輻射場的其他進展/

思考題/

第7章視覺目標識別

/



7.1視覺識別概述/

7.1.1問題定義/

7.1.2系統概述/

7.2傳統識別方法/

7.2.1特征提取方法/

7.2.2典型分類方法/

7.3基於卷積神經網絡的目標識別/

7.3.1卷積神經網絡/

7.3.2卷積神經網絡的衍化/

7.3.3殘差網絡——ResNet/

7.3.4深度神經網絡的現實與挑戰/

7.4基於自註意力網絡的目標識別/

7.4.1自註意力機制/

7.4.2視覺自註意力網絡/

7.5基於視覺語言模型的目標識別/

思考題/

第8章視覺語義分割

/



8.1視覺語義分割任務介紹/

8.1.1語義分割/

8.1.2實例分割/

8.1.3全景分割/

8.2傳統分割模型/

8.2.1基於閾值的方法/

8.2.2基於區域的分割方法/

8.2.3基於邊緣的分割方法/

8.2.4基於聚類的分割方法/

8.3多模態分割模型：  二維圖像分割/

8.3.1發展脈絡/

8.3.2經典方法：  FCN和UNet/

8.3.3創新與發展：  網絡結構與算法技術/

8.4多模態分割模型：  時序視頻分割/

8.4.1關鍵科學問題/

8.4.2經典模型方法/

8.5多模態分割模型：  三維點雲分割/

8.5.1關鍵科學問題/

8.5.2經典模型方法/

8.6訓練方法：  半監督分割/

8.6.1半監督訓練範式/

8.6.2半監督分割模型/

8.7訓練方法：  無監督分割/

8.7.1全過程無監督方法/

8.7.2無監督領域自適應方法/

8.8前沿研究：  跨模態分割/

8.8.1指代分割/

8.8.2開放詞匯分割/

思考題/

第9章視覺目標檢測

/



9.1目標檢測任務定義/

9.2傳統視覺檢測方法簡介/

9.2.1“維奧拉瓊斯”檢測器/

9.2.2梯度直方圖檢測器/

9.2.3基於可偏移部件的檢測模型/

9.2.4基於霍夫投票的檢測模型/

9.3基於深度學習的檢測方法/

9.3.1基於深度學習的二維圖像檢測/

9.3.2基於深度學習的三維點雲檢測/

9.3.3基於深度學習的環視圖像檢測/

9.4多模態融合方法/

9.4.1基於投影的多模態對齊方法/

9.4.2基於註意力機制的多模態對齊方法/

9.5其他新興目標檢測相關課題/

9.5.1旋轉目標檢測/

9.5.2顯著性目標檢測/

思考題/

第10章視覺目標跟蹤

/



10.1視覺目標跟蹤簡介/

10.1.1視覺目標跟蹤研究內容/

10.1.2視覺目標跟蹤研究分類/

10.2經典視覺目標跟蹤方法/

10.2.1跟蹤目標的表示方法/

10.2.2確定性目標跟蹤方法/

10.2.3非確定性目標跟蹤方法/

10.3基於深度學習的視覺目標跟蹤方法/

10.3.1深度相關濾波器跟蹤/

10.3.2基於分類的深度跟蹤器/

10.3.3雙路網絡跟蹤算法/

10.3.4基於梯度優化的深度跟蹤方法/

10.3.5基於Transformer的深度跟蹤方法/

10.4視覺目標跟蹤的常用數據集/

10.4.1OTB100/

10.4.2VOT/

10.4.3NFS/

10.4.4LaSOT/

思考題/

第11章視覺內容檢索

/



11.1視覺內容檢索任務介紹/

11.2傳統視覺內容檢索方法/

11.2.1背景與意義/

11.2.2基於文本的圖像檢索/

11.2.3基於內容的圖像檢索/

11.2.4基於內容的圖像檢索技術/

11.2.5近似最近鄰搜索方法/

11.2.6小結/

11.3基於深度學習的視覺內容檢索方法/

11.3.1基於深度度量學習的圖像檢索方法/

11.3.2基於深度哈希表示的圖像檢索方法/

11.3.3小結/

思考題/

第12章視覺內容生成

/



12.1生成對抗網絡/

12.1.1基本原理/

12.1.2變體模型/

12.2變分自編碼器/

12.2.1基本原理/

12.2.2變體模型/

12.3自回歸模型/

12.3.1基本原理/

12.3.2變體模型/

12.4基於流的生成模型/

12.4.1歸一化流模型/

12.4.2實值非體積保留模型/

12.4.3生成流模型/

12.5去噪擴散模型/

12.6多模態生成模型/

思考題/

第13章計算機視覺前沿

/



13.1大模型背景知識/

13.1.1深度學習模型發展趨勢/

13.1.2大模型優勢/

13.2代表性大模型/

13.2.1語言大模型/

13.2.2視覺大模型/

13.2.3多模態大模型/

13.3大模型預訓練/

13.3.1雙向編碼視覺表示模型/

13.3.2掩膜自編碼器/

13.4大模型的應用/

13.4.1具身智能/

13.4.2數字人/

13.4.3自動駕駛/

思考題/

參考文獻

/

