圖像畫質算法與底層視覺技術

第1章 畫質算法與底層視覺概述 1
1.1 畫質算法的主要任務 1
1.1.1 畫質算法定義及其主要類別 1
1.1.2 畫質問題的核心：退化 3
1.2 基於深度學習的底層視覺技術 4
1.2.1 深度學習與神經網絡 4
1.2.2 底層視覺任務的特點 5
第2章 畫質處理的基礎知識 7
2.1 光照與成像 7
2.1.1 視覺與光學成像 7
2.1.2 Bayer陣列與去馬賽克 15
2.1.3 相機圖像信號處理的基本流程 20
2.2 色彩與顏色空間 25
2.2.1 人眼色覺與色度圖 25
2.2.2 常見的顏色空間 28
2.3 圖像的影調調整方法 32
2.3.1 直方圖與對比度 32
2.3.2 對比度拉伸與直方圖均衡 35
2.3.3 對比度增強算法的改進策略 39
2.4 圖像常見的空間操作 42
2.4.1 基本圖像變換：仿射變換與透視變換 42
2.4.2 光流與幀間對齊 50
2.5 圖像的頻域分析與圖像金字塔 54
2.5.1 傅裏葉變換與頻域分析 54
2.5.2 自然圖像的頻域統計特性 60
2.5.3 圖像金字塔：高斯金字塔與拉普拉斯金字塔 61
第3章 圖像與視頻去噪算法 66
3.1 噪聲的來源與數學模型 66
3.1.1 圖像噪聲的物理來源 66
3.1.2 噪聲的數學模型 68
3.2 去噪算法的難點與策略 76
3.2.1 去噪算法的難點 76
3.2.2 盲去噪與非盲去噪 77
3.2.3 高斯去噪與真實噪聲去噪 77
3.2.4 去噪算法的評價指標 78
3.3 傳統去噪算法 84
3.3.1 空域濾波：均值、高斯與中值濾波器 84
3.3.2 非局部均值算法 87
3.3.3 小波變換去噪算法 90
3.3.4 雙邊濾波與導向濾波 96
3.3.5 BM3D濾波算法 104
3.4 深度學習去噪算法 106
3.4.1 深度殘差去噪網絡DnCNN和FFDNet 106
3.4.2 噪聲估計網絡去噪：CBDNet 115
3.4.3 小波變換與神經網絡的結合：MWCNN 119
3.4.4 視頻去噪：DVDNet和FastDVDNet 125
3.4.5 基於Transformer的去噪方法：IPT與SwinIR 132
3.4.6 自監督去噪算法：Noise2Noise、Noise2Void與DIP 138
3.4.7 Raw域去噪策略與算法：Unprocess與CycleISP 142
第4章 圖像與視頻超分辨率 145
4.1 超分辨率任務概述 146
4.1.1 分辨率與超分辨率任務 146
4.1.2 超分辨率的任務設定與特點 147
4.1.3 超分辨率的評價指標 150
4.2 超分辨率的傳統算法 156
4.2.1 上採樣插值算法與圖像銳化處理 156
4.2.2 基於自相似性的超分辨率 162
4.2.3 基於稀疏編碼的超分辨率 164
4.3 經典深度學習超分辨率算法 166
4.3.1 神經網絡超分辨率開端：SRCNN和FSRCNN 167
4.3.2 無參的高效上採樣：ESPCN 171
4.3.3 無BN層的殘差網絡：EDSR 173
4.3.4 殘差稠密網絡 176
4.3.5 針對視覺畫質的優化：SRGAN與ESRGAN 178
4.3.6 註意力機制超分辨率網絡：RCAN 183
4.3.7 盲超分辨率中的退化估計：ZSSR與KernelGAN 187
4.4 真實世界的超分辨率模型 189
4.4.1 復雜退化模擬：BSRGAN與Real-ESRGAN 189
4.4.2 圖像域遷移：CycleGAN類網絡與無監督超分辨率 193
4.4.3 擴散模型的真實世界超分辨率：StableSR 196
4.5 超分辨率模型的輕量化 199
4.5.1 多分支信息蒸餾：IMDN與RFDN 199
4.5.2 重參數化策略：ECBSR 206
4.5.3 消除特徵冗餘：GhostSR 214
4.5.4 單層極輕量化模型：edgeSR 217
4.6 視頻超分辨率模型簡介 221
4.6.1 視頻超分辨率的特點 221
4.6.2 BasicVSR、BasicVSR++與RealBasicVSR 223
4.7 超分辨率模型的優化策略 227
4.7.1 基於分頻分區域處理的模型設計 227
4.7.2 針對細節紋理的恢復策略 228
4.7.3 可控可解釋的畫質恢復與超分辨率 231
第5章 圖像去霧 235
5.1 圖像去霧任務概述 235
5.1.1 有霧圖像的形成與影響 235
5.1.2 有霧圖像的退化：大氣散射模型 236
5.1.3 去霧算法的主要思路 237
5.2 基於物理模型的去霧算法 238
5.2.1 基於反照系數分解的Fattal去霧算法 238
5.2.2 暗通道先驗去霧算法 243
5.2.3 顏色衰減先驗去霧算法 248
5.3 深度學習去霧算法 255
5.3.1 端到端的透射圖估計：DehazeNet 255
5.3.2 輕量級去霧網絡模型：AOD-Net 260
5.3.3 基於GAN的去霧模型：Dehaze cGAN和Cycle-Dehaze 262
5.3.4 金字塔稠密連接網絡：DCPDN 264
5.3.5 特徵融合註意力去霧模型：FFA-Net 265
第6章 圖像高動態範圍 277
6.1 圖像HDR任務簡介 277
6.1.1 動態範圍的概念 277
6.1.2 HDR任務分類與關鍵問題 279
6.2 傳統HDR相關算法 280
6.2.1 多曝融合算法 280
6.2.2 局部拉普拉斯濾波算法 285
6.2.3 Reinhard攝影色調重建算法 295
6.2.4 快速雙邊濾波色調映射算法 301
6.3 基於神經網絡模型的HDR算法 306
6.3.1 網絡模型的訓練目標：MEF-SSIM 306
6.3.2 端到端多曝融合算法：DeepFuse 310
6.3.3 多曝權重的網絡計算：MEF-Net 313
6.3.4 註意力機制HDR網絡：AHDRNet 317
6.3.5 單圖動態範圍擴展：ExpandNet 327
第7章 圖像合成與圖像和諧化 331
7.1 圖像合成任務簡介 331
7.2 經典圖像合成算法 332
7.2.1 alpha通道混合算法 332
7.2.2 多尺度融合：拉普拉斯金字塔融合 334
7.2.3 梯度域的無縫融合：泊松融合 337
7.3 深度學習圖像合成與圖像和諧化 343
7.3.1 空間分離註意力：S2AM模型 344
7.3.2 域驗證的和諧化：DoveNet 348
7.3.3 背景引導的域轉換：BargainNet 354
7.3.4 前景到背景的風格遷移：RainNet 357
第8章 圖像增強與圖像修飾 360
8.1 圖像增強任務概述 360
8.2 傳統低光增強算法 361
8.2.1 基於反色去霧的低光增強算法 361
8.2.2 多尺度Retinex算法 364
8.3 神經網絡模型的增強與顏色調整 369
8.3.1 Retinex理論的模型實現：RetinexNet 370
8.3.2 雙邊實時增強算法：HDRNet 374
8.3.3 無參考圖的低光增強：Zero-DCE 376
8.3.4 可控的修圖模型：CSRNet 380
8.3.5 3D LUT類模型：圖像自適應3D LUT和NILUT 383
8.3.6 色域擴展：GamutNet和GamutMLP 388