基于卷积神经网络的图像盲超分辨之计算机研究

然而大部分图像采集设备的解析力因为体积、成本等因素导致设备采集的原始图像质量受到限制。衍射现象限制了光学传感器单位面积的像素数量，而设备对便携的需求限制了光学传感器的体积与镜头的解析、变焦能力；设备的成本问题影响了镜头通光量与传感器对噪声的控制能力。在图像采集过程中，对焦不准、快门速度过慢等因素则会导致采集的图像出现模糊，极大影响了图像的视觉效果。同时，在传播过程中的数字编解码会使得图像数据出现一定程度的损失，导致图像质量出现不同程度的下降。因此人们不断探索数字图像优化算法，对采集的图像进行复原优化，从而提升图像质量，提供更好的视觉效果。

图像超分辨率（Super-resolution，SR）是数字图像复原任务的一种，是指将给定的清晰度较低、细节较少的低分辨率图像（Low-resolution，LR）或图像序列，通过数字图像处理算法转化为高质量、细节丰富的高分辨率图像（High-resolution，HR）。经过算法处理后的 HR 图像具有清晰的边缘、丰富的纹理的同时，能在整体结构上与 LR 图像保持一致。从而在不影响图像内容的情况下，让人们对于图像的感官感受获得了极大提升。
........................

1.2 国内外研究现状
由于图像超分辨问题的解不唯一，导致超分辨问题成为病态问题。大多算法通过先验知识对超分辨问题的解空间进行约束。在传统的图像超分辨算法中，我-们可以根据对待图像先验知识的方式将算法分为四种[2]：预测模型、基于边缘模型、基于统计的方法和基于字典学习的方法；其中预测模型中基于插值的算法，如最近邻插值（Nearest）、双线性插值（Bilinear）、Bicubic 和 Lanczos 算法，通过对LR 中相邻像素值进行加权平均来获得 HR 的对应像素。然而生成图像由于局部相似性而缺少锐利边缘所需要的较大梯度，导致 HR 缺少高频细节信息，视觉上过于平滑。IP[3] 方法利用 HR 通过预定义下采样模型迭代生成 LR，通过生成图与真实的 LR 之间的差异对 HR 进行补充修正。由于生成的 LR 和 HR 在线性下采样下有最好匹配，因此边缘对比度比双三次插值结果有所增强。基于图像边缘信息的方法[4] 通过边缘先验学习到梯度轮廓参数，用来重建 HR 图像。此类方法生成的图像在较大边缘处表现比较锐利，但仍然无法处理如纹理等的高频细节信息。基于统计类方法[5]，通过图像重尾梯度分布预测 HR 图像。在字典学习方法中，Freeman等方法[6–13] 使用 LR/HR 图像对做字典，通过最近邻方法找到高分辨率图像中的对应块来重建 HR。Chang et al[14] 在搜索方法上使用流形嵌入的方法替代了最近邻。一些方法通过探索图像内部相似性对解空间进行约束[15,16]. 随后出现了如核回归、随机森林和 ANR[17]、A+[18] 等方法，这些方法在映射函数的准确率或速度方面有所增强。

近年来深度学习技术由于具有强大的特征学习能力，在计算机视觉任务中展现出了极大优势。随着硬件并行计算能力提升、Re LU 等激活函数和大量数据集的出现，卷积神经网络（Convolutional Neural Network, CNN）在图像分类、目标检测、人脸识别和行人检测等方面迅速超越了传统算法，取得了重大成功。
..............................

第 2 章 基于合成退化图像的图像盲超分辨

2.1 图像退化模型及参数设定
本章首先对 LR 图像退化过程的关键因素进行建模。通过结合 Bicubic 下采样方式、图像模糊和噪声三个退化因素，我们将 LR 图像的退化过程表示为公式2-1所示：

退化可以提高算法对真实场景的处理效果。
在模型中的模糊核设置方面，本文使用了图像处理领域广泛使用的各向同性高斯模糊核。对于各向同性高斯模糊核，在 2,3,4 倍超分辨倍率下，模糊核宽度范围设置为 [0.2,2]，[0.2,3] 和 [0.2,4]。模糊核大小固定为21 × 21 像素，模糊核可视化结果如图 2-1 所示：

.............................

2.2 图像盲超分辨模型
SRMD 首先对图像超分辨过程中的 LR 图像退化过程进行建模，并实现单一模型处理多退化超分辨任务。但 SRMD 应用时需要输入 LR 图像的退化参数，难以直接应用于实际的盲超分辨任务，因此本章提出预测网络（Predictor Network，P）对 LR 图像退化信息进行预测。超分辨模型对于预测模糊核的准确度非常敏感。如图 2-3 所示，其中σLR表示 LR 图像的真实退化模糊核宽度，σSR表示超分辨过程使用的退化模糊核宽度。可见，如图像矩阵下三角部分，超分辨过程使用的退化模糊核大于真实 LR 图像退化模糊核将会导致超分辨结果出现振铃现象；而从上三角部分可见，超分辨过程使用的模糊核小于真实 LR 图像退化模糊核则会导致超分辨结果过平滑，视觉效果难以令人满意；只有当超分辨过程使用的退化模糊核符合 LR 真实退化模糊核时（对角线部分），才能输出清晰且无非自然现象的高质量图像。从图像的统计特征也能反映此现象。如图 2-4 所示，当退化模糊核不匹配时，图像梯度的分布偏离了自然图像的重尾梯度分布。

因此，本章提出循环模糊核校正网络，根据预测结果以及超分辨的中间结果，通过循环的方式对退化模糊核进行校正，最终得到较为准确的退化模糊核，结合非盲超分辨网络，最终输出符合人类视觉效果的超分辨结果。

..................................

 

第 3 章 真实超分辨数据集 .................................27
3.1 数据集采集及处理 ...................................... 27
3.1.1 变焦成像分析 ................................... 27
3.1.2 数据集采集 ..................................... 28
第 4 章 基于沙漏模块的图像超分辨模型 ............................39
4.1 图像质量对比 ................. 39
4.2 HGSR 模型 ....................................... 40
4.3 实验结果及分析 ................................... 42\

第 4 章 基于沙漏模块的图像超分辨模型

4.1 图像质量对比
本章选择了 PSNR、SSIM 和 LPIPS 三种有参考图像质量评价指标和拉普拉斯梯度方差、BRISQUE 两种无参考图像质量评价指标对 RSR 图像进行评测。表 4-1为 RSR 中的真实 LR 图像和通过对 HR 图像进行 Bicubic 降采样得到的 LR 图像的图像质量对比。

梯度方差数值越低表示图像清晰度越低，纹理越稀疏。BRISQUE 指标越高表示图像质量更不符合人类视觉感受。从表中梯度方差和 BRISQUE 可见真实 LR 图像有着更低的清晰度和更稀疏的纹理。图 4-1 所示为真实 LR 图像和合成 LR 图像的图像对比，可见真实的 LR 图像有着更差的视觉感官效果。基于 CNN 的超分辨模型是通过数据驱动的方式学习 LR 图像到 HR 图像的映射过程，从而实现对 LR图像的超分辨率。真实 LR 图像的 PSNR、SSIM 和 LPIPS 三种有参考评价指标相对于通过 Bicubic 方式合成的 LR 图像更低，这表示真实 LR 图像的退化较合成 LR图像来说更为严重复杂，因此用于真实超分辨任务的模型需要学习更为复杂的映射关系，才能重建出清晰的 HR 图像。
...........................

结论

近年来，由于卷积神经网络强大的学习能力和端对端学习的特性，基于卷积神经网络的超分辨方法不断涌现，在视觉效果和评价指标上逐渐超越了传统超分辨方法。这些方法大多假设 LR 图像由 HR 图像通过 Bicubic 插值降采样得到，然而真实 LR 图像由于噪声、运动模糊和镜头模糊等因素会出现不同程度的退化，当退化过程不符合算法假设时，模型超分辨率效果会出现明显下降，无法输出清晰高质量的 HR 图像。