上海论文网提供毕业论文和发表论文,专业服务20年。

基于注意力机制和对抗网络的图像超分辨率重建方法探讨

  • 论文价格:150
  • 用途: 硕士毕业论文 Master Thesis
  • 作者:上海论文网
  • 点击次数:1
  • 论文字数:35633
  • 论文编号:
  • 日期:2023-07-28
  • 来源:上海论文网

计算机论文哪里有?本文在提升输出结果的视觉效果方面:提出了一种融合梯度损失和细粒度判别器的对抗网络超分辨率重建模型,通过增加图像的细节信息和结构信息,提高重建后高分辨率图像的真实性。

第1章 绪论

1.2 国内外文献综述

图像超分辨率重建的目的是通过先验学习从低分辨率图像中重构出更清晰、细节更丰富、分辨率更高的图像,具体过程如图1.1所示。当图像被下采样到较低的分辨率时,有关高频细节和精细结构的信息会丢失,从而导致图像模糊且细节不足。 这种信息丢失意味着一幅低分辨率图像可能存在多个与之对应的高分辨率图像,由于降采样过程中可能引入的噪声和其他伪影的存在,问题变得更加复杂。这种情况从数学的角度说是不适定问题,即没有唯一解或解相对于输入数据中的小扰动不稳定的问题。这种不适定性使得很难找到一个唯一的、稳定的解决方案使模型输出图像能准确地表示原始高分辨率图像。为了克服这种不适定性,必须引入额外的约束指导超分辨的重构过程,从而确保模型输出结果既准确又能代表原始图像。

1.2.1 图像超分辨率重建算法研究

传统的超分辨率重建算法可以分为三种,按照提出的顺序可以分成基于插值的方法、基于频域的方法和基于学习的方法。

基于插值的方法利用图像的现有像素信息,不恢复图像采集过程中丢失的高频细节,常用的算法包括最近邻、双线性和双三次插值。基于频域的方法包括离散余弦变换[1]、小波变换和傅立叶变换算法[2],它们将低分辨率图像变换到频域并重新组合频率以生成高分辨率图像。基于学习的方法通过输入低分辨率图像的局部特征来增强其中的高频信息,以增加重建图像中可用信息的百分比。基于学习的方法的例子包括与局部线性嵌入学习[3]类似的和字典学习[4]。

第3章 融合迭代反馈与注意力机制的图像超分辨重建方法

3.2 融合迭代反馈与注意力机制的超分辨重建网络

本节将详细介绍网络的主要结构和原理。首先描述了网络的整体框架和作用,之后分别对各个模块的结构和原理进行详细分析。

3.2.1 总体网络架构

总体网络架构分为如图3.1所示的三个部分,分别是特征提取部分,非线性映射部分和重建部分。首先使用频率分解模块将图像分为低频结构信息和高频细节信息;再将分离的高频信息输入注意力模块,按通道分配权重后送入迭代反馈模块(Iterative Feedback Block, IFB),将迭代模块输出结果中的HR特征图与LR特征图分别拼接后相加得到总体残差特征图,由于HR特征图的大小是LR特征图的α倍(α为缩放倍数),因此在拼接时还需使用反卷积将LR特征图上采样至与HR特征图大小相同。最后在重建模块中,将总体残差特征图经过卷积与亚像素卷积[8]操作后,与频率分解模块中分出的低频结构信息相加即可得到超分辨图像SR'。同时,将输出结果经Bicubic下采样获得与原始低分辨率图像对应的新低分辨率图像LR'I,再得到原始低分辨率图像ILR与ILR'的残差,将残差上采样后与SR'相加最终得到清晰的上采样结果。

第4章 融合梯度损失和对抗网络的图像超分辨率重建方法

4.1 基于对抗网络的图像超分辨重建概述

与高分辨率图像相比,低分辨率图像包含的像素数量实在太少,模糊会掩盖精细的细节和边缘,原图的高频分量在低分辨率图像中的表示不正确可能会导致出现锯齿状边缘等伪像,从而难以重建准确表示原始场景的图像。与图4.1所示的典型超分辨重建模型相比,图4.2所示的基于对抗网络(GAN)的方法使用的对抗性训练过程迫使生成器学习原始图像的潜在模式和结构,并生成在细节和特征方面更具视觉吸引力和准确性的图像。同时生成器学习捕捉高分辨率图像的本质,并生成逼真、高质量的图像,这些重构图像在视觉效果上具有与原始图像相似的结构信息,同时观感也更好。

计算机论文怎么写

4.2 融合梯度损失和对抗网络的超分辨率重建方法研究

为了生成更清晰的边缘和还原更精细的纹理细节,本章节提出了一种名为GFGGAN的生成对抗网络结构,该结构融合了生成对抗网络对于细节信息的强大还原能力和梯度损失对于结构信息的恢复能力。在生成对抗网络结构模型中,具体到生成器和判别器的结构、损失函数的选择、残差块的结构等都会影响模型的最终效果,本章节将针对以上列出的各种影响因素进行对比试验,权衡输出图片的质量和模型运行的效果定量分析,根据最终的结果选择最为适合的网络结构和超参数。

4.2.1重建算法总体结构

以第三章提出的超分辨网络结构为基础,加入本章提出的基于U-Net网络的判别器,再通过损失函数将判别器的双路输出与超分辨网络结构融合在一起,最终可以得到如图 4.3 所示的总体网络结构图。

计算机论文参考

结论与展望

2、展望

本文提出了两种单幅图像超分辨算法,分别是一种能够较为准确地实现低分辨率图像超清化的重建算法和一种能够生成视觉效果更好的高清图像的重构算法。在两种算法对应的章节中都通过各种实验证明各自网络结构设计的针对性和有效性。尽管取得了一定的成果,但在实际应用中仍存在一些问题。

首先,需要在将超分辨重建网络与对抗网络结合的过程中保证生成图像的准确性。重建的高分辨率图像应该与原图保持一致,但是生成对抗网络可能会打破这种约束,因为它在结构上更注重与低分辨图像而不是原图的一致性,这通常会导致恢复的高清图像结构失真,需要进一步研究才能解决。

其次,当前的超分辨率网络距离扩展到实际生活中还有一定差距。在没有成对的训练数据的实际应用场景下,超分辨率模型在真实场景上的效果并不理想,难以获得更好的重建结果。

最后,需要解决超分辨率网络的可解释性问题。 因为现有的深度学习模型缺乏理论指导,会导致对模型效应的来源认识不清。

综上所述,解决这些问题对于从实践和理论的角度认识和改进现有超分辨率重建方法来说是必要的。

参考文献(略)

123
限时特价,全文150.00元,获取完整文章,请点击立即购买,付款后系统自动下载

也可输入商品号自助下载

下载

微信支付

查看订单详情

输入商品号下载

1,点击按钮复制下方QQ号!!
2,打开QQ >> 添加好友/群
3,粘贴QQ,完成添加!!