上海论文网提供毕业论文和发表论文,专业服务20年。

基于水下成像模型的深度神经网络图像增强与目标检测

  • 论文价格:150
  • 用途: 硕士毕业论文 Master Thesis
  • 作者:上海论文网
  • 点击次数:1
  • 论文字数:35966
  • 论文编号:
  • 日期:2022-10-18
  • 来源:上海论文网

工程论文哪里有?笔者针对水下图像数据不足的问题,本文提出了一种基于成像模型的水下图像合成算法。首先,本文将大气散射模型引入到水下成像问题中,并将大气成像中表示光照的常数A分解为光照强度L和光照颜色η以准确地描述水下复杂光线场景下的成像过程,进而提出水下成像模型。

第1章 绪论

1.2.1 水下图像增强方法研究现状

水下图像是一种典型的降质(退化)图像,存在着低对比度、色彩失真以及模糊等影响视觉效果的问题。光线在水中传播时,由水本身光学特性所决定的吸收和散射会影响水下成像过程。光线会被水吸收而衰减,衰减程度和波长呈正相关性,波长越长,衰减程度越大。对于使用RGB颜色空间的图像而言,红色通道波长最长,衰减程度最大,其次是绿色通道和蓝色通道。经过衰减作用后,成像设备所能获取的主要是绿色通道和蓝色通道的光,导致水下图像出现蓝绿色偏问题。色偏会导致水下图像不能正确反映水下场景的色彩信息,进而使得人眼或者机器在获取信息时产生误判。同时,光线从目标物体反射后到达成像设备的过程中会发生前向散射,使点光源漫射成模糊圈,导致图像模糊。此外,背景光到达成像设备之前会发生后向散射降低图像对比度。低对比度和模糊会加大理解图像内容的难度。因此水下图像增强的主要目标就是提升图像对比度和矫正图像色偏,提升水下图像场景的清晰度。

目前,主流的水下图像增强方法可以分为两类:基于模型的方法和基于学习的方法[2]。基于模型的方法首先建立水下成像模型,用于描述水下图像的降质成像过程,建立水下图像和清晰图像之间的关系。然后,将水下图像增强问题视作降质成像的逆过程,利用图像先验知识约束解空间。最后采用合适的优化方法反解模型得到增强图像。例如,Chiang等人[3]将波长补偿方法和暗通道先验[4]结合,先消除成像过程中人工光源的影响,然后同时提升图像的对比度和矫正图像色偏。Drews等人[5]通过观察统计发现水下图像红色通道的像素值几乎为零,导致暗通道先验不适用于水下图像增强,进而提出一种水下暗通道先验,利用图像的蓝绿通道信息进行水下图像增强。水下图像的暗通道信息大多来自于衰减最剧烈的红色通道,导致无法准确估计传输图,因此Liu等人[6]提出一种最大化对比度的目标函数来求解最佳传输图,并结合细分策略估计的光照量有效地矫正色偏。Peng等人[7]建模深度相关的颜色变化和场景环境光差广义化暗通道先验,并提出自适应的颜色矫正模型对水下图像进行增强。

工程论文怎么写

第3章 基于成像模型的水下图像合成方法

3.1引言

近十年来,深度学习技术经历了飞速发展,广泛的应用于各种计算机视觉和图像处理任务中。现如今,研究人员提出了大量基于CNN的水下图像增强算法,基于学习的方法也成为了水下图像增强领域的主流。CNN凭借其强大的表示能力,可以直接学习水下图像到清晰图像之间的复杂映射关系[52],且泛化性很强。有效地克服了基于模型的方法表示能力不足、使用场景受限的缺点。但是,基于学习的水下图像增强方法面临的一个问题就是缺少大规模带标签的数据集。数据不足会导致网络训练出现过度拟合现象,从而导致网络无法获得好的表示能力和泛化能力。

然而,水下图像的采集和标注都很困难。首先水下图像的采集需要专门的水下设备并且需要专门的水下工作人员携带设备才能完成。其次由于水下图像通常具有模糊、色偏等问题,使得标注起来也很困难。以上两点导致水下图像数据集的成本高昂,目前也没有大规模的水下数据集。这就使得深度神经网络无法发挥强大的能力。相比之下,自然图像的采集和标注就简单得多,也有大量的带语义信息标注的数据集,比如ImageNet[53]、PASCAL VOC、COCO[54]等。所以,设计一种水下图像合成方法,将自然图像合成为水下图像并充分利用其标签信息,意义重大。

第5章 基于退化特征增强的水下目标检测方法

5.1引言

第4章提出了基于图像增强的水下目标检测方法,先使用水下图像增强算法提升水下图像质量然后使用预训练模型进行检测识别。从第4章的实验结果来看,图像增强虽然能够提升检测精度,但是提升幅度很小。按照常规思路,水下图像增强提升了图像的质量,检测模型能够从中获得更多的细节信息,进而大幅提升检测精度,然而事实并非如此。经过分析,本文认为低层的图像增强任务和高层的检测任务对于图像像素信息的偏好是不同的,图像增强主要是从像素层面提升视觉效果(服务于人眼视觉),但是不能保证水下图像中有利于检测任务的区域得到一致性增强,因而对检测精度的促进不大。

在本章中,利用CNN的浅层部分提取清晰图像和水下图像的特征,并将其降维后观察分布情况。本文发现水下退化成像条件会破坏图像像素的统计和结构特性,使得CNN提取的特征产生退化而存在偏差,偏差经过深层CNN的不断抽象进一步放大,最终导致检测精度下降。由此本章提出水下图像退化先验,并基于先验知识设计出一种特征增强模块FDM-Une(tfeature de-drifting module unet, FDM-Unet),该模块能够直接学习退化特征到清晰特征之间的映射关系。然后使用清晰图像和合成图像成对训练FDM-Unet。最后,将训练好的FDM-Unet直接插入预训练的检测器的浅层位置,不需要对网络进行重新训练,即可以直接处理水下图像目标检测。

5.2深度退化先验

图5.1展示了VGG16浅层网络(conv2_2之前)提取特图像特征的可视化结果,以及特征降维后在二维平面的分布情况。其中,图5.1(a)是清晰图像及其特征图,5.1(b)是利用第3章算法合成的水下图像及其特征图,5.1(c)是使用第4章ResUnet网络增强后的图像及其特征图。通过对比这3幅子图可以发现,水下退化(降质)成像过程会改变清晰图像的特征,而水下图像增强算法并不能很好的复原退化特征,从而导致水下图像增强对于水下目标检测任务的促进作用不大。

进一步,本节从3类图像中选出如5.1(a)中的4张图中红框标出的4个相似图像块(鸟喙部位,相似程度用SSIM衡量),将这4块图像对应的特征利用t-SNE[71]降至2维,得到图5.1(d)。可以看到,相似的图像块在相同的成像条件(清晰、水下或增强)下其特征分布具有一致性,与图像的具体内容无关。相似的图像块在不同成像条件下的特征分布存在明显的界限,即图中呈现明显的3个聚类分布。

综合上述发现,本节总结出水下退化先验:(1)不同的图像中结构相似的图像块的特征是相似的,其分布具有一致性;(2)同一张图像中的相同区域在图像退化前后的特征分布具有明显的边界。基于以上两点,本章提出一种特征增强模块FDM-Unet学习两种特征分布之间的映射关系,矫正浅层网络提取的退化特征,进而提高检测精度。

工程论文参考

第6章 总结与展望

6.1总结

本文针对水下图像增强问题和水下图像目标检测问题进行了深入的研究。具体而言,首先提出了一种基于改进大气散射模型的水下图像合成算法;然后提出了一种基于编解码网络结构的图像增强网络,并验证了水下图像增强对于水下目标检测的促进作用;最后,针对先做图像增强再做检测这种“两阶段”法的不足,提出了一种基于退化特征增强的端到端的水下目标检测算法。

(1)针对水下图像数据不足的问题,本文提出了一种基于成像模型的水下图像合成算法。首先,本文将大气散射模型引入到水下成像问题中,并将大气成像中表示光照的常数A分解为光照强度L和光照颜色η以准确地描述水下复杂光线场景下的成像过程,进而提出水下成像模型。接着,本文基于最大反射先验理论推导了模型中的光照颜色与光照强度这两个变量的估计方法。然后,利用单目深度估计方法估计自然图像的场景深度,并用导向滤波平滑深度图。最后,利用上述信息将自然图像合成为水下图像。该算法可以利用现有的大型自然图像数据集来合成具有真实感的水下图像,并充分利用它们带有的语义标签来做一些高层视觉任务。此外,还可以利用自然图像和合成水下图像成对的关系做一些低层的视觉任务,例如图像增强。在文中,通过可视化模型参数估计结果和最终合成的水下图像说明了算法的合理性和有效性,并使用算法合成了UW_VOC数据集。

(2)针对典型的CNN模型无法直接处理水下图像增强的问题,本文设计了一种基于编解码结构的图像增强网络模型ResUnet。首先,本文分析了水下图像增强领域常用的两类方法:基于模型的方法和基于学习的方法的优缺点,指出基于学习的方法具有更强的表示能力和泛化能力。接着,本文设计了基于编解码结构的水下图像增强网络,具体来说,本文先是使用改进的ResNet34作为编码网络的主体,再在其后增加两组卷积以获得和原始ResNet34相同的感受野,接着设计了桥接模块进一步增大感受野以获取更多全局信息,最后使用卷积+上采样的多组解码模块逐步增强图像。然后,本文设计了像素层面的均方误差损失函数和语义层面的感知损失函数混合的损失函数监督网络训练。

参考文献(略)

123
限时特价,全文150.00元,获取完整文章,请点击立即购买,付款后系统自动下载

也可输入商品号自助下载

下载

微信支付

查看订单详情

输入商品号下载

1,点击按钮复制下方QQ号!!
2,打开QQ >> 添加好友/群
3,粘贴QQ,完成添加!!