计算机论文哪里有？笔者认为红外和可见光图像融合的作用在于将这两种图像的互补信息融合至同一幅图像中，使得融合后的图像既能够将图像中的显著目标与背景区分开来，又能够拥有丰富的场景信息。
1 绪论
1.2 国内外研究现状
在近几十年来，图像融合技术飞速发展，许多高效，优异的算法被提出[16-40]。而红外和可见光图像融合在方法上可以被分为两大类，第一大类为基于模型驱动的传统算法；第二大类为基于数据驱动的深度学习算法。在深度学习算法普及之前，红外和可见光图像融合的传统算法就得到了深入的研究。而在神经网络强大的特征学习和表征能力下，基于深度学习的方法也迅速发展起来。接下来我们将详细介绍这两大类算法。
1.2.1 基于模型驱动的传统算法
基于模型驱动的传统算法主要通过数学理论知识构造融合模型。而传统算法又可以大致分为以下三类：基于多尺度变换的方法、基于表示学习的方法以及其他方法。接下来我们将分别对其进行介绍。
（1）基于多尺度变换的方法
基于多尺度变换方法[41-43]的红外和可见光图像融合算法无疑是传统算法中使用最多、最广泛的一种方法。而基于多尺度变换的融合算法的性能通常与多尺度变换工具相关，多尺度变换工具利用一些常用的信号处理方法将图像变换到其他不同的域（空间域或频域）。该方法使用多尺度变换工具将图像分解为高频分量和低频分量。高频分量主要表示的是图像中的边缘以及纹理细节，而低频分量主要表示图像中的像素强度分布，通俗来说就是图像中物体整体的信息。学者们针对这两部分属性的不同，根据实际需要设计不同的融合算法。最终将融合后的高频分量与融合后的低频分量通过相对应的反变换得到最终融合图像。现有的方法通常假设在分解过程中可以提取源图像的基本信息并且不会产生信息丢失，因此，分解方法的选择至关重要。目前常用的分解工具有小波变换[44]、金字塔变换[45]、非下采样轮廓波变换[46]、各种滤波器[47-48]以及上述工具的变体（离散小波变换[49]、拉普拉斯金字塔变换、非下采样剪切波变换[50]、保边滤波器[51]等）。除了分解工具的选择之外，影响融合结果的另一个重要因素是高低频分量融合规则的选择，不同的融合规则将对结果产生巨大影响。绝对值取大方法是使用最早最广泛的方法之一，通常用于高频分量融合。加权融合方法则常被用于低频分量融合，这类方法通过考虑原图相中信息的重要性来设计权重图，通过权重图融合源图像。然而这类方法往往会产生伪影和光晕。此外，不同的分解方法和融合策略对结果产生的影响十分巨大。
2 基于改进的边窗滤波和强度转换函数的红外和可见光图像融合
2.1 引言
在图像融合领域中，传统算法一直起到至关重要的作用。在传统算法中，基于空间域和变换域的方法使用最为广泛。这类方法利用多尺度变换工具将图像分解为高频部分与低频部分。其中高频部分主要反映的是图像中的纹理信息，低频部分主要反映的是图像中像素强度的分布情况。对于红外和可见光图像这两种不同模态的图像而言，红外传感器捕捉场景中的热辐射信息，热辐射信息以像素值的形式在红外图像中反映出来，因此红外图像像素强度分布差异明显，轮廓清晰。可见光传感器捕捉场景中的光反射信息，因此可见光图像纹理信息丰富。所以对于现有的大多数基于空间域和变换域的方法将图像简单地分解为像素强度分布与纹理是不够充分的。所以在本文中，我们创新性的提出将图像分解为三个部分，分别是细节层，边缘层和像素强度分布层，这样可以更加高效精确的处理源图像中的边缘和细节部分。而对于传统融合方法另一个重要的点是各分量融合策略的设计，不同的融合策略对最终的融合结果的影响是十分巨大的。为了保证融合后的结果能够最高限度的保留红外图像中的显著性信息，我们提出了一个强度转换函数用于构建各分量的融合规则。本章所提出方法的主要贡献可以总结为如下几点：
（1）提出了一个基于改进的边窗滤波（Modified side window filtering, MSWF）和强度转换函数（Intensity transformation function, ITF）的红外和可见光图像融合方案，它能够有效的将源图像中的热辐射信息以及纹理信息保留到融合图像中。
（2）MSWF是在原有的边窗滤波算法（Side window filtering, SWF）基础之上添加了四个新的滤波核之后得到的。这使得MSWF相较于SWF有更好的边缘保持能力。
（3）提出了一种S型ITF来生成显著性图，从而增强红外图像的显著性区域，并抑制红外图像中的非显著性区域。
3 FTSFN：两阶段特征迁移及补偿的红外和可见光图像融合方案
3.1 引言
目前，由于深度学习在特征表示能力方面的优异表现，红外与可见光图像融合任务也得到了进一步的推进。这种方法可以通过大量的训练数据自动实现特征提取、特征重构和特征融合，有效地避免了人为对特征提取和特征融合的干扰。并且基于深度学习的方法不需要设计复杂的融合规则。虽然基于深度学习的图像融合方案取得了巨大的成功，但仍存在一些不足。基于深度学习的方法主要分为两类，如图3.1所示。其中一类可以命名为后期融合方法，如图3.1(a)所示。这种方法首先利用卷积层提取两幅模态图像的特征，然后将两种特征进行简单融合再通过卷积层进行重构。这种方法可以更好地提取两种模态的独立特征，反映出图像特征之间的特征差距。但这两个不同模态的特征是相对独立的，它们之间没有建立联系。这种在网络末端融合这两个特征的方式并没有达到很好的融合效果。另一类称为直接融合方法，如图3.1(b)所示。这种方法是对两种不同模态的图像同时进行特征提取和融合处理。虽然两种模态之间的信息是充分交互的，但是使用相同的卷积核从不同模态的图像中提取特征，这将导致网络会忽略图像特征之间的差异。
3.2 两阶段特征迁移及补偿的图像融合网络
在本节中，我们提出了一种用于红外与可见光图像融合的FTSFN，如图3.2所示。在FTSFN中，首先设计两个FTN，用于减小两种不同模态图像之间的特征差异。FTN以红外和可见光图像为输入，通过将两幅源图像的模态特征相互传输，得到增强的源图像特征块。然后，将两个增强的特征块输入到FSFN中，实现特征的融合，得到最终的融合图像F。FSFN通过逐级特征补充和特征融合的方式构建。为了更好地训练FTN和FTSFN，我们考虑了红外和可见光图像的属性差异，基于两种模态特征设计了两种新的损失函数。接下来，我们将详细描述FTN和FSFN两个模块，以及损失函数的构建。
注：M1和M2代表两种不同模态的图像，Encoder，Decoder1和Decoder2表示用于特征传输和重构的编解码器。
4 总结与展望
4.2 未来工作展望
本文根据传统算法与深度学习算法的不足之处，设计了两个全新的红外和可见光图像融合网络，虽然我们在文中从主观和客观方面进行了大量实验证明了方法的有效性，但是仍存在一些问题值得探讨：
1）基于传统方法的图像融合任务，设计的ITF函数在针对于红外或者可见光图像过曝，或者图像整体亮度过高时，产生的结果并不够好，后续可能会考虑当红外和可见光图像亮度均较高时的设计一种全新的强度转换函数。
2）基于深度学习的方法在特征交互补充过程中，由于针对红外和可见光图像融合任务，只考虑了像素强度与梯度特性。后续可能会考虑更多图像特性方面，例如全局对比度等。并且，后期希望将该网络扩展到其他多模态图像融合任务中。
3）无论是所提出的传统算法还是深度学习算法，所需要的时间消耗都相对较高，后续会考虑在保持融合效果不变的情况下，降低时间复杂度的问题。
参考文献（略）
