工程论文哪里有？本文构建了包含多种令牌混合器的视觉特征提取模型和利于微小物体检测的目标检测网络并提出了相应创新方法，这些方法还有进一步的优化和提升的可能。
第一章绪论
1.2.1视觉特征提取
视觉特征提取的相关方法可以总结为两大研究方向与三大令牌混合方法。两大研究方向，即注重对于局部令牌混合器的优化方向和注重对于模型整体结构的设计方向；三大令牌混合方法，即基于卷积、基于自注意力以及基于卷积和自注意力的混合方法。两大研究方向和三大令牌混合方法可以交叉出现，同样是使用了混合型方法作为模型的令牌混合器，如果在其基础上进一步优化，便是注重局部令牌混合器优化的研究方向；若将其作为整体模型设计中的一个组件，关注其在模型中的位置与具体作用，便是注重对于模型整体结构设计的研究方向。两大研究方向在前文已有叙述，下文主要介绍三大令牌混合方法。
基于卷积的令牌混合方法是最为基础和传统的。在计算机视觉的相关任务中，卷积神经网络由于在性能和效率上的优势，成为了研究者们的主要建模方式[19]。尤其是在ImageNet图像分类挑战中，AlexNet以极大的分类准确率提升夺冠之后，卷积神经网络进入快速发展期。随着如VGGNet[20]、ResNet、MobileNets[21,22,23]和EfficientNets[24,25]等高性能网络的问世，许多高效的网络设计范式被提出并推广。卷积神经网络之所以被广泛使用，与其在卷积层所用的权重和偏置的参数较少以及具有平移不变性有关。其中，卷积由于具有参数共享和稀疏连接的特性，可以以较少的参数对图像特征进行表示。由于在图片中的目标位置平移到图片另一个地方其所含特征信息依然不会发生变化，因此拥有平移不变性的卷积网络非常适合对图像信息进行处理。
第三章多种令牌混合器结合的视觉特征提取网络
3.1混合式令牌混合网络
3.1.1整体结构
如图3-1所示，DShybridFormer采用分层结构，共分为四个阶段。每个阶段由采样模块和基本模块共同构成。其中，阶段1和阶段2使用卷积作为令牌混合器；阶段3使用卷积和通道注意力的混合模块作为令牌混合器；而阶段4则使用全局自注意力作为令牌混合器，由基本的多头自注意力模块实现。这种分层结构有助于提高模型的层次性和整体性能，使其更加适用于复杂的视觉任务和数据场景。图中的0,1,2,3,4nD n分别表示输入和四个阶段的输入信息维度。
第四章针对微小物体的目标检测网络
4.1目标检测模型设计
4.1.1整体结构
本章模型的整体结构如图4-1所示，主要包括细致的特征提取网络获得各个尺度的特征以及能将不同尺度特征充分融合的检测模块。IoU感知查询选择用于选择固定数量的图像特征以用作解码器的初始对象查询。首先通过主干网络HENet提取图像特征，再利用骨干网络的底层三个阶段的特征作为检测头的输入。最后，具有和真实框足够接近的选区域被标注为正样本区域并对其计算回归损失和分类损失。经过训练，获得能够精确框选微小目标的目标检测模型。
4.2损失函数研究
4.2.1中心交并比思想
中心交并比思想（Inner-IoU）[73]改进了目标检测中边界框回归（Bounding BoxRegression，BBR）的准确性，特别是在处理高度重叠的目标时。传统的IoU计算方法考虑了预测边界框和真实边界框的整体重叠区域，而Inner-IoU则专注于边界框中心的重叠部分。它通过引入辅助边界框，这些辅助框是原始边界框的缩小版本，来计算损失函数。
这种方法的优点包括：（1）针对性优化。Inner-IoU通过关注边界框的核心部分而非整体，提供了对重叠区域更加精确的评估；（2）调整尺度。通过控制辅助边界框的大小，Inner-IoU允许对不同的数据集和检测任务进行微调；（3）提高泛化能力。实验证明，Inner-IoU在不同的数据集上显示出比传统IoU更好的泛化性能。
综上，Inner-IoU是一种更细致、更专注于目标中心的性能评估指标，它通过辅助框的尺度调整提高了目标检测任务的精确度和效率。而中心交并比的思想在小目标检测的时候效果能够达到极致。
第五章总结与展望
5.2未来展望
本文构建了包含多种令牌混合器的视觉特征提取模型和利于微小物体检测的目标检测网络并提出了相应创新方法，这些方法还有进一步的优化和提升的可能。如相较于同为混合模型的CAFormer，DSHybridformer拥有相近的参数量，更低的MACs，但准确率略低。这可能是由于在模型中使用的通道注意力的网络容量更低，降低了模型的性能上限，但是如果增加其容量，相应的训练成本又会增加。
在针对航空图像微小目标检测任务中，使用了渐进式特征提取检测头，这种渐近融合方式有助于减小不同层次特征之间的语义差距，提高特征融合效果，使得检测模型能更好地适应不同层次的语义信息。但是这个机制的使用会导致计算量增加，检测速度变慢，并且训练初始阶段的效果不稳定，随着轮次的准确率才能稳定。将来可以考虑对其训练稳定性进行改善。其次，针对损失函数的改进也会增加网络的计算成本，使得网络的训练以及推理速度减慢，有待于进一步优化。
参考文献（略）
