计算机论文哪里有？本文所提的迁移学习算法仍有很多不足之处，如对迁移学习方法的改进没有较大的突破，仍局限于使用较早期的深度学习模型提取特征；仅在迁移学习常用数据集中进行实验，未考虑其他领域的数据集等问题。
1绪论
1.2国内外研究现状
传统的迁移学习假设源域和目标域之间的类别空间相似，但它们之间的联合概率分布和边缘分布不同。Pan等[15]提出了一种迁移成分分析(Transfer Component Analysis,TCA)方法，该方法在再生核希尔伯特空间(Reproducing Kernel Hilbert Space,RKHS)[16]中学习一个核，以最小化领域之间的最大平均差异(Maximum Mean Discrepancy,MMD)。Long等[17]提出联合概率分布适配迁移特征学习方法(Joint Distribution Adaptation,JDA)，该方法在降维获得了数据的紧凑特征表示的同时减小数据的边缘和条件分布差异。Sun等[18]提出迁移学习的关联对齐方法(CORrelation Alignment,CORAL)该方法的主要思想是将源域和目标域分布的二阶统计量(Second-order Statistics)对齐，从而在不需要任何目标域标签的情况下使源域和目标域之间的分布差异最小化。
然而在一些场景中直接对源域和目标域的全局特征进行匹配效果并不好，因此一些研究人员针对这一问题提出了子结构适配(Substructure Adaption)，这一类方法将源域和目标域同时划分为若干个子结构分别进行匹配，来解决迁移学习中常见的适应不足的问题。Kumar等[19]提出了无监督领域自适应的共正则化对齐(Co-regularized Alignment forUnsupervised Domain Adaptation,Co-DA)该方法构建多个不同的特征空间，并分别对齐每个特征空间中的源域和目标域分布，同时通过使多个对齐在类预测方面结果一致来共同正则化多个对齐。Zhao等[20]提出了一种局部域适应(Local Domain Adaptation,LDA)方法，该方法在域级和类级匹配之间进行折衷，并利用高级抽象集群来组织数据。
3基于K-Means聚类的子结构相关适配方法
3.1引言
早期的领域自适应方法主要学习全局的域漂移，即不考虑两个域中更小的两个子结构之间的关系，将全局的源域和目标域分布直接进行对齐。因此大多数领域自适应方法都存在着匹配过于粗糙的问题，这样不仅会导致来自源域和目标域的全部数据被混淆，而且其区分结构也可能被混淆，从而丢失每个子结构的详细（细粒度）信息。近年来越来越多的研究人员关注以学习局部域漂移为目标的子结构适配(SubstructureAdaptation)[34,73]，以往的子结构适配大多数按类别划分子结构，通过匹配源域和目标域中相关类的分布，使匹配后源域和目标域的局部分布近似相同，全局分布也近似相同。但全局匹配和类级的子结构适配仍然粗糙，会有更小的子结构没有对齐，这意味着仅执行粗糙的匹配可能会导致适应不足。基于样本级的匹配方法使源域中的一个数据点对应于目标域中的多个数据点，耗时长，而且源域和目标域的边界和重叠部分容易发生错误，这意味着执行样本级的匹配可能会导致过度适应。此外，传统的领域自适应方法大多使用最近邻分类器对特征对齐后的数据进行分类，但最近邻分类器运用在迁移学习中存在着处理域之间的分布差异时易受影响，样本不平衡时预测偏差较大和计算耗费时间长的问题。
4基于特征校正模块的多对抗域适应方法
4.1引言
用于分类任务的深度领域自适应的最新进展是通过最小化特征分布之间的差异[32,79]或通过对抗性学习特征表示来混淆域鉴别器[80,81]。尽管这些方法都具有一定的效果，但现有的对抗性域自适应方法一般不考虑不同区域的复杂分布，直接跨域对齐从整个图像中提取的表示。显而易见，图像不同区域的分布是不相同的，图像中的某些区域，如背景等，尽管可以在特征空间中被跨域对齐，但可能对领域自适应没有太大的作用。此外，不同领域特征空间中显著不同的一些图像不应当被强制跨域对齐，这可能会丢失每个图片的细粒度信息还可能会造成负迁移。仅在网络顶层部署域差异惩罚项或对抗性损失可能不太有效，因为任务特定层的损失修改梯度将通过反向传播方案衰减。以上是此前全局域自适应方法中的一些常见问题，以前的域自适应方法没有考虑这些问题。此外对于复杂的视觉跨领域任务，两个领域的视觉模式存在很大差异，例如，对于背景干净的图像和背景复杂的图像，仍然假设每个图像的不同区域被类似地激活是不合适的。领域自适应的最新进展表明，对从不同领域提取的特征进行细粒度对齐[14]可以在许多迁移学习任务中实现较大的性能提升。
4.2模型描述
虽然现有方法已经使迁移学习性能得到了显著的提升，但这些方法都没有利用样本局部的细粒度结构，而是将每个样本作为一个整体来考虑它的转移性。TADA[44]利用了图像的细粒度特征能够推断出图像中哪部分结构是可转移的，哪部分结构是不可转移的。源域和目标域在提取特征时通常采用完全共享的卷积网络，但共享卷积网络缺乏对目标域独有特征的学习，会导致目标域性能下降。而在模型中采用单个分类器也会过度拟合其自身的噪声。因此，在探索样本细粒度结构的同时还应探索目标域独有的高级特征以及尝试在空间中学习更鲁棒的特征。
综上，本章提出了基于特征校正模块的多对抗域适应方法。如图4.1所示，为特征提取网络提取出来的特征添加局部注意力来突出可转移区域，然后，插入特征校正块使目标样本能够在高层网络中更好的适应源样本，以便由全局域鉴别器生成的用于突出可转移图像的全局注意力。同时采用普通分类器和GNN分类器协同训练来学习更鲁棒的特征，生成更准确的源域标签。实现对领域信息更精确的提取和迁移。
5总结与展望
迁移学习可以利用数据、任务或模型之间的相似性，将在旧领域学习过的模型和知识应用于新的领域。它对于解决机器学习中有标签数据少和数据非独立同分布等问题至关重要。本文首先对基本的迁移学习方法、常用的深度学习网络框架和机器学习分类方法等相关基础知识进行介绍。然后针对以往迁移学习中存在的匹配过于粗糙，分类结果容易被噪声影响等问题提出了以下两种方法。
第一种方法针对全局特征对齐易导致自适应不足的问题，提出了基于K-Means聚类的子结构相关适配迁移学习方法。运用了子结构适配的思想，通过聚类算法生成了数据量介于类级和样本级之间的子结构并命名为子域，以便于利用更细粒度的局部信息来改善以往方法匹配过于粗糙的问题，同时相对于样本级方法不容易受到噪声或异常值的影响，其次通过拉近源域和目标域子域中心的二阶协方差距离来实现域对齐，最后还针对易受分布差异影响，预测偏差较大，计算时间长的问题，在概率标注矩阵的基础上构造了一个无参数的子域内规划分类器，提高了方法的性能。
第二种方法针对直接跨域迁移数据的低层特征容易导致负迁移的问题，在目标域样本特征提取网络中单独添加了特征校正模块，此外还为该模块增加了一个正则化，以提升其稳定性和有效性。同时为了进一步减少分类损失的同时防止单个分类器过度拟合其自身的噪声，本文提出了双分类器协同训练的方法，训练了两个分类器：一个普通分类器和一个GNN分类器，并由普通分类器为GNN分类器提供伪标签，该方法利用了图神经网络强大的特征聚合能力。通过在迁移学习基准数据上进行实验的结果表明该模型性能优异，结果稳定。
参考文献（略）
