1 绪论
1.2 国内外研究现状
近年来，将各种先验知识融入深度学习算法逐渐引起了学术界的关注。下面针对本论文涉及到的图像分割、疾病诊断和图像配准三个领域，分别减少相关研究的进展状况。
1.2.1 图像分割
和自然图像相比，医学图像的分割目标往往是特定的器官和组织，因此更加依赖于解剖学的先验知识，比如器官的形状、位置等。医生在对医学图像做手工分割时，十分依赖于这些解剖先验知识[4; 5]。因此，一些工作将解剖先验作为医生知识，融入到深度学习分割网络中。2017 年，Ravishankar 等人[6]针对当时流行的全卷积网络中没有融入解剖先验的问题，提出一种肾脏分割的全卷积网络，将肾脏的形状先验信息融入到全卷积网络，使得方法的鲁棒性增强，并且在肾脏超声图像分割挑战赛上的成绩上，分割结果性能比 U-Net 高 5%。2018 年，Zotti 等人[7]使用卷积神经网络对心脏进行分割。作者提出了一种嵌入心脏形状的卷积神经网络，同时定制了一个分割心脏解剖结构的损失函数。该网络可以同时训练和学习心脏的高级特征和低级特征，从而得到分割心脏的形状和边界。此方法对心脏的分割结果获得了 0.91 的平均 Dice。2019 年，Yue 等人[8]基于深度学习网络，提出了一种全自动分割 MRI 心肌图像的方法。该方法由形状重建网络和空间约束网络构成。形状重建网络保证了分割结果的真实形状，由数据与预训练得到，作为正则化项嵌入到损失函数中。空间约束网络融合了图像的空间信息，通过多任务学习策略进行训练。此方法对心肌分割平均 Dice 为 0.758±0.227，超过了经典方法的性能。2019 年，Painchaud 等人[9]提出一种对抗变分自动编码器，通过变分自动编码器学习潜在的正确的心脏解剖结构表示，其编码空间为光滑流形，流形上存在大量真实有效的心脏解剖先验，将心脏解剖结构不合理的图像，通过对抗变分自动编码器进行扭曲，从而将不合理的解剖结果转化成合理的解剖结果，实现了解剖先验的融入，同时不影响心脏的几何和临床指标。2020 年，Luo 等人[10]提出一种形状约束网络，以用于眼的分割。具体而言，作者使用对抗生成自动编码器（VAE-GAN）从数据集中获得眼睛形状的先验知识，并且使用预训练好的 VAE-GAN 来调整分割网络的训练。实验证明了融入形状先验知识方法的有效性。2020 年，Boutillon 等人[11]提出了一种从 MRI 图像中自动分割肩胛骨的方法，该方法使用 GAN 网络，生成网络通过学习非线性的形状，从而描述骨的局部解剖和全局解剖特征，对抗网络生成精细的骨骼分割结果，从而将形状信息融入到深度学习网络中。
医学影像论文
3 融入解剖知识的低剂量小鼠 Micro-CT 图像分割
3.1 引言
动物模型被广泛应用于生物医学和临床研究领域中。小鼠模型作为一种动物模型，其基因组中 85% 的蛋白质编码与人类基因组中的相同[41]，因此，小鼠模型是研究人类疾病最常用的动物模型。详细描述和构建小鼠模型，对药物开发[42]、药代动力学分析[43]、肿瘤靶点识别[44]等研究具有重要意义。
随着各种成像技术的快速进步，多种形式的全身成像在针对小鼠模型的研究中发挥着越来越重要的作用。在医学物理学领域，显微电子计算机断层扫描（Micro Computed Tomography，Micro-CT）是一种被广泛应用的成像方式。这种成像方式可以用于观察被成像对象的内部器官结构，并为功能成像提供解剖学参考。对小鼠 Micro-CT 图像中的主要器官和感兴趣区域进行分割，可以从图像数据中提取到许多定量信息，比如：器官的形状和大小[45]、药物的吸收和摄取、生物标志物的信号的转移性分布[46]等等。因此，在生物医学研究的许多领域中，对小鼠 Micro-CT 图像中的主要器官和感兴趣区域进行分割，是数据分析和处理的关键步骤。
手动在图像上逐层勾画器官区域是最传统的图像分割方法。然而，这一方法需要分割者分割经验丰富，并且熟悉解剖结构知识以及图像成像方式。此外，手动分割高度重复且耗时。一方面，分割十分依赖分割者的诊断知识和解剖先验，另一方面，经验丰富的专家不可能去花费大量时间用来手工分割。这就导致了如下矛盾：尽管手工分割的准确度最高，但分割效率受到严重限制。分割速度太慢，在面临大量数据时只能“望洋兴叹”，这为大量数据的分析和处理造成了严重阻碍。此外，手动分割还存在着偏见，即使是专家，也会容易出现人为的错误和偏见，特别是在分割对低对比度的图像时，比如低剂量小鼠 Micro-CT 图像，不同的专家往往得到不同的分割结果，这对分割的客观性和可重复性产生负面影响，从而影响数据分析的准确性[47]。这些问题给生物和医学方向的研究人员带来了极大的困扰，因此，器官自动分割是一个十分重要的研究课题，这对于上述提到的、多个生物医学和临床领域均具有重要的研究意义和研究价值。
.....................
5 融入解剖特征点知识的肝癌核磁图像配准
5.1 引言
中国的肝癌发病率高于世界其他国家。在中国，每年有近 40 万人被诊断为肝癌。尽管中国人口不到世界人口的 20%，但几乎一半的新发肝癌病例发生在中国[80]。肝细胞癌约占所有原发性肝癌病例的 90%，主要发生在慢性乙型肝炎或丙型肝炎导致的肝硬化患者中[81]。肝癌在中国一直是一个公共卫生挑战。虽然治疗肝癌的方法已经得到了广泛的发展，并且在过去的几十年中取得了一些进展，但是肝癌的总体存活率仍然较低[82]。导致这一现象的原因与确诊肝癌的时期、患者的生活习惯、诊断医生的专业水平有关[83]。
在肝癌的诊断和治疗过程中，随访是关键的一个环节。在随访过程中，医生通常会对患者进行治疗后的腹部 CT 或 MRI 扫描，目的是和治疗前的扫描结果进行对比，从而对评估患者的治疗效果。由于诊疗前后的图像不在同一时间采集，此时需要将诊疗后的图像配准到诊疗前的图像上，以便于直观准确地比较诊断效果。
目前，临床中最常用的图像配准方法大多为基于灰度值的配准方法。基于灰度值的配准方法通常计算两幅图像间衡量灰度值的相似性测度，从而得到配准过程的变形场。基于灰度值的图像配准方法优点在于配准鲁棒性强，配准前后图像的整体结构对应良好，缺点在于灰度值为图像整体信息，基于灰度值配准的方法在配准前后不关注解剖特征点的对齐。在实际临床应用中，医生除了关心图像整体对齐外，更关心配准前后解剖特征点的对齐，而这是依赖基于图像灰度信息配准方法难以做到的。
点云匹配的常见的配准手段。相比于基于灰度配准的方法，基于点云匹配的配准方法更关注配准前后图像点的特征。综上所述，本章设计了融入解剖特征点的点云匹配算法，在点云配准的过程中，保证了解剖特征点的位置只进行微小的移动，从而满足医生的需要。
..............................
5.2 实验数据
本章使用的肝脏 MRI 数据自大连医科大学附属第一医院。本研究使用了两名肝癌患者诊疗前后图像，其中一名患者经过治疗后，切除了肿瘤；另一名患者经过手术后，阻断了部分肝脏血管的血供。图 5.1 展示了患者随访前后图像，子图（a）展示了患者手术前的肝脏图像，子图（b）展示了患者手术后的肝脏图像。MRI 图像采集时间为 2014年 3 月至 2018 年 8 月，采集间隔分别为 11 个月和 2 个月。每例图像都采集了 C+、DWI、T2WI 三个序列。MRI 图像的矩阵尺寸为 512×512×80，像素在 x、y、z 方向的空间分辨率为 0.7813mm、 0.7813mm、2.5000mm。
图 5.1 患者随访前后图像。（a）患者手术前的肝脏图像。（b）患者手术后的肝脏图像。每一行代表一位患者的代表性肝脏核磁图像。
......................................
结论
本课题研究了融入医学知识的医学图像分析方法。近年来，数据驱动型算法逐渐成为了计算机医学影像分析方法的主流，然而，主流方法侧重于学习数据输入与输出结果之间的映射，未能有效利用高层次的知识信息。在医学影像分析领域，高层次知识包括医生多年总结的诊断经验、人体器官形状知识、解剖特征点位置知识等，这些医学知识对于影像分析具有重要参考价值，却难以通过数据驱动型算法进行学习，用于医学影像分析任务。本论文通过融入医学知识来提升医学影像分析算法的性能，在图像分割、影像诊断和图像配准三个方面进行了探索。
本课题完成的主要工作如下：
（1）融入解剖知识的低剂量小鼠 Micro-CT 图像分割。本文对低剂量小鼠 Micro-CT图像的分割进行了研究。在这项工作中，我们针对小鼠 Micro-CT 低对比度难以识别的特点，创新性地设计了一个二阶段深层监督全卷积网络，将小鼠器官的形状信息和位置信息作为解剖知识融入到深度学习网络。深层监督将低对比度器官的形状信息进行了编码，二阶段网络将器官的位置信息融入到深度学习网络。形状信息的融入使得低对比度图像的分割结果保持良好的形状，位置信息的融入使得分割结果更加准确。本文提出方法对主要脏器的平均分割精度 Dice 指标达到 0.84，各器官的精度比传统方法提升了18%~26%。
（2）融入医生诊断知识的非小细胞肺癌 PET/CT 影像诊断。本文对非小细胞肺癌淋巴结良恶性诊断进行了研究。在这项工作中，本文设计了一个融入诊断信息的双模态网络，将非小细胞肺癌淋巴结的 PET 和 CT 图像作为两个分支，同时送入到深度学习网络中，将医生看重的诊断特征和 PET、CT 的图像特征在全连接层进行融合。双模态信息的融入改善了算法的敏感性。医生诊断信息的融入大幅提升了算法的诊断性能。实验结果表明，融入诊断知识的深度学习网络在诊断中获得了更好的表现，本章方法对于非小细胞良恶性判别的敏感性为 0.83，AUC 为 0.96，比人类医生诊断敏感性提升了 13.8%。
参考文献（略）
