教学课程资源库 更多>>

关键词： 虚拟仿真软件   磁共振成像实验   医学影像技术   教学质量  

摘要： 目的：分析医学影像技术专科教学中，虚拟仿真软件下的磁共振成像实验的干预效果。方法：选取2019级和2020级医学影像技术专业58名专科学生，分为两组。对照组实行传统教学，观察组实行虚拟仿真软件下的磁共振成像实验教学。结果：较之对照组，观察组教学质量、考试成绩、教学效果等均有提高（P<0.05）。结论：虚拟仿真软件下的磁共振成像实验教学方法，效果确切，可以提高教学质量及效果，值得推广。

关键词： 三维重建   超声   CT   电磁导航   配准  

摘要： 由于中国肿瘤与癌症发病率逐年增高,患者也不断增多,所以对手术导航系统的需求也就越来越高。本课题立足于国内手术系统研究现状,针对成本较低、精度较高的手术导航系统进行研究,提出术前利用三维重建技术呈现三维立体病灶并进行手术路径规划,术中采用在二维超声图像上模拟穿刺针的方式验证穿刺是否准确的整体方案。对三维重建技术进行研究,基于VS、QT、VTK等设计三维重建软件,在此基础上实验得出最适宜重建的图像厚度,又通过3D Slicer进行了三维重建,根据三维重建的图像进行路径规划。根据本课题需求设计具有安装方便快捷、牢固可靠的穿刺末端夹持装置,并制作了实物。利用C++与多种软件对SVD配准算法进行编程,并对该算法进行精度实验验证,确定最佳配准条件,为后续配准工作奠定基础。对术前配准技术进行研究,将电磁传感器安装在机械臂上获取点集数据利用配准算法完成机械臂与电磁发射器的配准;利用电磁探笔触碰肝脏模型预留标定孔完成肝脏模型与三维重建模型配准。根据三维重建图像进行术前路径规划,通过配准关系完成机械臂穿刺路径规划。对超声探头配准进行研究,将电磁传感器安装在超声探头上扫描单N线模型标定的方法实现超声探头配准,对穿刺针显示在超声图像上的方法进行研究,采用Open CV实现穿刺针模拟显示在超声图像上,以此判断穿刺是否完成。结合前文研究理论,利用VS、QT、Eigen等编程,搭建医学影像引导下机器人辅助肝脏肿瘤穿刺手术系统,通过转换矩阵精度实验、3-D转换实验、穿刺误差实验验证系统准确性与可行性。本课题的相关研究表明,医学影像引导下机器人辅助肝脏穿刺手术导航系统设计方案具有较好的应用推广价值。

关键词： 深度学习   元学习   乳腺癌分割   注意力机制  

摘要： 随着人们生活水平的提高,越来越多的人意识到身体健康的重要性。对于患者来说,在早期筛查和诊断出疾病能够有效地降低死亡率。而医学影像的分割对于疾病的筛查和诊断是非常重要的一步。近年来,基于深度学习的医学影像分割任务取得了巨大进展。然而大多数具有高性能的深度学习分割模型都需要大量的金标准数据作为支撑,这对医学影像来说无疑是一个巨大的挑战,因为医学影像分割标注的获取耗时耗力并且由于医生经验的不同非常容易出错。因此,研究小样本图像分割方法对于临床应用来说具有非常重要的价值。本文对乳腺癌的动态对比增强磁共振成像(DCE-MRI)和超声图像数据进行了回顾性研究,基于注意力机制和元学习理论,提出了无创的、精准的医学影像分割算法。论文主要研究如下:(1)针对乳腺肿瘤分割中的上下文信息聚合问题,提出图像内外上下文信息聚合分割网络。图像内外上下文信息聚合模块同时考虑了乳腺癌图像内部的上下文信息和乳腺癌图像的分子分型上下文信息,以进一步增强编码特征的像素级特征表示,最终提高网络的分割性能。(2)针对乳腺癌超声图像强度分布相似、肿瘤形态差异大和边界模糊导致其难以被准确分割的问题,提出混合卷积注意力小样本分割模型。该模型通过在网络中嵌入通道卷积注意力块和空间卷积注意力块,引导网络在通道和空间维度上提取鲁棒性更强的特征表示。此外,小样本学习能够在仅有少量样本的情况下提升模型的泛化能力,从而更加轻松地应对复杂的乳腺肿瘤分割任务。(3)针对乳腺肿瘤的异质性和训练具有高性能的深度学习分割模型需要大量带标签样本问题,提出双向卷积循环图注意力小样本学习模型。为学习DCE-MRI图像中富含的药代动力学先验知识,采用双向门控循环单元提取DCE-MRI图像序列中的时间序列信息以及图注意力单元提取每个时序对应的肿瘤体中的空间结构信息。此外,免疫组织化学驱动的小样本学习方案利用了乳腺肿瘤独特的免疫组织化学表型和分子分型特性,通过在训练期间学习特定分子分型的MRI成像表型特征来优化网络参数,提升模型对不同分子分型肿瘤的泛化能力,实现肿瘤图像在少量样本情况下的精准分割。

关键词： 病灶检测   深度学习   注意力机制   医学影像   可解释性  

摘要： 随着医学影像技术的快速发展和临床影像数据量的急剧增长,现代医学工作者面临着如何快速、准确地对不同疾病医学影像进行诊断、分类等重大挑战。利用人工智能技术对医学影像进行病灶检测,可以提高医生的工作效率,缓解医院压力。随着深度学习在计算机视觉领域取得巨大成功,为医学影像病灶检测任务提供了新的思路。深度卷积神经网络能效提取医学影像中的各种病灶特征,以实现病灶的定位和分类等任务。因此,研究基于深度学习的医学影像病灶检测算法研究具有重要的理论意义和应用价值。然而当前的研究在特征图生成方面仍然面临一些挑战,同时还存在着模型可解释性不强等问题。据此,本文提出一种基于深度学习的医学影像病灶检测模型,在病灶检测与可解释性方面得到了较为优秀的结果。本文的主要工作:（1）为突出与病灶分类任务相关的重要内在特征,本文提出一种利用通道和空间注意机制的空间注意力叠加模块用于识别病灶的内在成像特征,并且设计了多层特征融合模块用于协调来自不同通道的不同特征并强调重要信息。将这两个模块连接起来以提取关键图像特征,作为疾病诊断的基础。（2）为提高病灶检测器的性能,将所提出的模块嵌入基线神经网络,并开发了一种名为SAS-MFF-YOLO的模型来检测病灶。为了验证模型的有效性,对北美放射学会（RSNA）和AI研习社提供的两个数据集进行了大量实验。SAS-MFF-YLO在AI研习社数据集上实现了88.1%的精确率和98.2%召回率,AP50为99%。特征图的可视化表明,该方法有助于发现、提取医学影像中的相关病变特征,具有较高的应用价值。（3）为提高模型的可解释性,同时证明模块的鲁棒性,本文提出了SProto PNet病灶检测模型,该模型模拟人的分类逻辑进行图像推理,具有较强的可解释性。为验证模型的有效性,在Chest X-ray14数据集上进行了实验,结果表明,该方法有效地提升了医学影像病灶检测的性能,并提高了模型的可解释性。

关键词： 深度学习   医学影像配准   级联网络   自注意力机制   多尺度策略  

摘要： 医学影像配准作为医学影像处理过程中的一个关键环节,旨在对齐图像中的错位的、不同位置的相同器官结构,为医疗人员提供准确的诊疗影像,在图像引导手术治疗、疾病诊断、图谱研究等领域有重要应用。目前传统医学影像配准方法配准过程复杂、速度慢,同时配准的质量较差,难以符合临床治疗的准确性和实时性要求。同时,由于影像拍摄条件的不一致,如拍摄角度、位置、器官挤压程度的不一致,图像中时常存在大位移偏差和复杂变形关系,如果不对这些关系进行校正优化,就难以准确地对齐影像中不一致的区域,影响方法的最终的配准质量。为此,本文采用深度学习技术和多尺度策略改善上述问题,并采用人脑和膝关节软骨MRI数据集加以分析和验证,其主要研究重点和贡献如下:(1)本文提出一种基于Transformer的多尺度医学影像仿射配准方法。针对影像中存在的大型线性错位关系和传统方法配准效率低下的问题,本方法结合深度学习中Swin Transformer和图像金字塔技术,通过输入多级特征图和图像块映射拼接,为配准网络提供多尺度的图像特征,通过学习高分辨率特征图的细节关系指导改善前一个阶段的预测参数结果,实现了对仿射配准结果由粗到细的优化。同时,针对3D医学图像,本方法提出了阶段视觉模块,引入带移位窗口的自注意机制并实现了其3D版本,从而实现远距离的全局特征关系建模,去除了位置嵌入矩阵并使用连续小卷积核图像块嵌入代替线性图像块嵌入,更好地编码图像的像素级空间信息;通过构建仿射配准头将图像块特征转换为几何变换参数,进而构建仿射变换矩阵。最终,通过对比实验证明了本方法的准确性和实时性。(2)本文提出一种基于Transformer的级联多阶层医学影像配准方法,针对医学影像中存在的复杂变形、大位移变形情况,结合多分辨率策略和级联策略,对图像中最困难变形区域进行优化,突破了单层级网络的配准上限。本方法将可变形配准过程定义为一个阶层优化的过程,级联了三个输入尺度逐渐减小的阶层子网络,通过不断筛选局部困难变形区域并输入单尺度配准网络进行优化,渐进地提升整体配准质量;在单个阶层子网络中,结合CNN和Transfomer搭建了单尺度的U型配准网络,最大程度地发挥模型的全局和局部建模能力,学习局部区域的复杂位移关系;在阶层连接处,配备了一种基于MSE系数的困难形变感知机,用以筛选困难变形区域并输入后续阶层优化。实验结果表明,与目前流行的无监督配准方法相比,本文提出的方法拥有更好的配准质量。(3)针对传统配准系统操作困难和实用性差的问题,本文基于两种所提出的多尺度配准方法开发了一款医学影像配准系统,赋予了方法的具体应用价值。系统将算法模型整合进可操作的应用界面中,实现了点击操作的仿射配准和可变形配准功能。该系统为医学研究人员提供了高质量的配准质量和高效的配准效率,从而帮助医生更好地理解病情,为患者提供更准确的诊疗方法,同时也促进了医学研究的发展。

关键词： 图像分割   医学影像   自监督   小样本学习   生成对抗网络  

摘要： 近年来，医学图像的自动化分割成为人工智能与医学交叉学科的研究热点，在计算机辅助诊断和智能医疗应用场景中发挥着关键作用。虽然基于监督学习的医学图像语义分割方法在分割精度上已取得了一些突破，但通常需要大量密集标注的图像训练才能得到鲁棒的卷积神经网络模型，且对新语义类别难以实现准确的预测。为了缓解大规模医学图像标注数据的压力，小样本语义分割方法以少量标注样本的学习实现对新类别的预测，其良好的泛化能力在医学图像分割领域受到了广泛关注和应用。在高质量标注数据匮乏的情况下，如何提高小样本分割模型对新类别的泛化能力是小样本医学图像分割重要研究课题。因此,本文主要提出了自监督小样本医学图像分割算法,以提高在标注数据匮乏场景下模型的分割性能。本文的主要研究工作如下:　　(1)提出了一种基于图论(Graph-based)的超像素伪标签生成方法。在自监督学习范式下，采用了传统图论的分割方法作为自监督模型中的代理任务(ProxyTask),与下游小样本分割任务同属于语义分割范畴，减小了代理任务与下游任务之间的潜在差异。通过此方法离线生成了未标注图像的超像素伪标签，无需单独训练或针对下游任务进行微调操作。该自监督伪标签生成方法缓解了对人工标注样本的重度依赖，并为本文提出的小样本分割模型提供了有效监督信息。　　(2)提出了基于度量学习的局部原型对齐网络小样本分割方法(LocalPrototypesAlignmentNetwork,LPANet)。由于医学图像有较强空间位置先验信息，LPANet设计了局部池化窗口以获得局部空间位置上的多原型特征，改善了全局性单一原型特征表达不足的问题。通过度量函数对齐并计算了同一空间位置上支持原型向量与查询空间特征之间的相似度图，并进行原型特征融合和空洞空间金字塔池化(AtrousSpatialPyramidPooling,ASPP)以获得多尺度特征。该方法进一步增强了小样本分割模型的局部特征提取能力和多尺度下不同语义类别的识别能力。　　(3)提出了基于注意力对抗训练的原型网络小样本分割方法(PG-Net)。PG-Net采用了生成对抗网络结构，包括基于原型的分割网络(Prototype-basedSegmentationNetwork,P-Net)作为生成器和基于注意力的引导判别网络(GuidedAdversarialnetwork,G-Net)作为判别器。针对LPANet方法忽略了医学图像中前景与背景的上下文信息和不同尺度特征图间的语义关系，在有限标注信息下未能充分提取有效语义的不足，本文提出了改进的PG-Net模型。首先应用P-Net局部池化窗口分别对前景和背景提取了局部多原型，通过度量函数计算生成了前景与背景的局部相似度图，加强了前后景上下文特征提取能力。其次采用多尺度预测模块与原型分配模块，提高不同结构大小语义类别的识别性能，以获得更细化的预测掩膜。最后采用G-Net双支路注意力的对抗网络结构，引导P-Net生成正确的特征分布而减少模糊、偏离特征的引入。　　实验结果表明，PG-Net方法在腹部器官分割公开数据集Abd-CT和Abd-MRI上实现了更好的分割效果，分割精度分别为70.13％DSC和76.35％DSC,性能优于LPANet方法。与部分现有先进方法的对比实验中，PG-Net方法取得了更高的分割精度。

关键词： COVID-19   Transformer   卷积神经网络   医学影像分类   病灶分割  

摘要： 新型冠状病毒肺炎已经成为全世界面临的有史以来最严重的传染性疾病之一。其具有强感染性,高隐蔽性和高致死率的特点。新型冠状病毒肺炎疫情的爆发对全球公共卫生体系和世界经济活动均造成了巨大影响。如何快速准确地诊断新型冠状病毒肺炎已经成为战胜疫情的关键。而随着深度学习在医学图像处理领域的快速发展,构建基于深度学习的模型,对肺部CT影像进行医学特征提取,在临床上已经成为新型冠状病毒肺炎的主要诊断手段。由于新型冠状病毒肺炎CT图像在影像学上具有病灶分布广、特征种类多、病灶尺度不一、与其他肺部疾病具有高度的影像学相似性,以及成像特征随疾病发展的可变性等特点。直接使用已有的深度学习模型进行识别较为困难。为了应对上述挑战,本文利用Transformer和CNN在结构上的差异,构建新型冠状病毒肺炎分类和分割模型,实现对COVID-19的辅助诊断。主要研究从以下方面展开:首先,基于新型冠状病毒肺炎CT图像影像学的特征,结合卷积神经网络对局部特征的提取能力以及Transformer对全局特征的提取优势,提出了一种基于Transformer模块和卷积神经网络模块的并行双分支模型——Trans-CNN Net。根据交叉融合原理设计了双向特征融合结构,该结构将两个分支分别提取到的特征进行双向融合,通过特征融合模块将分支并行结构融合形成可以提取不同尺度特征的模型,同时利用特征可视化对分类模型的分类依据进行了可视化,增强了模型的可解释性。从而实现对新型冠状病毒肺炎CT医学影像的复杂特征进行识别,进而提高模型的整体性能。其次,提出了一种序列化编码器和轻量化解码器网络的新型冠状病毒肺炎病变区域分割模型——SELDNet。分别基于Transformer构造序列化编码器,提升模型在编码器阶段提取特征的能力。同时基于深度可分离卷积设计轻量化解码器,在兼顾模型的性能的同时降低模型的复杂度。提出利用模型结构的差异,实现不同的细粒度的特征提取。同时,为了解决随着网络深度的增加,数据特征丢失的问题,本研究在模型的编码器和解码器之间设计了基于交叉注意机制的语义关联模块,语义关联模块可以有效地增强不同层次语义的融合。该算法在保证模型编码器提取特征的能力的同时,从解码器方面有效降低了模型的复杂度,在性能和复杂度方面对模型进行了均衡,实现了对新型冠状病毒肺炎病变区域的有效分割。最后,为了验证模型的效果,分类模型在COVIDx-CT数据集上进行验证,Trans-CNN Net分类模型性能与典型CNN网络以及纯Transformer模型相比有明显的提高,实现了准确率的提升。SELDNet分割模型在Covid-19 CT肺部和感染区域分割数据集上取得了显著的效果。与现有的几种图像分割模型相比,提出的模型在新型冠状病毒肺炎病变区域分割任务中取得了更好的精度。证明了本文提出的模型在新型冠状病毒肺炎CT影像识别和分割方面具有显著的效果。本文提出的分类和分割模型为新型冠状病毒肺炎的检测诊疗提供了新的研究思路,同时也为医学图像处理领域的诊断模型提供了借鉴,具有重要的科学价值。

关键词： 医学影像   特征集成   特征强化   特征筛选   特征重构  

摘要： 近年来,深度学习技术在医学影像辅助诊断领域取得了显著的进展,特别是在医学影像分割与分类任务上。医学影像分割与分类一直是该领域的研究热点,旨在通过自动化的方式对医学影像进行精准的分析和诊断。医学影像分类任务是对整个医学影像进行类别的划分,而医学影像分割是以像素为研究对象进行分类,两类任务高度相关。本文将重点关注深度学习算法在医学影像分类与分割任务上的应用,深入研究图像特征集成、特征强化、特征筛选以及特征重构等方面的计算方法和优化过程,以提高深度神经网络在医学影像处理中的精确性和泛化能力。 本文针对目前医学影像深度编码网络存在的特征集成随机性、稀疏性和粗粒度等问题,提出了一种端到端的多重最大池化集成和跨多尺度反褶卷积网络,该网络包括编码器网络、多重最大池化集成模块、跨多尺度反褶积解码器网络和像素级分类层四部分。其中,多重最大池化集成模块在每个子模块卷积之后利用不同池化层对特征图进行特征映射,使新获取的特征图仍能够保留原特征图语义信息的平移不变性。跨多尺度反褶积解码器是将解码器网络中各子模块多尺度卷积与编码器网络中对应多尺度卷积生成的特征图进行交叉融合(不同卷积核的卷积进行融合)。最终,本文所提出的网络MC-Net在Kaggle数据集上获得了 98.81%的Dice值;MC-Net在CHAOs数据集获上得了 92.65%的Dice值;MC-Net在BraTS 2018数据集上获得了 84.05%的Dice值。本文提出的网络与其它语义分割网络模型(如PSPNet,Unet,HyperDenseNet,MS-Dual等)进行比较,MC-Net在各项指标上均显著优于其他网络。 针对特征集成网络中存在网络参数总量大、复杂度高、以及少量的样本数据下难以获得更多的语义信息等问题,本文提出了一种简单高效的双旋转网络,该网络可在强化训练过程中提高局部特征和全局特征质量,而不改变网络参数量与复杂度。本文通过对上一层输出特征图的通道数进行平均划分四等份,构建了多种通道特征的变换策略。该策略能使每个特征子通道特征获取不同方向旋转特征映射。其次,本文利用多尺度卷积和多尺度空洞卷积来学习特征图的局部语义信息和全局语义信息。最后,本文利用残差策略和集成策略对生成的特征图进行融合。实验结果表明,与现有的分割方法相比,双旋转网络在CHAOS数据集和BraTS 2018数据集上分别获得87.93%的Dice值和86%的Dice值的分割精度。 在医学影像分析过程中,深层特征对决策过程起着至关重要的作用。然而,现有网络在特征点选择方面存在抑制不足等问题,导致模型性能下降。为了解决这一问题,本文提出了一种面向医学影像的空间特征筛选网络(TSDNet),该网络能够对医学影像的多维空间特征进行多方位学习。本文设计了一种新的注意力机制,该机制能够从水平、垂直和深度三个方向上逐步提取出同一个特征点在三组不同方向上获取的权重系数。然后,本文采用交叉特征筛选策略将原始特征图分为重要、次要和冗余三个层次。此外,本文开发了交叉特征筛选模块和语义引导解耦模块,能够对特征空间语义表达信息进行逐步提升的同时,进一步挖掘次要特征点在深层特征空间中的关系,最终增强网络特征表示能力。本文所提算法在 Chest X-ray Database、COVID-19 radiography database、HAM10000(HAM)dataset三组公开数据集上分别获得了 83.36%、98.24%、60.05%的kappa值。 针对现有网络难以挖掘同一维度空间中不同语义信息特征点之间的空间关联,并且大量消除冗余特征会丢失图像语义信息完整性等问题,本文提出了一种基于医学影像的多尺度特征自主筛选、重构与序列集成网络。该网络在利用一组卷积提取医学影像浅层特征后,使用两种多尺度卷积获取深层特征,并通过交叉注意力机制为每个卷积分配两组权重。然后,本文通过计算欧氏距离确定相同位置不同尺度特征点之间的相关性,以区分重要特征和冗余特征;本文利用残差结构对冗余特征进行降维重构和二次挖掘,从而获取到丰富的深层特征。此外,本文在该阶段也引入了序列网络,能够充分学习重构后特征点之间的上下文关系;最后,本文首次提出了利用序列网络代替Flatten层来实现深层特征的压缩。并在 Chest X-ray Database、COVID-19 radiography database、HAM 10000(HAM)dataset三组公开数据集上分别获得了 80.33%、98.24%、60.28%的kappa值。

关键词： 医学影像识别   长尾识别   开集识别   小样本类增量学习  

摘要： 人工智能技术的飞速发展促进了医学影像辅助诊断技术取得了一系列重大突破,并迅速从实验阶段过渡到临床试用阶段,缓解了我国医疗资源短缺这一长期存在的问题。但是尽管如此,由于缺少高质量医学数据集,使得医学影像辅助诊断系统的成功部署面临着诸多挑战,具体包括:(1)医学数据长尾分布导致模型对尾部类疾病识别精度低的问题。临床场景中疾病发病率不同,使得医学数据集呈现高度不平衡的长尾分布,导致智能辅助诊断模型在训练过程中被头部类疾病所主导,而削弱了对少见类和罕见类疾病的学习;(2)闭集识别设置导致模型无法检测出未知类疾病的问题。智能辅助诊断模型大都是在闭集识别设置的条件下进行研发的,无法检测出临床场景中随时出现的未知类疾病影像,导致漏诊误诊;(3)小样本新类疾病增量式辅助诊断的问题。动态开放的医疗场景中会不断出现未知新类疾病,要使得系统稳定运行,需要对这些疾病进行增量式辅助诊断,然而新类疾病的数据量往往较少,即使重新训练模型也无法保证对新类疾病的正确决策。针对上述挑战,本文研究了基于人工智能的医学影像辅助诊断关键技术,重点从长尾分布医学影像识别、医学影像开集识别、小样本新类疾病增量式辅助诊断三方面开展深入研究,具体研究内容如下:(1)针对医学数据长尾分布导致尾部类疾病识别精度低的问题,提出了一种基于多分支网络的长尾医学影像识别技术(MBNM)。首先,提出了一种包括常规学习分支、尾类学习分支和融合平衡分支的多分支网络架构,三个分支从不同角度出发分别专注于常见类疾病的识别、尾部类疾病的识别以及长尾数据综合识别性能的提升,从而缓解了统一分类器识别偏差的问题。其次,提出基于特征存储的尾类学习分支,通过反向采样策略存储历史特征来训练独立的分类器,以增强尾部类类内多样性,提升少见类和罕见类疾病的决策性能。最后,提出了基于自适应Dice损失的融合平衡分支,对常规学习分支和尾类学习分支的决策优势进行更好的权衡,并通过自适应Dice损失缓解因疾病本身诊断的难易程度不同而造成的模型偏差问题。MBNM在皮肤病Skin-7数据集和眼科F-OCT数据集上平衡准确率(BACC)分别提升了 2.78%和3.21%,表明了 MBNM模型的有效性。同时,在两个公开的自然影像数据集上验证了 MBNM的通用性和先进性,尤其是在不平衡因子为100的长尾CIFAR-100数据集上,准确率比当前SOTA的MBJ方法提升了 1.87%。(2)针对闭集识别设置导致模型无法检测出未知类疾病的问题,提出了一种基于数据混合和空间位置约束损失的细粒度医学影像开集识别技术(DM-SPCL)。首先,提出了一种简单有效的数据混合方法,通过生成不同难度级别的虚拟未知类来预知真实临床场景中细粒度、多样性的未知类分布情况。其次,提出了一种空间位置约束损失来控制已知类、真实未知类和虚拟未知类在特征空间中的位置分布。具体的,通过原型位置约束损失迫使所有的已知类分布在特征空间的外围区域,同时将虚拟未知类分布控制在已知类和真实未知类之间的区域,起到隔离作用;通过非对称实例对比损失将已知类样本特征更好的聚类,并将虚拟未知类推离,以获得已知类和未知类之间简洁明确的决策边界。DM-SPCL在眼科F-OCT数据集和胃肠内窥镜HyperKvasir数据集上AUROC分别提升了 4.32%和4.56%,证明了 DM-SPCL可以在保证已知类识别精度的基础上显著提升未知类的检测性能。同时,在三个自然影像数据集上验证了 DM-SPCL的通用性和先进性,尤其是在CIFAR10数据集上,AUROC比当前SOTA 的 ARPL+CS 方法提升了 1.73%。(3)针对小样本新类疾病的增量式辅助诊断问题,提出了一种基于特征增强和分类器自适应的小样本医学影像增量式辅助诊断技术(FSCIL-FACA),从而随着增量任务的进行,自适应调整不同任务类别之间的决策边界。首先,提出了特征增强网络,该网络通过自监督学习提高了泛化性,并通过调制注意力机制来更好地提取稀疏样本独特的判别特征。其次,提出了自适应增量分类器,通过混合关系映射网络在新旧任务之间校准统一分类器权重,并对特征表示进行自适应调整以适应全局分类任务。最后,提出了一种基于元学习的伪增量情节训练方法,通过伪增量情节选择方法构建伪增量任务,对混合关系映射网络进行多阶段训练,以快速适应新任务并具备小样本类增量学习的扩展能力。FSCIL-FACA在胃肠内窥镜HyperKvasir数据集和皮肤病Skin-7数据集上平均准确率(Avg)分别提升了 2.79%和1.39%,证明了 FSCIL-FACA显著提升了小样本新类疾病增量任务的总体性能。同时,在两个自然影像数据集上验证了 FSCIL-FACA的通用性和先进性,取得了 SOTA的效果。

关键词： 上下文挖掘   非对称目标感知   医学影像分割   深度神经网络  

摘要： 自动且准确的医学影像分割能有效缓解肿瘤对人类健康造成的威胁，并在临床医学诊断以及进展监测方面具有重要意义。近年来，深度神经网络凭借其优秀的性能得到了众多专家学者的深入研究和探索，在医学影像分割领域更是得到广泛关注与应用。尽管深度神经网络在众多医学图像的分割任务中取得了优异的成绩，但仍然面临着以下几个问题的挑战：（1）病灶在病发早期、晚期以及不同患者之间存在着显著的形态和尺度差异，而现有方法建模形式单一、缺乏对图像长距离依赖关系的建模;（2）肿瘤浸润生长导致病灶位置特征不明显及病灶边界模糊等，而现有注意力机制利用全局池化来特出特征信息并不具备针对性，且它们无法捕获切片间的空间语义信息;（3）三维医学图像前景背景类别的极度不平衡会使得模型偏向于数量庞大的背景类别，最终使得前景像素仅被部分分割、甚至遗漏。　　针对“病灶的尺度变化剧烈”的问题，本文设计了一个用于二维图像分割的多尺度通道响应滤波器（Multi-scaleChannelResponseFilter，MCRF）来建模多尺度上下文信息，它能在特征提取的初级阶段充分提取并保留原始特征。进一步地，针对“病灶的尺度变化剧烈，而现有方法建模形式单一、缺乏对图像长距离依赖关系的建模”的问题，本文对设计了一个应用于三维医学图像分割任务的多层次上下文特征融合模块（Multi-levelContextualFeatureFusionmodule，MCFFM），目的是通过建模远程像素的长距离依赖关系来捕获特征图的多尺度全局上下文，从而协助模型捕获图像的多尺度全局上下文。　　针对“病灶区域分布的位置特征不显著，而现有注意力机制利用全局池化来特出特征信息并不具备针对性”的问题，本文设计了位置协同感知注意力（PositionCollab-orativePerceptionAttention，PCPA）模块来强化模型对病灶位置特征的感知能力，它能够从通道、空间横轴坐标和空间纵轴坐标等维度上强化病灶区域的位置特征，从而有助于模型学习病灶区域的位置特征。进一步地，针对“病灶边界模糊，而现有注意力无法捕获切片间的空间语义信息”的问题，本文设计了一个应用于三维医学图像分割任务的三重特征自适应增强模块（TripleFeatureAdaptiveEnhancementModule，TFAEM），目的是增强病灶区域的特征表示并解决由复杂上下文造成的边界模糊问题，从而引导模型获得更加接近于真实标签的分割结果。　　针对“三维医学图像前景背景类别的极度不平衡”的问题，本文提出了非对称类别校正损失（AsymmetricClassCorrectionLoss，ACCL）函数来解决医学影像分割中的极端类别不平衡问题。具体而言，ACCL通过为模型的假阴性系数添加一个具有衰减性质的非对称修正因子来缓解模型对背景类的过度偏向，同时利用相对权重系数来使模型获得较好的梯度平滑。　　最后，本文在一个私有的鼻咽癌肿瘤分割数据集（NPCTS）和两个公开肝脏肿瘤分割数据集（LiTS和3Dircadb）上对上述优化算法进行了消融实验和对比实验，以此来验证其有效性。在鼻咽癌肿瘤二维图像分割任务中，消融实验的结果证明了MCRF和PCPA模块的有效性，同时，我们的方法分别在Recall、Precision和Dice上获得了79.78%、69.53%和74.85%的性能分数。在三维医学图像分割任务中，消融实验结果证明了MCFFM、TFAEM和ACCL的有效性。更重要的是，我们的方法在NPCTS数据集上获得了Recall为78.63%、Precision为76.41%、Dice为76.11%、ASD为1.61mm和HD为10.75mm的性能分数，在LiTS数据集上获得了Dicepercase为73.70%、Diceglobal为84.1%、ASD为1.08mm和HD为6.15mm的分割性能，在3Dircadb数据集上获得了Recall为64.69%、Precision为86.86%、Dice为68.62%、ASD为4.24mm和HD为8.68mm的优秀性能。上述结果表明，本文提出的方法在三个数据集上的分割表现均优于现有最先进的网络。