教学课程资源库 更多>>

关键词： 多分布目标分割   小目标分割   多尺度特征学习   移位通道注意力  

摘要： 医学影像是疾病筛查、诊断和治疗的最主要的信息来源。使用计算机辅助诊断技术对医学影像信息进行进一步的智能化分析挖掘,以辅助医生解读医学影像,成为现代医学影像技术发展的重要需求。近年来,人工智能、机器视觉等技术的突飞猛进,深度神经网络模型在图像视觉识别中表现卓越,为医学影像分析提供了新思路,已被广泛应用在医学图像的分割任务中。利用深度神经网络模型对医学影像进行自动分割,可以提高医生的诊断和治疗效率,因此受到了众多研究人员的关注和研。然而,即使使用深度学习,医学影像的自动分割仍然是一个具有挑战性的问题。现有的方法也未能取得令人满意的结果,其原因可以从四个方面进行描述:(1)医学影像中的目标区域与周围的器官组织的对比度低,且解剖结构复杂,现有医学图像分割方法的精度低;(2)医学影像中的目标区域具有大小和形状多样性的特点,简单地通过下采样操作会丢失大量的语义信息,网络很难在这个任务中实现多尺度特征的学习;(3)相比自然图像,三维医学影像的分辨率更大,现有的注意力机制容易引入更多的训练参数,需要承受更大的计算负担;(4)医学影像中的病变区域具有多分布的特点,现有的基于区域级的损失函数难以精准地分割多分布的病灶。针对问题(1),本文设计了一种名为多结构响应滤波器(Multi-Structure Response Filter,MSRF)来提取3D结构的先验信息。与传统的方法相比,MSRF被设计用来增强其他具有特定几何结构的组织和器官,而不是增强待分割的结构。因此,增强后的图像可以指导分割网络区分图像中的待分割结构和相似的器官组织。针对问题(2),本文设计了一个多尺度上下文特征提取模块来充分捕获上下文信息。具体地,本文在U-Net的卷积块中使用空洞卷积来提取目标区域的多尺度特征。此外,由于医学影像数据集的数量小,具有大量可训练参数的模型容易导致过拟合,过度使用各种网络组件进行特征提取和融合并不适用于此任务。因此,本文在空洞卷积的基础上,引入残差连接,以实现更有效的多尺度特征学习。针对问题(3),本文首先利用三维结构先验信息来指导先验注意模块(Prior Attention Module,PAM)中的空间注意机制的执行,这有助于关键空间信息的恢复和融合。本文的PAM可以有效地模拟医学影像上不同区域的重要性,而不是从特征图中进行学习,这有助于模型提取与目标区域相关的特征。此外,为了减少注意力机制中的参数量的同时,提高模型对通道域和空间域的建模能力,我们提出了移位通道注意力模块(Shift-Channel Attention Module,S-CAM)。该算法通过移位部分通道特征的策略来对相邻通道中的特征关系进行建模,并且在无需引入额外的训练参数的前提下,增强相邻通道间特征的交互作用,进而提高判别性特征的表示能力。针对问题(4),本文提出了一个新颖的损失函数,称为Weighted-Region(WR)损失函数。WR是对现有的基于区域级的损失函数的改进。现有的基于区域级的损失函数直接计算多个区域的和,而我们的WR损失函数可以隐式地学习多个区域之间的权重,而不需要手动指定权重。在多分布目标的分割任务中,WR的目标是提高小目标区域的权重,缓解当大目标区域占多数时,小目标区域的分割难以被进一步优化的问题。最后,我们在三个数据集上对本文所提出的所有方法进行验证,分别为一个私有的食管癌数据集,两个公开的Li TS肝脏肿瘤数据集和3Dircadb肝脏肿瘤数据集。在食管癌分割任务中,食管癌分割的Dice Similarity Coeffificient(DSC)为84.839%,Precision为85.955%,Sensitivity为83.752%,Hausdorff Distance(HD)为2.583mm。在Li TS数据集的肝脏和肿瘤分割任务中,肝脏分割的DSC为96.9%,Volumetric Overlap Error(VOE)为2.56%,Average Symmetric Surface Distance(ASSD)为0.96mm。肿瘤分割的DSC为75.1%,VOE为21.09%,ASSD为1.08mm。此外,我们利用3Dircadb数据集来测试模型的泛化性能,肝脏分割的DSC为96.47%,VOE为9.68%,ASSD为2.98mm。肿瘤分割的DSC为74.54%,VOE为34.42%,ASSD为1.21mm。实验结果表明,所提出的方法在三个数据集中的表现性能均优于现有最先进的网络。

关键词： 医学影像   标注系统   半自动化   辅助诊断  

摘要： 近年来,深度学习技术已被应用到多种医学影像分析任务,为医学影像疾病诊断带来巨大突破,在消化道相关疾病辅助诊断任务上也得到了广泛的关注,然而标注数据匮乏、模型落地艰难却是阻碍深度学习在消化道疾病研究发展的重要原因。经过前期调研,当前深度学习在消化道疾病医学影像的研究普遍存在以下问题:(1)纯手工标注方式标注数据,消化道医学影像数据的标注需要经验丰富的专业医生来完成,标注工作量大、成本高。(2)缺乏大规模、高质量的消化道医学影像数据集。消化道疾病的影像数据分布较为分散,难以集中收集管理,获取大规模数据集的难度较大。并且当前的医学影像标注系统缺乏多人协作标注功能和对系统人员、影像数据的管理功能,不足以构成大规模、高质量的医学影像数据集。(3)当前的消化道医学影像研究缺乏一个可支持多种深度学习框架接入的模型部署平台,缺乏一个可提供多种消化道疾病的辅助诊断软件。针对上述三个问题,本文主要的研究内容和成果如下:(1)针对纯手工标注的弊端,本文提出一种新型的标注模式——半自动化标注模式,将此标注模式应用到医学影像标注系统中,为标注医师节省了大量的时间与精力。半自动化标注模式以小肠间质瘤检测模型为例,从模型搭建、模型自主训练和数据标注三个方面对其进行详细阐述,本文通过大量实验对比,表明半自动化标注模式相较于传统手工标注模式在时间和质量上存在较大优越性与方案可行性。(2)设计与实现医学影像半自动化标注系统。针对消化道医学影像数据集的缺失问题,我们设计与实现了一款在线的医学影像标注系统,面向所有医疗机构收集影像数据。针对标注系统的多人协作和质量控制等问题,本文引入群体智能思想,系统设置了标注人员和审核人员,在实现对DICOM医学影像数据标注功能的基础上,提供多人协作标注-审核功能和全面的医学影像数据管理功能,通过多名用户的共同协作构建出高质量的消化道医学影像数据集。(3)针对模型部署困难等弊端,本文提出一种针对C/S架构软件的深度学习框架接入方案,并基于此接入方案,设计与实现了一款面向消化道疾病的智能分析软件。软件提供统一的深度学习模型部署规范,减少模型部署过程中繁琐的步骤,使模型可简单快速集成到智能分析软件中,为医生提供辅助诊断功能。

摘要： 《实用医学影像杂志》是山西省卫生健康委员会主管,山西医药卫生传媒集团有限责任公司主办的专业学术期刊。本刊为双月刊,双月30日出刊,国内外公开发行,国际标准连续出版物号ISSN1009-6817,国内统一连续出版物号CN14-1281/R,邮发代号22-195,定价12元/册。本刊面向医学影像专业及临床各专业学科的广大医务人员,重点反映我国普通放射、CT、磁共振、介入放射、核医学、超声、放疗等方面的新技术、新进展、新成果以及各种影像机械检修、投照及机器应用,同时刊登临床各专业学科医生应用影像技术诊治的新经验、新手段和新技术。

摘要： 针灸影像学是一门新兴的交叉融合学科,对于针灸学的现代科学阐释意义重大。第一届中国针灸学会针灸医学影像专业委员会于2014年9月14日在北京召开,由50名委员组成。中国中医科学院广安门医院放射科方继良主任医师为主任委员,湖北中医药大学附属中西医结合医院放射科张东友主任医师、成都中医药大学附属医院放射科侯键主任医师、广东省中医院放射科刘波主任医师、安徽中医药大学附属第一医院放射科李传富主任医师、首都医科大学附属北京中医医院针灸科刘存志主任医师为副主任委员。由韩济生院士、朱兵、田捷、卢光明、劳力行、高家红、孔健教授等海内外40名专家组成学术咨询专家委员会。2017年成立了中国针灸学会针灸脑科学产学研创新联盟,含22个省、市、自治区的78个单位260名理事;其中既有基础、临床、影像、生物工程方面的学者,又有产业多学科交叉人员;先后召开8次学术论坛,6次培训班,3次国际交流研讨会。2019年委员会换届在兰州召开,委员增至90名。在原专委会领导班子基础上增选了许建阳、

关键词： 肺结节   CT图像   分水岭算法   Mask R-CNN   三维重建  

摘要： 根据世卫组织公开的数据表明,罹患肺癌的病患在患癌总人数中占比最大且死亡率颇高。肺结节是肺癌前期表现的特殊症状。对肺结节提早筛查有助于尽早治疗,提高患者的生存几率。传统筛查手段需要借助医生肉眼观察,存在漏诊、误诊等缺点。借助当今学界备受欢迎的深度学习,对肺结节进行检测和分割是一个热门交叉研究方向。本文以肺部计算机断层扫描(Computer Tomography,CT)图像为切入点,利用较为成熟的神经网络和三维重建技术对肺结节进行研究,同时设计一款简单易用、准确可靠、性能优异的计算机辅助检测诊断系统。以下为主要研究内容: 1.各大医疗机构采集的CT图像存在部分差异,这会导致图像数据无法被批量处理从而影响效率。考虑到实验对象包含大量无关信息,所以需要将肺实质分割后再进行检测。该步骤有利于提高精度和效率。然而传统分割算法存在过度分割问题,因此本文提出一种基于图像标记法优化的分水岭算法,可以避免过分割并能较好的完成分割任务,较传统算法在分割速度上提升67%左右。 2.基于Mask R-CNN网络,研究了一种针对肺结节的辅助检测算法。本文在进行研究对比后,最终选定使用Mask R-CNN网络进行肺结节的检测和分割。但该方法在检测精度上依然存在较大的上升空间。本文首先将对开源数据集进行图像预处理,利用labelme标记工具,建立具有轮廓标签的肺部CT横截面数据集。然后根据训练数据的特点,重新设计调整网络超参数,对模型进行批量训练,以求得到最优权重系数。最后通过与其他检测算法对比实验,得出本文提出的优化算法的平均精确度(mean Average Precision,m AP)达到了89.6%,普遍提升8.2%左右。 3.研究了CT图像的三维重建。本文分别研究了移动立方体算法和光线投射算法,并在肺部CT数据集上进行对比实验,在比较两者优缺点后,确定使用移动立方体算法来实现三维建模任务。 4.基于Qt、Visual Studio等软件平台,设计了肺结节辅助检测系统并实现了肺部的三维可视化建模。该系统可以实现数据预处理、检测、分割、建模等功能,表明了该系统的有效性和易操作性。

关键词： 计算机辅助诊断   真实世界数据   多标签学习   自注意力   自反馈  

摘要： 计算机辅助诊断(Computer-aided Diagnosis,CAD)系统是辅助医生诊断或制定治疗计划的重要工具。得益于深度学习等工智能技术的高速发展,各种CAD研究在实验室环境下的标准数据集上取得良好性能。但绝大多数CAD研究中,从实验室走向实际临床应用的算法极少,其主要原因为基于实验室开发的算法大多未考虑真实世界中临床场景的高度复杂性。这些复杂性具体包括:1)临床问题复杂,如诊治过程需综合医生经验与多学科多模态信息;2)临床数据复杂,如信息因采集、储存、评估等过程而存在缺失或噪声;3)临床数据稀缺,如胰腺神经内分泌肿瘤(Pancreatic Neuroendocrine Neoplasms,p NENs)等发病率较低的小病种难以收集大量患者,难以满足建模传统深度学习算法的大样本需求。这些真实世界的临床应用问题,对CAD落地提出了巨大的挑战。如何开发具有多学科知识、易用灵活、可靠性高、且可一定程度抵抗噪声的CAD方法,是从实验室走向真实世界临床应用的关键问题。 围绕这些关键问题,本文针对以下三个关键方面展开研究:1)如何充分整合利用多模态信息,构建准确、可靠、无创的CAD系统;2)如何合理利用不完整模态数据,以减小缺失模态在CAD系统构建和推理过程中的负面影响,同时赋予模型应用灵活性,使之可基于任意缺失模态数据进行推理;3)如何使模型对多模态信息输入噪声具有一定抵抗力,使其基于一定比例噪声输入数据的推理准确性和稳定性仍满足临床应用需求。具体来说,本文针对以上三方面的贡献与创新点如下: 1)本研究创新性地提出了一种基于自注意力机制的多标签(Multi-label)学习模型。该模型将多模态数据作为监督信息,使用Transformer全自注意力模型学习多模态监督信息间的显式相关性,并整合多模态信息以预测多模态标签。推理预测过程只需输入患者的计算机断层扫描(Computed Tomography,CT)图像,使用方便且无创。本文从两个中心收集了一个具有多模信息以及随机信息缺失的真实世界p NENs数据集,将中心1用于内部五折交叉验证,中心2用于外部独立测试,在11个重要的临床诊断任务(如分级、免疫组化指标、预后预测、远端转移灶诊断)上测试了本文提出模型、单标签建模算法以及目前多种多标签模型的性能。由于存在标签缺失,因此分别只在内部数据的10个和外部数据的5个主要任务上评估性能。结果表明,该模型在中心1数据集的各主要任务上的平均受试者工作曲线下面积(mean Area Under the Receiver Operating Characteristic,m AUC)达到0.64,在中心2外部独立测试集上的m AUC达到0.74,均优于单标签以及其他多标签学习算法; 2)我们在1)提出的基于自注意力的多标签模型基础上,进一步提出一种具有自反馈(Self-feedback)机制的多标签学习框架。该框架将多标签模型的预测结果进行嵌入以重新输入网络,并不断迭代,以构建一种自反馈机制。基于此机制,缺失模态标签的数据利用率被大大提高,从而使得网络可学习到更优的标签间相关性以做出更准确的推理预测。本文基于1)中同一p NENs数据集,对使用该机制的改进模型进行了测试。结果表明,引入自反馈机制可给多标签模型带来进一步的性能提升,例如中心1数据集上的m AUC提升至0.68,中心2外部独立测试数据集上的m AUC提升至0.76。此外,为了使算法适应城乡社区以及大型医院等多种临床应用场景,我们为该框架设计了四种不同的推理模式,如专家辅助推理模式下模型可输入部分辅助任务标签的真实值进行辅助推理,或在自反馈推理模式下模型会迭代式地将自身预测值重新输入模型进行推理等,以将之进一步拓展为灵活的多标签多模态模型。测试结果表明,在中心1和2数据集上,自反馈推理模式下的m AUC可分别提升至0.71和0.78,专家辅助模式下分别可达0.71和0.81,结合两种模式优点的人机联合模式则可分别达到0.72和0.82的最佳性能; 3)为了模拟真实临床诊治过程中可能产生的噪声信息,本文生成了不同噪声程度的标签数据,并基于2)提出的自反馈多标签框架进行了一系列噪声抵抗测试。结果表明,在专家辅助模式下,该结构具有良好的噪声抵抗能力,即当输入信息噪声小于40%时,中心1和2的m AUC可分别保持在0.70和0.82。 综上,本文提出了一种可切实解决真实世界胰腺神经内分泌肿瘤数据的多标签模型,可充分利用缺失标签数据建模并做出多种临床指标的预测,且具有灵活的人机交互能力与输入噪声抵抗能力。开发的算法以及训练完成的模型已被打包并封装为操作简单的软件供医生使用,且后续有望在医院部署并开展进一步临床试验。

关键词： 脑肿瘤分割   多模态医学影像   深度学习   注意力机制   磁共振成像  

摘要： 医学影像分割对于疾病的诊断和治疗至关重要,可以有效提高临床诊断效率,为手术方案和预后治疗提供量化指导。多模态医学影像可以反映人体不同的生物信息和组织特征。因此,基于深度学习的多模态医学图像分割算法可广泛应用于智能医疗、疾病诊断、术前规划、医学大数据分析等研究领域。但是,医学图像数据的匮乏和多模态医学图像分割算法的低精度严重限制了医学图像分析在实际临床场景中的应用。本文以脑肿瘤的多模态MRI(Magnetic Resonance Imaging,MRI)为研究对象,提出了三种基于深度学习的多模态MRI分割算法。并将其应用于现有多模态脑肿瘤分割竞赛数据集,实现多模态脑肿瘤的自动分割。本文的主要研究内容总结如下:(1)提出了一种基于U-Net和空间注意力机制的改进型多模态脑肿瘤分割模型SA-UNet(Spatial Attention U-Shape Network,SA-UNet)。首先,本文在U-Net的基础上引入了空间注意力机制和实例归一化,充分融合了结构细节和高层特征信息,并使用Dice损失函数解决医学影像中正负样本类别不平衡的问题。其次,使用Cycle GAN从真实的T1模态图像生成T2模态图像,构建False T2-Bra TS2018数据集。最后,分别在Bra TS2018验证集和False T2-Bra TS2018验证集上测试和评估SA-UNet分割模型的性能。实验结果表明,在Bra TS2018验证集上,全肿瘤、肿瘤核心和增强肿瘤的Dice系数分别为0.903、0.844和0.786。在False T2-Bra TS2018验证集上,全肿瘤、肿瘤核心和增强肿瘤的Dice系数分别为0.849、0.750和0.729。本文提出的SA-UNet算法分割客观指标高,能较好地解决脑肿瘤病灶特征提取困难、多模态数据缺乏等问题。(2)提出了一种基于3D Res U-Net和卷积注意力机制的多模态脑肿瘤分割模型CBAM-UNet(Convolutional Block Attention U-Shape Network,CBAM-UNet)。首先,在编码器-解码器的基础上引入卷积注意力机制,增强通道和空间的有意义特征。其次,使用残差网络来防止梯度消失,并用组归一化以减少批量大小对分割准确率的影响。最后,CBAM-UNet分别在Bra TS2018验证集和Bra TS2020验证集上进行了性能测试和评估。实验结果表明,Bra TS2018验证集上的全肿瘤、肿瘤核心和增强肿瘤的骰子系数分别为0.896、0.839和0.783。Bra TS2020验证集上全肿瘤、肿瘤核心和增强肿瘤的骰子系数分别为0.890、0.819和0.693。本文提出的CBAM-UNet在全肿瘤和肿瘤核心区域具有良好的分割效果,模型具有良好的鲁棒性和普适性。(3)提出一种基于级联3D U-Net与通道注意力机制的多模态脑肿瘤分割模型Cascaded SE-UNet(Cascaded Squeeze-and-Excitation U-Shape Network,Cascaded SE-UNet)。首先,采用级联型分割网络以从粗到细的方式对脑肿瘤进行分割。其次,在编码器和解码器中引入通道注意力机制,融合通道特征信息,提高病灶特征表示能力。最后,在Bra TS2018验证集上对Cascaded SE-UNet模型的性能进行测试和评估,并且通过消融实验验证了通道注意力机制的有效性。实验结果表明,全肿瘤的Dice系数达到了0.894。本文提出的Cascaded SE-UNet分割模型对于病灶形状不规则、轮廓不清晰的脑肿瘤影像依然具有良好的全肿瘤分割效果,可满足临床上对分割性能的要求。综上所述,本文针对脑肿瘤MRI影像,提出了三种改进型多模态脑肿瘤分割算法,获得了较好的分割客观指标和可视化结果,具有良好的临床应用价值。