教学课程资源库 更多>>

关键词： 《中国医学影像学杂志》  

摘要： ~~

关键词： 深度学习   跨模态检索   医学图像   诊断报告   对比学习  

摘要： 跨模态医学图像文本检索可以通过医学图像检索得到对应的诊断报告或者通过诊断报告检索得到对应的医学图像,向医生提供包括医学图像和诊断报告在内的相关过往病例,可以提高临床决策的准确率和效率。跨模态检索任务需要学习到具有跨模态一致性和类间判别性的多模态特征,以便通过距离度量实现跨模态检索。然而多模态医学数据中医学图像相对于自然图像类间差异性更小且图像模态和文本模态的模态间差异更大,图像模态难以学习到具有语义判别性的图像特征。此外,一张医学图像通常包含了多个病症区域,所以医学数据样本通常具有多个语义标签且较为复杂。如何从色彩、纹理信息不丰富且噪声较大的医学图像中提取与诊断报告内容相关的复杂语义信息是一个难点。目前已有的跨模态检索方法大多是应用于自然数据集,没有考虑到医学领域中图像模态的学习难度远大于文本模态的问题,以及多标签医学数据中复杂的语义信息难以学习的问题。因此,本文提出了两种模型,基于复杂模态判别性增强的跨模态医学图像文本检索模型和基于多模态语义融合的医学图像文本检索模型。1.针对医学领域中图像模态复杂程度远大于文本模态的问题,本文提出了基于复杂模态判别性增强的跨模态医学图像文本检索模型。该模型通过图像模态子网络生成图像特征并利用对比学习方法增强图像特征的语义判别性,通过文本模态子网络生成文本特征,利用图像文本对的成对关系减小图像模态和文本模态之间的跨模态差异。此外,通过模态间参数共享的标签预测网络生成预测标签,构建标签预测损失,约束模型进一步减小跨模态差异并提升多模态特征的语义判别性。在三个医学数据集上的实验表明,该方法在跨模态检索精度上取得了一定的提升。2.由于一张医学图像通常显示了多个病症,所以一张医学图像和一份诊断报告一般属于多个语义类别。为了学习到多标签医学数据中复杂的语义关系,本文提出了基于多模态语义融合的医学图像文本检索模型。该模型通过语义模态子网络生成语义特征,然后利用一个模态间共享的跨模态注意力块提取文本特征、图像特征与语义特征之间相互关联的语义信息。并且特征空间和标签空间中的监督损失也充分利用了语义标签。实验表明该方法提升了在多标签医学数据集上的跨模态检索准确率。3.设计并实现了一个胎儿超声图像-诊断报告跨模态检索原型系统,该系统对本文提出的跨模态检索模型进行了封装,能够实现胎儿超声图像和诊断报告模态内与模态间的检索。医院妇产科医师可以在系统中输入胎儿超声图像检索相关诊断报告,输入诊断报告检索相关胎儿超声图像,输入胎儿超声图像检索数据库中相似的胎儿超声图像,输入诊断报告检索数据库中过往相同病症的诊断报告。

关键词： 医学影像   深度学习   领域自适应   自集成网络   生成对抗网络  

摘要： 近年来随着计算机技术的高速发展,尤其是深度学习的引入,医学影像分析领域变得越来越自动化与智能化。这些技术在医学领域的应用包括疾病的诊断与分类、病灶的分割和检测等。众所周知,深度神经网络的性能很大程度上取决于训练集数据的质量高低,然而医学影像数据的标注往往需要耗费大量的专业人士的时间成本,同时,医学影像数据有时还会涉及到数据隐私等问题,这使得神经网络的训练难以开展。因此,研究面向多模态医学影像分析的领域自适应方法有十分重要的意义。本文在国内外研究基础上,对适用于医学影像分析的领域自适应方法展开了一系列研究,主要包括以下三点:(1)面向医学影像分割的领域自适应方法。本文提出了一种基于自集成网络的领域自适应方法。其中基础网络采用的是U-Net,引进了注意力机制来识别图像特征,并进一步利用这些特征来指导计算目标域的一致性损失。在一致性损失的指导下,学生网络可以从教师网络的输出中学习,同时学生网络还受其源域图像分割损失的影响。教师网络的参数采用指数滑动平均的方式进行更新。本文采用了公开的眼底图像数据集和细胞图像数据集进行实验,实验结果证实了该领域自适应方法的有效性。(2)面向医学影像分割的无源域数据领域自适应方法。本文提出了一种领域自适应方法,该方法不需要源域图像的数据,而是利用生成对抗网络中判别器识别图像特征的特点,让判别器学习了目标域的特征,再将判别器的参数迁移到分割网络的下采样部分中。本文采用公开医学影像数据集进行实验,实验结果表明了在没有源域数据的情况下,该方法可以有效减小分割模型在迁移过程中带来的损失,具有一定的先进性。(3)面向医学影像分类的无源域数据领域自适应方法。该方法基于生成对抗网络,并以残差网络为分类器,利用随机算法得到随机噪声,再根据目标域图像的类别,将标签输入到生成器中。生成对抗网络中的判别器的输入为生成图像和真实图像,并予以真实性判断。然后将生成的目标域风格的图像以及伪标签输入到分类器中,用于指导分类器的训练。本文选取了三个公开的关于糖尿病视网膜病变程度分类的数据集,实验结果表明该方法一定程度上解决了无源域数据带来的模型迁移之后准确率过低的问题,具有一定的实用价值。

关键词： 医学影像科   脑卒中   急诊处理   绿色通道   时间  

摘要： 目的 分析医学影像科在急性缺血性脑卒中（AIS）网络协作专科联合体绿色通道中优化诊治流程对缩短患者的入院至介入干预治疗时间（DIT）的作用。方法 优化组选取2017年10月至2020年8月区域急性脑卒中救治绿色通道专科医联体、优化建立影像科快速救治通道流程后行介入治疗的患者，共86例；对照组选取2014年6月至2017年10月经急诊脑卒中救治绿色通道救治的患者，共52例。观察脑卒中患者到院后急诊到影像检查时间、影像检查时间、影像检查后到介入导管室时间以及DIT。结果 优化组各项就诊时间与对照组相比均有缩短，尤其是影像检查后到介入导管室时间以及DIT明显缩短（P <0.01）,DIT基本符合小于1h的目标要求。结论 医学影像科优化AIS快速绿色通道中的诊治流程，能够缩短DIT，对提高救治成功率和预后具有重要的作用和意义。

关键词： 混合现实   HoloLens2   三维重建   医学影像  

摘要： 混合现实技术是继虚拟现实、增强现实之后出现的新型数字全息影像技术,能够带给用户良好的沉浸式交互体验。国家工业和信息化部在《关于加快推进虚拟现实产业发展的指导意见》指出我国要推动包含混合现实技术在内的虚拟现实应用创新,为信息产业培育新动能。“VR+健康”是其推进的重点行业应用之一。世界卫生组织数据统计结果显示,目前脑卒中已成为了世界第三大治病死因。由于粥样硬化等原因引起的颈动脉狭窄,会导致心脏输送到大脑的血液不足,这是引起缺血性脑卒中的主要原因之一。针对颈动脉狭窄问题,治疗的关键环节就是找到血管狭窄病变部位确定手术开口,进而取出血管斑块。但凭借患者CT等二维的影像学检查图像,医生进行诊断与治疗,往往需要依靠多年的临床经验与较高的空间想象能力。而混合现实技术正可以大大降低手术对医生这两方面能力的要求。本文以研究利用混合现实技术辅助进行颈动脉内膜切除术为目标,结合Web服务技术开发了一套基于HoloLens2的医学影像辅助治疗系统。本文主要工作包括以下几方面:(1)研究医学影像三维重建技术,利用相邻断层图像的相似性,结合区域生长法与移动立方体算法提出了一种颈动脉自动三维重建方法。方法仅需一次人工交互,具有节省大量人工干预的优点。(2)研究混合现实的显示与交互技术,以动态加载本地STL模型文件的方式,根据用户设定对骨骼、动脉、静脉模型分别渲染成不同颜色显示到场景中,并可对其构成的整体进行交互操作。(3)研究医学影像的数据服务技术。结合Web服务技术和混合现实技术,搭建了一套具有医学影像三维重建、医学影像数据管理和三维医学影像显示与交互功能的医学影像辅助治疗原型系统。将三维重建算法集成到系统中,Web端负责对医学影像的三维重建与数据管理,HoloLens2端负责对三维医学影像的显示与交互。(4)将系统应用到了临床科研实验,用于辅助进行颈动脉内膜切除手术,反馈结果表明,基于HoloLens2的医学影像辅助治疗系统可以帮助经验不足的医生快速定位血管狭窄位置,确定手术开口,减小患者创伤面积,对于疾病的诊断、术前规划、术中导航具有重要意义。

关键词： 卷积神经网络   细胞核分割   医学影像   组织病理学   深度学习  

摘要： 由于全球癌症的发病率和死亡率逐年增长,癌症已经成为导致人类死亡的第二大疾病。癌症是由分子畸变导致正常细胞失控所引起的疾病,其特点是癌细胞不受控制地生长,癌细胞不仅在原发部位快速生长,通常会转移并扩散到身体的其他健康部位,使病情进一步恶化。近年来,计算机辅助诊断技术方法在医学图像分析任务中得到广泛应用,其采用图像分析和计算技术对医学影像进行有效处理,客观评价明显部位,极大的提高了医学诊断的准确性、速度和自动化水平。尽管计算机辅助诊断技术在医学诊断中发挥了巨大的作用,但现有的组织病理图像细胞核分割方法中仍然存在着细胞核差异性和细胞核粘连的问题,这限制了细胞核分割的精度。在癌症治疗中,分析病理细胞核、判断癌细胞的状态对于癌症诊断至关重要。因此,克服这两方面的问题、提高细胞核分割的精度值得研究人员深入研究。在组织病理图像细胞核分割中面临着两方面的问题。一方面,癌症细胞核的大小、形状和染色模式在不同器官和癌症分期中具有很大的差异性,多种差异导致病理专家难以得到一致的分析结果。另一方面,经过染色的细胞核簇区域之间的细胞核有粘连状况,细胞核之间的边界模糊难以区分,导致细胞核实例难以量化。这些因素给细胞核分割带来了极大的挑战。针对以上问题,本文将病理图像细胞核分割作为研究目标,开展相关研究。本文将细胞核分割问题看作两个相关的任务:像素级别的分割(语义分割)和实例级别的分割(实例分割)。语义分割对图像每个像素进行分类,解决细胞核特征差异性大的问题,增强分割结果的客观性。实例分割不仅需要识别像素的类别,还需要为每个核像素注明所属的细胞核实例,因此可以在粘连的细胞核簇中区分每个细胞核并得到具体的细胞核量化结果。本文的主要贡献和创新点主要包括以下两部分:(1)本项研究根据H&E染色的组织病理图像中细胞核的特点,提出了基于边缘点的细胞核语义分割模型。本文对病理图像染色进行了分析,根据细胞核与其他部分的颜色特征差异提出对细胞核的边缘进行倾向性采样的策略,从边缘点的角度对细胞核进行语义分割,得到了AJI指数69.15%和Dice指数81.76%的精确度,提升了细胞核语义分割的效果。(2)本文提出了基于可变形多级特征网络的细胞核实例分割模型,在特征和分割两个阶段对细胞核实例分割的过程进行了研究,对传统卷积神经网络的特征提取、特征融合以及掩码分割阶段进行了改进与增强,在Mo Nu Seg 2018数据集上的m AP和m AR分别达到了37.8%和47.4%,提升了细胞核实例分割的效果。

关键词： 卷积神经网络   医学图像分类   注意力机制   空频域特征  

摘要： 近些年来,以卷积神经网络技术为首的一批深度学习技术在自然图像处理领域崭露头角,特别在图像分类任务上,深度学习的方法已然超越了传统方法的效果。然而,与自然图像不同,医学影像中目标的特征可能并不明显,不同目标之间的特征也有相似之处。因此,如果直接将为自然图像设计的深度学习模型用于分类医学影像数据,其效果会有所降低。此外,现阶段大部分基于卷积神经网络技术的模型只关注于图像的空域数据,而忽视了包含冗余信息的图像频域数据部分,这意味着这些模型并没有利用数据所提供的全部信息。为了改善和解决上述问题,本文提出使用融合后的空频域特征及其多尺度特征来提升模型在医学图像上的分类精度,具体的研究内容包括如下三个部分:基于注意力机制的医学图像语义特征融合算法研究。本文首先展开了对眼底病灶多标签分类方法的研究,提出图像特征融合模块,利用主干网络所提取的具有丰富语义信息的深层特征去指导网络浅层特征的细化,以提取图像的多尺度特征,并针对数据的特点,提出病灶关联性学习模块,用于学习图像病灶之间隐含的关联性,以提高网络模型的分类精度。通过对实验结果进行分析,证明了多尺度图像特征以及图像中病灶之间隐含的关联性可以提高模型的分类精度。基于离散余弦变换的空频域特征融合医学图像分类算法研究。本文通过利用离散余弦变换提供的频域数据,提出基于注意力机制的频域信息筛选模块,对频域特征图上的信息进行筛选,并将筛选后的频域数据与网络中的空域特征进行融合,得到最终的空频域特征。通过在青光眼眼底图像数据集上进行实验,证实了多尺度特征和空频域特征可以提升模型分类精度的猜想,并展示了部分频域数据的特征图。基于非下采样轮廓波变换的空频域特征融合医学图像分类算法研究。由于基于离散余弦变换的方法只能保存图像的部分纹理和位置信息,本文在非下采样轮廓波变换技术的基础上,提出多尺度频域特征提取模块,从变换后得到的包含丰富纹理信息且具有不同尺度的频域数据中提取多尺度频域特征图,并将频域数据与网络中提取的空域特征进行融合,得到最终的空频域特征。最后在多个公开数据集上进行实验,实验结果进一步证明了,多尺度特征和空频域特征可以提升模型的分类精度。

关键词： 医学影像   神经网络   多尺度分割网络   肾脏图像分割  

摘要： 我国人民的肾脏患病率较高,但病情的知晓率却比较低。随着医学技术的发展,医务工作者对肾病患者进行诊疗的过程中,通常会选择借助医学影像技术,例如电子计算机断层扫描(Computerized tomography,CT),以非侵入式的方法获取患者身体内部相关组织和器官的生理功能状态及病理变化,随后结合病人的问诊信息并利用自身的从医经验进行诊断。由于缺乏对病人信息合理的数字化管理,医生通常很难全面了解病人的病情信息。此外,医生长时间枯燥的人工阅片工作较为繁琐且效率较低,还会给精准诊疗带来风险。因此开发和实现一个能对病人信息进行管理并能辅助医生进行肾病诊断的系统是非常有必要的。 在该背景下,借助于深度学习相关算法,结合前后端相关知识,实现了自动化的肾脏图像分割系统。该系统可以分为两大核心任务:第一是搭建一套基于B/S架构的前后端系统,该系统与用户进行交互负责相关业务请求的处理,前端采用React技术,负责页面的展示,后端采用Flask框架,负责相关功能的调用,考虑到系统的可扩展性和交互的实时性,采用了MySQL存储、对象存储和Redis缓存存储相结合的方式实现。第二是实现系统的核心功能——肾脏图像的分割,通过对国内外图像分割网络的分析,实现并训练了当前在分割领域中效果较好的四种网络,此外还设计并实现了更符合肾脏影像多样性特点的多尺度分割网络,该网络融合了多尺度模块和精心设计的混合注意力机制。然后,将上述五种网络在训练集上进行训练并调优,供医务人员选择调用。 经过功能性测试,系统的用户管理功能、信息录入功能、信息检索功能和肾脏图像分割功能都可以正常运行。经过非功能性测试,所有接口都能满足系统的实时性需求,且肾脏图像分割的准确性满足系统需求。

关键词： 计算机视觉   牙周炎诊断   目标检测   图像分类   深度学习   医学影像  

摘要： 牙周炎在我国中老年人群中属于高发疾病,随着我国进入老龄化社会,这一状况将日益严重。牙周炎的常规检查手段是全景X光片,而传统的人工读片方式耗时长,且诊断精度受到个人经验影响。随着深度学习的发展,计算机视觉技术在医疗图像处理上表现出了很强的应用潜力。本文基于计算机视觉技术开展口腔全景X光片的牙周炎辅助诊断研究,主要研究内容归纳如下: (1)针对口腔全景X光片分辨率过大,背景信息冗余过多的问题,提出高精度的牙齿区域定位网络ETP-Net(Enhanced Tooth Positioning Network),以解决牙齿定位与分割问题,为牙周炎分类奠定基础。首先,基于Inception的思想设计多路径特征提取模块,采用不同感受野的卷积核,获取更丰富的特征;同时加入残差连接,保证网络深度。其次,采用沙漏式对称设计搭建主干网络,先进行降采样,再逐渐恢复特征图尺寸,实现浅层空间信息与深层语义信息的融合。最后,摒弃常规锚框机制,采用anchor-free方法设计检测器,将目标检测问题转换为中心点回归问题,以获取更高的输出速率与检测精度。实验结果表明,所提网络的m AP可以达到99.35%,优于对比网络,且输出速率能够满足实时性要求。 (2)在上述牙齿定位基础上,提出双阶段分类网络TS-PCNet(Two Stage Periodontitis Classification Network),分别针对牙槽骨吸收与根分叉病变两种症状,完成牙周炎分类。首先,考虑牙周炎诊断的聚焦性,融合卷积注意力机制与多感受野特征提取方法,提出注意力机制增强网络AE-PCNet(Attention Enhanced Periodontitis Classification Network),使该网络在训练中聚焦关键特征,减少次要信息干扰,以提高识别精度。其次,在AEPCNet基础上,针对牙周炎不同症状特征差异性小,设计了双阶段分类网络TS-PCNet,将分类过程划分为预诊断和精细诊断阶段,以降低网络学习难度,提高分类准确率。最后,建立单颗牙齿的牙周炎分类数据集,并训练上述AE-PCNet和TS-PCNet两个网络。实验结果表明,AE-PCNet能够有效提高单类别准确率与整体的分类准确率,TS-PCNet通过双阶段设计进一步增强了网络的识别能力。两个网络分类效果都优于主流的分类网络。 (3)基于上述牙齿定位与分类研究,融合ETP-Net与TS-PCNet,建立牙周炎辅助诊断网络PDA-Net,实现牙周炎的端到端检测。首先,简化ETP-Net与TS-PCNet结构,降低网络复杂度。其次,采用ETP-Net获取每颗牙齿位置信息,结合ROI extraction(Region of Interest extraction)模块将位置信息映射回原输入图像,切割出单颗牙齿区域,并将切割出的牙齿区域尺寸调整一致。最后,将牙齿区域输入TS-PCNet,实现牙周炎分类。实验结果表明,与主流模型相比,PDA-Net对牙槽骨吸收与根分叉病变的检测精度更高,且能满足实时性要求。 综上所述,本文基于目标检测与图像分类原理分别研究了牙齿定位与牙齿分类网络,并建立牙周炎辅助诊断网络,实现端到端的牙周炎检测,该牙周炎辅助诊断网络具有一定的理论价值和广泛的实际意义。未来可依据本论文成果设计牙周炎辅助诊断系统,以此辅助医生快速进行牙周炎诊断,提高诊断效率和精度。

关键词： 医学影像   深度学习   图像分类   迁移学习   语义分割  

摘要： 延迟增强心脏核磁共振(DE-CMR)技术被认为是评估心肌梗死和心肌活性的金标准,常用来诊断心肌疾病。从图像中识别心肌梗死区域,并对病灶进行定量分析可以提供重要的参数信息,因此对梗死区域进行准确的分割对患者的临床诊断和预后治疗至关重要。目前在临床实践中,医生先筛选出包含心肌病变的图像,然后手动分割出病灶的轮廓,从而定量评估心肌梗死程度。这项工作往往非常耗时且繁琐,而且不同医生之间的标准也不一样,可能导致分割结果不准确。针对以上需求,本文基于深度学习方法设计了心肌病变分类网络和心肌梗死自动分割网络,用于实现心肌病变影像的智能分析。本文在研究了国内外现有的各种医学图像分类和分割方法之后,提出了一种心肌病变图像分类网络,该网络基于迁移Resnet50实现,网络通过预训练学习图像的浅层特征,再从DE-CMR图像中学习高层语义特征来对网络的输出层进行更新。基于GAN网络设计了一个图像增强方法,通过该网络来合成心肌MR图像,扩展了分类网络的训练数据集,提升了网络的分类准确率,使测试集上的分类准确率达到93.83%。此外,本文基于深度学习方法提出了一种心肌瘢痕自动分割方法,该方法采用级联方案,先进行边界框检测,提取心肌周围的感兴趣区域,然后再通过两个分割网络依次分割心肌和心肌瘢痕。分割网络基于全卷积DenseNet的网络架构进行设计,在跳层连接中加入残差路径,减少编码器和解码器之间的语义差距,在输入层引入多尺度残差模块,扩大模型的感受野,增强网络的多尺度特征提取能力。本文的模型基于EMIDEC和Myops2020挑战赛的数据进行训练和预测,实验结果表明,本文实现了心肌病变图像的准确分类和心肌病灶自动分割方法。与其他算法的对比和实验分析,验证了本文所提出的两种方法的有效性。