教学课程资源库 更多>>

关键词： 医学影像辅助诊断   深度学习   小样本与类不均衡问题   多任务学习   注意力机制   调和损失函数   半监督学习  

摘要： 医学影像辅助诊断是医学影像分析领域的关键问题之一,在现代临床疾病诊断中发挥着重要作用。近年来,深度学习技术凭借其优异的特征表达能力和强大的数据拟合性能,已经被广泛地应用于各种医学影像辅助诊断任务中。然而,作为一种数据驱动的建模方法,深度学习严重依赖大量样本训练模型,并且数据集中不同类别间样本数量不均衡的问题也会严重影响深度学习模型的性能表现。受限于样本获取途径少、标注成本高、数据隐私性强以及不同类型疾病发病率差异大等问题,医学影像数据集往往存在样本数量少和类间样本数量不均衡的问题,这给构建高性能的深度学习分类模型带来了极大挑战。为应对上述挑战,本文聚焦于医学影像辅助诊断中的小样本分类和类不均衡分类关键问题,从多任务学习、注意力机制、损失函数优化和半监督学习等关键技术入手,提出多种小样本分类方法与类不均衡分类方法,有效降低了深度学习模型对庞大数据量和不同类型间样本数量均衡性的要求。本文的主要研究内容和创新点概括如下:(1)提出一种基于多任务学习和孪生网络的小样本分类方法。针对深度学习模型在小样本医学影像辅助诊断任务中难以提取类间样本区分性特征的问题,基于多任务学习,通过设计能够获取同类样本相似性和不同类样本差异性的辅助分类任务,并将其与常见的分类问题相结合,构建了 一个深度孪生网络(Deep Model with Siamese Network,DS-Net),有效地提升了深度学习模型在小样本数据集上的分类性能。DS-Net模型由一个基于孪生网络的辅助监督网络(Auxiliary Supervision Network,ASN)和一个普通的分类网络(Classification Network,CN)组成。在DS-Net模型的构建过程中,为了增强模型的特征提取能力,提出膨胀残差模块(Dilated Residual Block,DRB)和DRB网络,并基于DRB网络构建ASN和CN的主干网络,使模型能够提取同一尺度不同感受野的特征。在模型训练时,DS-Net模型利用成对学习的思想,以成对的数据作为输入,ASN通过判断成对样本是否属于同一类来提取类间差异和类内相似特征;分类网络执行目标分类任务,并利用ASN提取的区分性特征提高自身分类性能。在测试阶段,DS-Net模型无需使用成对样本,仅利用单一输入数据即可得出预测结果。在基于病理图像的骨肉瘤坏死区域评估问题上的实验结果显示,DS-Net能够获得95.10%的平均准确率,取得了目前最好的诊断结果。(2)提出一种基于密集连接注意力机制的小样本分类方法。针对深度学习模型在小样本医学影像辅助诊断任务中对样本关键区域关注度不够的问题,从空间注意力机制的角度出发,提出一个密集连接注意力网络(Densely Connected Attention Network,DenseANet),并在基于胸部CT影像的新冠肺炎(新冠感染)智能诊断任务中进行验证。在模型构建过程中,为了充分利用深度学习模型中的自注意力特征,设计了一个用于生成强注意力特征的密集连接注意力模块(Densely Connected Attention Block,DAB),并通过密集连接DAB模块内部和DAB模块之间相同尺度的注意力特征,构建了密集连接的注意力子网络(Densely Connected Attention Sub-Network,DA-SNet);同时,为了进一步增强模型对高阶特征的表征能力,在模型末端设计了一个能够密集连接不同尺度注意力特征的注意力特征聚合模块(Densely Connected Attention Feature Aggregation Block,DA-FAB),进一步增强模型的特征表达。随着深度学习模型网络层数的增加,不同尺度和不同深度的空间注意力特征被密集连接而逐渐向模型后端传递,使DenseANet模型能够依据强注意力特征输出诊断结果。实验结果表明,DenseANet可以有效定位被SARS-CoV-2病毒感染的肺部病变区域,并且能够以平均95.69%的准确率将新冠肺炎、普通肺炎和健康人群进行区分,优于现有的注意力模型。(3)提出一种基于主动注意力机制的小样本分类方法。针对深度学习模型在小样本医学影像辅助诊断任务中难以精确定位病变区域的问题,设计了一个基于先验知识的主动注意力网络(Prior Knowledge-based Active Attention Network,PKA2-Net)模型。PKA2-Net 由残差块、主体增强和背景抑制(Subject Enhancement and Background Suppression,SEBS)模块以及候选模板生成器构成,其中,模板生成器用来生成候选模板,以描述特征图中不同空间位置的重要性;SEBS模块是PKA2-Net的核心,用于生成主

关键词： 骨盆骨折   医学影像   三维可视化   2D/3D配准   手术导航系统  

摘要： 骨盆骨折作为一种骨科典型外伤,其致残和致死率都很高,其通常伴随着一些并发症,增加医生手术的难度。在常规的骨盆手术中医生都是直接通过观察术前CT来确定骨盆的损伤情况,同时在术中使用X光片来确定当前骨盆复位的位置。该方法非常依赖医生的手术经验,带有一定的主观性,复位的准确性难以保证。因此需要一套系统,其可以将骨盆医学影像可视化,帮助医生更直观的观察骨盆骨折状况,同时可以模拟骨盆复位手术,让医生能制定更为清晰的复位路径,完成复位手术。因此本文针对当前骨盆手术的缺陷和需求,对骨盆医学影像配准技术和三维可视化技术进行了研究,开发了一套骨盆手术导航系统,辅助医生完成了骨盆骨折手术。本文的主要研究内容如下:(1)研究了不同骨盆医学影像的生成原理和图像特性,以及分析了它们的数据储存格式,实现了对不同医学影像的读取和显示。同时研究了医学影像预处理技术,包括了医学图像滤波和分割等算法的研究,去除了图像中的噪声,并分割出骨盆的骨骼数据,为后一步三维可视化提供了数据来源。(2)研究了面绘制和体绘制两种三维可视化算法。实现了传统MC算法和光线投影算法对骨盆CT影像的三维可视化,针对传统MC算法中体素存在二义性以及重建模型数据过大的不足,实现了一种新的改进MC算法。针对光线投影算法重建速度慢的劣势,提出了一种改进的光线投影算法,使用反距离加权插值代替三重线性插值,同时使用GPU图像硬件来加速处理数据。最后在VTK平台中实现了骨盆CT影像的三维可视化。(3)研究了医学影像配准算法。深入研究了2D/3D配准的框架以及实现2D/3D配准算法的关键技术,使用数字影像重建技术将骨盆三维CT影像重建为二维DDR图像,研究了不同的相似性测度,提出了一种基于归一化互信息的2D/3D配准算法,采用金字塔算法来加快配准的速度。最后在ITK平台搭建实验,验证该算法的准确性和鲁棒性。(4)基于VTK、ITK、Qt设计实现了一套骨盆手术导航系统。将图像预处理算法、三维可视化算法、2D/3D配准算法融入到本系统中,同时开发了坐标获取、角度距离测量、任意平面切割、单模型移动旋转缩放、多模型相对移动旋转、复位路径生成等交互操作功能。

关键词： 医学影像   图像存储   深度学习   图像检索   对象存储   哈希函数  

摘要： 随着社会的飞速发展和医学现代化的不断普及,医学数字化快速发展,CT、MRI图像等在临床工作和辅助诊断上得以日益广泛的应用,医学图像也越来越多,海量的数据对数据处理、数据保存、数据共享等带来了巨大的挑战,此外,医学影像数据成为辅助医生诊断病人病情的一个有效途径。通过有效的医学检索可以帮助医生对疾病做出诊断更准确,而且利用检索得到以往类似病例的图像,辅助医生治疗。本文主要研究工作:(1)医学影像存储方法研究:医学数据海量出现,就需要提高数据处理、共享及传输的速度,出现了很多非结构化数据如图像、视频、音频等,传统的关系型数据库不能有效的存储这些数据,数据传输速度急速下降,针对这一问题,本文采用对象存储技术,这一技术也为用户提供文件存储与文件管理功能,对系统结构进行研究;同时,针对存储系统的单点故障问题,本文采取纠删码技术使得存储数据均匀的存放在各个存储节点,每个节点负载均衡,保证存储系统的存储效率,不会因为某一个节点的损坏,从而导致整个存储集群的宕机,有效地提高了存储效率。(2)医学图像检索方法研究:医学图像区别于自然图像,医学影像侧重于提取病灶区域信息来检索相似病例的图像,医学影像大多数是灰度图,噪声较大,相同类别的图像相似度较高、病灶区域较小且难以分辨,导致特征提取时容易遗漏重要的病灶信息,影响检索准确率等问题,使得现有的特征提取方法对病灶区域特征的关注较少,检索准确率较低。为了进一步提升医学影像检索的准确性,我们提出了一种基于深度哈希的医学图像检索方法,用于解决医学图像特征提取过程中病灶区域较小不易发现等问题,为了对细节信息充分描述,在深度学习网络中加入了注意力机制,使得网络更能突出图像的细节信息,然后将提取到的高维度特征输入到哈希函数生成紧凑的哈希码,这样就可以有效地提升检索准确率和检索效率。实验结果表明提出的深度哈希图像检索方法,有效地提升检索的准确率。

关键词： 肝硬化   门脉高压   X射线计算机断层扫描   自动分割   影像组学   代偿期肝硬化   肝硬化失代偿   门脉高压   脾脏   肝硬化   门静脉高压   深度学习   失代偿   预测  

摘要： 第一部分基于增强CT的人工智能模型对肝硬化门脉高压患者肝静脉压力梯度进行无创分级 背景与目的:肝静脉压力梯度(Hepatic venous pressure gradient,HVPG)是诊断肝硬化门静脉高压的金标准,而肝硬化患者往往无法受益于有创HVPG的门静脉压力检测。因此,需要一种替代性的无创技术用于评估HVPG。本研究旨在开发一种基于计算机断层扫描(Computed tomography,CT)的深度学习与影像组学模型以实现无创HVPG定量和分级评估。 材料与方法:本研究回顾性纳入了6个研究中心2016年8月至2019年4月招募的372名肝硬化患者,这些患者同时进行HVPG和腹部增强CT检查。本研究同时收集了患者的临床和实验室检查结果。为了实现肝硬化患者CT图像上肝脏和脾脏的三维自动分割,本研究首先设计并训练了基于全卷积神经网络的自动分割模型。在分割结果的基础上,提取了肝脏和脾脏的三维影像组学特征。随后,以HVPG测量值为金标准,使用自动机器学习技术开发了CT影像组学HVPG定量模型(aHVPG)。采用斯皮尔曼相关分析评估模型输出预测值与真实HVPG测量值的相关性,并通过受试者工作特征曲线下面积(Area under the receiver operating characteristic curve,AUROC)、敏感性、特异性等指标评价模型在多个HVPG重要节点的分类性能,并将本研究建立的模型与传统无创影像、临床实验室指标模型进行比较。 结果:自动分割模型能精准实现肝硬化背景下的肝脾自动分割,在测试集中,肝脏和脾脏分割戴斯系数(Dice系数)分别为0.978(标准差(Standard deviation,SD):0.009)和0.983(SD:0.015)。在内部测试集中,aHVPG与实际测量值的相关系数为0.616,aHVPG在分类HVPG≥10 mm Hg、HVPG≥12 mm Hg、HVPG≥16 mm Hg和HVPG≥20 mm Hg四个分界值的AUROC分别为0.83(95%置信区间(Confidence interval,CI):0.76-0.90),0.77(95%CI:0.68-0.85),0.81(95%CI:0.73-0.88)和0.81(95%CI:0.74-0.88),优于其他无创工具(Delong检验p<0.05)。 结论:aHVPG在HVPG的定量和多分类任务中表现出的准确性显示了其具有检测门脉高压的严重程度的潜力。在无法进行侵入性HVPG检查的临床环境中,aHVPG有助于临床医生评估肝硬化患者的门脉高压状态,辅助临床诊治。 第二部分探索脾脏体积在预测肝硬化失代偿中的价值 背景与目的:在代偿期肝硬化患者中,脾脏推动了肝硬化疾病的进展,与肝硬化失代偿模切相关。既往研究显示,将超声脾脏大小纳入无创肝硬化失代偿预测模型可以提高模型的预测性能。随着脾脏三维自动分割的成熟,本部分研究旨在探索脾脏三维体积在预测肝硬化失代偿中的作用,并开发基于脾脏体积的失代偿预测模型。 材料与方法:本研究回顾性地纳入了我国5个研究中心自2016年1月至2020年6月期间的689名代偿期肝硬化患者(中位年龄54岁,其中441名为男性)。回顾性地收集了基线腹部CT图像(含平扫和增强)、临床特征和超声肝硬度,并随访记录首次失代偿事件的发生。在此基础上,利用深度学习分割网络对CT图像进行脾脏三维分割、并提取脾脏体积。本研究以首次失代偿事件为结局变量,随后,通过最小绝对收缩和选择(Least absolute shrinkage and selection operator,LASSO)-Cox算法筛选了与失代偿相关的临床特征,建立基于脾脏体积的失代偿风险预测模型。该模型在282名患者(中心I至III)的训练队列上进行训练,并在中心IV和V两个外部验证队列(分别包含97名和310名患者)中进行验证。本研究采用一致性指数(C-index)、时间依赖ROC、校准曲线和决策曲线分析来评估预后表现,并与传统无创肝病评估模型和Baveno VII标准进行比较。 结果:本研究所纳入的689名肝硬化患者,3年失代偿率为23%,中位随访时间为37.6个月(四分位距(Interquartile range,IQR)21.1-52.1个月)。随访中首次出现失代偿的病例的基线脾脏体积显著增大,中位值为413.8cm3,而其余代偿期病例为302.1cm3,两者比较具有统计学意义(p<0.001)。当脾脏体积大于364.3cm3时,脾脏体积的每增大一标准差,失代偿风险是原来的1.53倍((Hazard ratio,HR),95%CI 1.39-1.70),在脾脏体积较大的患者分组中观察到的失代偿风险显著增高。基于脾脏体积的模型在预测失

关键词： 医学影像分割   乳腺癌分割   深度学习   Transformer  

摘要： 病灶的准确分割对各类疾病的定量分析有重要意义,早发现病灶,早确诊能大幅提高患者的生存率。随着人工智能技术近些年的兴起,研究人员尝试将语义分割与医学影像分析结合,旨在提高医生临床检查中分割病灶的效率。乳腺癌是一种患病人数较多的疾病,针对乳腺癌病灶诊断难点提出对应的解决方案具有重要的现实意义。本文重点探讨乳腺癌医学影像诊断中遇到的微小病灶定位难题以及肿瘤生长扩散带来的模糊边界问题。针对上述两个乳腺癌诊断的关键问题,本文从不同方向提出两个基于Transformer的乳腺癌病灶分割模型。本文的主要研究工作概述如下:(1)磁共振成像是重要的乳腺癌检测方法,但是乳腺癌病灶在磁共振影像中面积小,难以定位。针对乳腺癌肿瘤在磁共振影像中定位困难的现状,本文提出一种基于轴向注意力机制的Transformer分割模型。与其他医学分割方法不同,本文仅依赖注意力机制构建分割模型,深入探索Transformer模型在乳腺癌分割任务上的应用潜力。针对医学影像尺寸偏大的特点,本文将二维图像上传统的注意力机制分解为沿图像高度轴与宽度轴的两个一维注意力,降低Transformer在大尺寸医学影像上的计算复杂度。本文在轴向注意力计算的过程中引入相对位置信息和门单元,限制不准确的位置信息并突出可能包含病灶的像素块。在乳腺癌磁共振影像数据集上的测试表明,基于轴向注意力的Transformer分割算法对乳腺癌微小病灶有良好的定位精度,实现定位病灶的基本功能。(2)在临床诊断中,仅完成肿瘤的准确定位还不足以辅助医生提高诊断效率,一个更为棘手的问题是癌细胞固有扩散特性导致病灶与正常组织之间存在模糊边界。为了解决这一难题,本文提出一种基于边缘注意力的Transformer分割模型,通过引入边缘关键点以及构建针对边缘分割的损失函数,提高对肿瘤模糊边界的分割精度。此外,通过在模型解码器部分加入参考点,实现边缘分割准确的同时做到定位准确。乳腺癌磁共振影像及乳腺癌超声影像共三个数据集上的实验结果表明,本文提出的模型具有良好的分割性能,各项指标均超过对比模型,能有效解决乳腺癌病灶在不同类型影像中的模糊边界问题,保证了病灶分割的准确性与完整性。

关键词： 医学影像报告生成   编码器-解码器   图像文本生成   深度学习  

摘要： 在临床诊断中,放射科医生撰写影像报告,以供其他医生选择最佳诊疗方法。然而医生工作量大,易导致漏诊和误诊,延误病人的治疗。基于深度学习的影像报告生成方法可显著减轻医生负担,提高临床效率。医学影像报告包含专业术语和长段落内容,且由于医学影像结构相似,异常区域的视觉特征不易捕捉。现有方法致力于为病变区域生成文本描述,但实验表明未充分利用医学影像间的视觉特征差异和医学报告的语义特征。基于此,本文开展了基于特征增强的医学影像报告自动生成模型研究,设计并开发了医学影像报告生成系统。其主要工作与贡献概括如下:(1)为了捕获输入图像的异常区域特征并为其生成准确的文本描述,提出基于多级特征差异的医学影像报告自动生成方法。在求取输入图像和正常图像间特征差异时,不仅关注高级视觉特征的差异,还考虑低级视觉特征的差异,使模型更加聚焦异常区域的视觉特征。在生成单词的过程中为了防止模型平等对待视觉词和非视觉词的生成,提出自适应注意力模块以提升生成报告的精度。在IU-Xray和MIMIC-CXR-JPG数据集上的实验结果表明提出方法的有效性。(2)为了避免上述生成报告方法仅从单词层面学习而忽略高级语义信息,提出基于多模态数据特征的医学影像报告自动生成方法。在报告生成分支的基础上设计图像文本匹配分支,通过相互耦合两个分支,将视觉特征和文本特征相结合,以提高报告生成的准确性。为了缓解数据集中存在的数据偏差使模型倾向于生成合理但缺乏异常描述的一般性报告,提出渐进式学习框架,使模型从简单样本开始学起,逐步迭代地学习困难样本。在IU-Xray和MIMIC-CXR-JPG数据集上提出方法比上述方法在所有评价指标上均获得了提升,且优于目前的主流方法,证明了提出方法的有效性。(3)在改进模型的基础上开发了一个医学影像报告自动生成系统。基于VUE框架进行前端页面的开发,使用Spring Boot进行后端业务逻辑的实现,通过URL地址来访问部署在服务器上的深度学习模型。系统对一些常用的功能以及管理模块进行了实现,该系统能够帮助医生自动撰写医学影像报告,缓解医生的工作负担。此外,还能方便医生对病人进行健康管理。

关键词： 光学神经网络   衍射神经网络   液晶光场调控   医学图像处理  

摘要： 深度神经网络的发展已经为许多不同领域的应用场景带来翻天覆地的变化,其在自然语言处理、图像处理、自动驾驶等任务上都有许多相关的研究。然而,由于目前硅基的电子计算硬件存在的一些固有特性,如功耗问题和串扰问题等,大型深度神经网络的推演速度在实时性较强的任务中仍然无法满足,限制了神经网络的应用场景,因此有了光学神经网络的提出。光学神经网络,如衍射神经网络,在理论上能实现光速的运算速度,能大幅度提升神经网络前向推演的速率。本文介绍了衍射神经网络相关的工作原理,并围绕衍射神经网络相关的研究进行了一些工作。 首先,本文提出采用液晶相位板作为衍射神经网络的相位调制层,并仿真上证实了衍射神经网络在液晶相位板分辨率的情况下,可以实现对可见光光源进行调制,在MNIST和Fashion-MNIST数据集上仍能实现较好的分类效果,这使得衍射神经网络可以具有液晶光场调制相关的优点,如偏振相关的相位调制,同时有望在实验上进一步实现结构紧凑,利于对衍射神经网络的集成。为了使衍射神经网络在处理彩色图像上能有更强的处理能力,本文提出多通道的衍射神经网络对彩色图像进行处理。该部分主要是将彩色图像划分为R,G,B三通道的图像数据,分别采用衍射神经网络对其进行处理,最后综合三个通道图像处理的结果得到最终的输出。从仿真结果表明,在CIFAR-10彩色图像数据集中,多通道衍射神经网络的分类准确率相比单通道灰度图像处理的准确率得到了较高的提升,证实了多通道衍射神经网络引入的颜色信息有助于彩色图像的分析处理。 最后,本文提出利用衍射神经网络对计算机断层扫描图像(简称:CT图像)进行处理,主要是肺结节检测和诊断两个任务。在肺结节检测任务中,首先训练衍射神经网络进行肺结节是否存在的判断,然后利用训练好的衍射神经网络进行CT图像切片扫描,识别出结节可能存在的位置,并提出了减少假阳性识别点的方法。在肺结节诊断任务中,通过影像科医师的诊断结果,将数据集中的肺结节分成良恶性两大类,并利用生成的数据集对衍射神经网络进行训练,实现肺结节的诊断任务。同时,本文还讨论了采用不同损失函数训练的衍射神经网络对肺结节诊断结果的影响。衍射神经网络具有结构简单,并行运算能力强等优点,其在许多应用领域中都具有可观的潜力。

关键词： PET   医学影像   可视化软件   光线投射算法  

摘要： 正电子发射计算机断层扫描(Positron Emission Computed Tomography,PET)是一种先进的医学成像技术,可以显示生物体内分子代谢、受体及神经介质活动等过程。该技术经一定的成像流程得到重建数据,包含浓度数据和配置信息。重建数据的时空特点是表征生物体内活动状态的关键信息,然而现有工具未能充分利用重建数据所包含的时间关联性以及空间位置信息,导致对生物体内活动的观察较为低效。 为充分利用PET重建数据的信息进行观察,研发了一个包含数据管理功能、二维可视化与辅助分析功能及三维可视化功能的可视化系统。其中,数据管理模块分别对PET的静态重建数据和动态重建数据进行管理。二维可视化与辅助分析功能处理输入系统的重建数据:对静态重建数据,首先实现二维图像映射功能,并在此基础上开发了二图对比功能、感兴趣区域(Region of Interst,ROI)绘制功能与统计分析功能,分别满足用户对比不同PET重建数据的图像、在图像中绘制感兴趣区域、对PET重建数据进行量化分析的需求。对于动态重建数据,系统解析各时间片所对应的配置信息文件和浓度数据文件,挖掘各时间片数据之间的时间关联性,并以此按照时序播放重建数据对应的图像序列,便于用户观察药物浓度在实验对象体内随时间推移而产生的变化。为使用户更直观地观察药物浓度的空间分布情况,系统实现三维可视化功能,对PET数据进行渲染。该功能利用重建数据包含的空间位置信息,实现并优化光线投射算法,基于该算法实现体渲染功能、最大密度投影功能和最小密度投影功能,生成高质量的立体图像,达到较好的渲染性能,同时支持三维交互功能。 对于所构建的系统,通过测试验证其各项功能的正确性和高效性,系统能够充分利用重建数据信息进行可视化,满足医学工作者观察生物体内药物浓度分布与变化的需求,同时具有较高的时间片数据读取和图像渲染性能。