教学课程资源库 更多>>

关键词： 影像组学   深度学习   医学图像分类   鼻咽癌   新冠肺炎  

摘要： 医学影像技术能够以非侵入性的方式获取病人信息,在医生诊断患者病情和制定治疗方案中起着重要的作用。随着计算机更新换代迅速发展,借助人工智能辅助医生分析影像是发展趋势。本论文凭借计算机分析图像的自身优势对医学影像进行特征提取并对图像特征加以分析,以完成对鼻咽癌新辅助化疗治疗反应以及新冠肺炎的分类任务,具体研究内容如下:(1)回顾性分析了23例在中南大学湘雅医院接受新辅助化疗的鼻咽癌患者,收集了所有病例的临床信息以及T1加权、T2加权磁共振图像,使用影像组学分析病变区域异质性。根据RECIST 1.1的评估标准,将患者分为敏感组和耐药组。由医生手动勾画感兴趣区域,使用Pyradiomics提取传统影像组学特征,该方法所提取的底层特征较为基础,故提取深度学习特征,补充图像深层信息,构建基于MRI的鼻咽癌新辅助化疗治疗反应的分类模型。在测试集中,融合影像组学特征、深度学习特征以及临床特征的模型表现最佳,该模型的AUC为96%,准确率为90%,精确率为83.3%,灵敏度为100%,特异度为80%,F1-Score为90.9%。通过实验结果对比,使用影像组学特征和深度学习特征的模型对分类性能有明显的改善,深度学习特征能够进一步提升影像组学模型的准确性和可靠性。(2)基于胸部X射线,提出了一种基于Swin Transformer的多尺度特征分析网络模型用于新冠肺炎分类任务。胸部X射线因其成像特点,难以反映组织信息,基于影像组学的底层图像特征对胸部X射线的信息表达能力有限,故本研究深入挖掘图像深层特征,利用深度学习分析方法实现新冠肺炎自动分类任务。本研究提出的模型以Swin Transformer为基础网络,将在Image Net-21K数据集中预训练的权重作为初始权重,使用倒残差模块提取多尺度图像特征,在特征融合的基础上利用卷积块注意模块增强图像特征进而提高网络分类性能。使用开源数据集COVIDx CXR中的测试数据对网络模型进行评估,该模型在测试集的准确率为97.5%,AUC为99.7%、精确率为99%、灵敏度为96%、特异度为99%、F1-Score为97.5%。通过对比实验和消融实验分析进一步证实了改进后的网络模型有助于提升新冠肺炎分类性能。计算机辅助技术的最终目标是服务于临床,辅助临床医生实现更高效精准的诊断和制定更个性化的治疗方案。本文借助深度特征分析方法进一步提升模型的稳健性和性能,基于人工智能的影像自动分析技术具有一定的研究价值和意义。

关键词： 医学影像辅助诊断   WebGL   可视化   医学影像重建   三维渲染   电子病历  

摘要： 随着各类医学影像设备的升级与影像处理技术的发展,医学影像辅助诊断已成为临床诊断的重要依据。然而在临床检查中产生了超大量的医学影像数据,传统的管理方案已经无法满足需求,亟需采用计算机信息化技术对影像数据进行集中、统一的管理,确保数据的安全性、可共享性,同时为满足医学影像诊断医生的临床需求,提升诊疗水平与诊断准确率,需要为诊断人员提供可视化的影像处理、标注、测量与重建等辅助诊断功能。为此,本课题结合医学、信息科学、计算机图形学的优势,开发了一套基于Web GL的可视化医学影像云平台系统,具体内容分为以下几点:（1）概述了课题的研究背景和意义,并对国内外研究现状进行了大致介绍,再介绍了系统开发用到的一些技术。在此基础上,通过在医院多科室以及信息科进行充分的调研后,对本系统的功能需求进行了详细可行的分析,并完成了系统的总体设计,包括总体结构、系统功能模块划分、界面设计、数据库设计和接口设计等;（2）针对超大量医学影像数据的存储与管理问题,设计了一套基于云平台的影像管理服务器,采用在线-近线存储方案对医学影像进行存储与备份管理,同时实现了一套基于角色的访问控制模型的权限管理机制,提升了医学影像的管理水平,在保证影像数据安全性的同时提高了影像数据的可共享性;（3）为辅助医护人员进行临床诊断,集成了可视化的医学影像处理、标注、测量、MPR重建、MIP重建、基于面绘制的组织边界重建与基于体绘制的组织解剖结构重建等功能;（4）改进了体绘制的Ray-casting算法,通过在体素采样前对无效采样路径进行剔除,在不影响结果质量的前提下,提高了三维渲染的速度;（5）通过Web Assembly技术,对影像序列的处理、重建等涉及大量数据处理计算的算法进行加速,解决了前端处理影像性能低下的问题,缓解了服务器压力,降低了服务器的硬件成本;（6）对系统进行了完整的功能测试。通过完整的测试,表明本系统功能需求和设计要求达到了预计要求,为超大量医学影像数据存储管理提供了完整可行的解决方案、保证了影像数据的安全性、提高了院内外影像资源的可共享性,为医生进行临床诊断提供了强有力的技术支持,提高了医生的工作效率和临床诊断的准确性,增强了医院信息化管理的水平,为医院电子病历系统的应用提供了技术支持。

关键词： 图像分类   深度学习   医学影像   胃癌切片  

摘要： 我国是胃癌高发国家,发病人数和死亡人数都占全世界的百分之五十,胃癌的年发病率仅次于肺癌。病理图像诊断是诊断胃癌最可靠的方法。数据显示,目前我国的执业病理医生不足2万人,病理医生缺口达9万人,病理诊断行业目前存在病理资源分布不均、病理医生诊断时间长、效率低等问题,所以需要开发基于深度学习的胃病理切片分类方法以辅助医生进行诊断。此外,胃病理切片图像特征复杂,不同组织细胞形态差异大且癌细胞与正常细胞相似度高,目前已有的胃病理切片分类算法分类准确率不够理想。因此,本文以深度学习理论为基础,对胃病理切片分类方法展开研究。 本文根据医生阅片的习惯即通过不同分辨率下的病理切片进行诊断,引入多尺度提取图像特征的方法,提高模型的性能。由此提出三个分类网络模型: 模型一由特征金字塔网络模块和连接网络层组合而成,图像输入网络后经过特征金字塔网络模块,输出不同尺度的多个特征图,然后通过连接网络层将这些特征图结合起来,最后通过分类器输出分类结果。模型二的结构以Res Netv2结构为基础,利用金字塔卷积模块代替其残差分支中的卷积层以达到多尺度提取图像特征的效果,进一步引入注意力机制模块,加强其通道和空间信息的连接传递。模型三受到空洞卷积的启发,利用空洞空间金字塔池化模块的多个不同大小的空洞卷积提取不同尺度的图像信息,输入一个空间金字塔池化结构进行融合,该模型在第二个网络层后引入全局特征提取层提取全局图像特征,然后和空洞空间金字塔池化模块提取的特征融合起来,将得到的融合特征图输入一个连接网络层进一步提取特征。 在同等条件下进行实验,本文提出的三个模型在BOT胃切片数据集的分类准确率依次为91.8%、91.9%、93.5%,均高于Dense Net的91.2%、Inceptionv3的90.4%。实验结果表明,相比于参与实验的其他网络基于多尺度特征提取模块设计的胃病理分类网络的网络性能最高提升2.2%。 最后根据实际应用情况,本文联合以上三个网络组成一个完整的胃病理切片分类系统,并利用投票算法对三个网络的预测结果进行投票,根据实验结果,该方法进一步提升分类结果的准确率。该分类系统在测试过程中达到94.5%的分类准确率比以上提出的三个网络的分类准确率最多高出2.7%。

摘要： 《实用医学影像杂志》是山西省卫生健康委员会主管,山西医药卫生传媒集团有限责任公司主办的专业学术期刊。本刊为双月刊,双月30日出刊,国内外公开发行,国际标准连续出版物号ISSN 1009-6817,国内统出版物号CN14-1281/R,邮发代号22-195,定价12元/册。本刊面向医学影像专业及临床各专业学科的广大医务人员,重点反映我国普通放射、CT、磁共振、介入放射、核医学、超声、放疗等方面的新技术、新进展、新成果以及各种影像机械检修、投照及机器应用,同时刊登临床各专业学科医生应用影像技术诊治的新经验、新手段和新技术。

关键词： 图像分类   医学影像   深度学习   注意力机制   残差连接  

摘要： 近些年来，计算机辅助诊断(Computer-aideddiagnosis,CAD)已成为医学影像学和放射诊断学的主要研究课题之一。从芝加哥召开的北美放射学会(RSNA)年会以来，关于CAD相关主题的论文数量每年都在大量增加。许多不同类型的CAD方案正在开发中，用于检测和/或描述医学成像中的各种病变，包括常规投影X射线技术、计算机断层扫描(ComputedTomography,CT)、磁共振成像(MagneticResonanceImaging,MRI)和超声波(Ultrasound)。目前正在接受CAD研究的器官包括胸部、结肠、大脑、肝脏、肾脏以及血管和骨骼系统。CAD的基本概念是提供计算机输出作为“第二意见”，以帮助放射科医生读取图像。因此，为了开发成功的CAD方案，不仅需要开发计算机算法，还需要研究计算机输出对放射科医生的诊断有多有用，如何量化计算机输出对放射科医生的益处，以及如何最大限度地发挥计算机输出对诊断的影响。因此，使用可靠的方法(如接收器操作特征分析)对放射科医生进行大规模观察者性能研究，与CAD领域计算机算法的开发同等重要。因此，CAD的研究和开发需要不同背景的研究人员的团队努力，如物理学家、放射科医生、计算机科学家、工程师、心理学家和统计学家。　　Covid-19是一种新型冠状病毒，在2019年年末开始全球范围性爆发。随着疫情在各国迅速传播，大多数国家由于没有及时形成有效的预防措施。同时，各国面临着医疗资源严重短缺的问题，造成感染和死亡人数激增，尤其在贫困地区和国家。由于使用的核糖核酸检测(RT-PCR)成本高昂，检测时间过长，医务人员主观评断等因素容易导致误判，这些问题促使我们研究一种深度学习模型用于帮助医务人员使用医学影像检测COVID-19病例。并且考虑到以上全球各地区地的各种因素，我提出了以下两种基于深度学习的COVID-19医学图像自动识别的人工智能方法。　　(1)针对COVID-19肺部X-Ray图像特征本文提出深度学习方法MLES-Net。考虑到COVID-19患者的X-Ray图像类别间相似度高且类别内变异性低的特点，我们针对性地设计了一种多层级增强感知模块(MultiLevelEnhancedSense,MLES),并以此模块为基础提出一种新的卷积神经网络MLES-Net对COVID-19的肺部X-Ray图像进行分类识别。本文提出的深度学习方法MLES-Net在两个开源数据集的基础上，对MLES-Net进行评估，实验结果表明MLES-Net56-GAPFC在整体准确率(95.27％)和针对COVID-19类的识别率(100％)均达到最佳。而与其他同类型方法相比，此方法的MLES-Net56-GAPFC不管是在模型训练速度，模型参数大小，还是检测结果准确率也表现不错。　　(2)针对COVID-19肺部CT图像特征本文提出深度学习方法RSP-Net。由于患者的CT图像则表现为肺部多发小斑片影及间质改变，肺外周较明显，进展后发展为肺部多发磨玻璃混浊/肺磨玻璃影(GGO)、浸润影。针对患者的胸部CT图像特点，我们引用了双重注意力机制，以通道注意力机制和空间注意力机制为基础进行特征提取，并对两种注意力机制以并联和串联的方式进行试验，提出了一种新的卷积神经网络RSP-Net用以对COVID-19的肺部X-Ray图像进行分类处理。在开源数据集上，实验结果表明，RSP-Net(parallel)具有94.55％的准确率。通过对比实验结果的分析和与其他方法的对比,本文的模型对COVID-19患者的CT图像的分类能力表现良好。　　与此同时，为了提高识别效率，本文提出的两种方法的网络模型都采用三种分类器进行分类，一层全连接层(FoolingConnectedLayer,FC),全局平均池化层(GlobalAveragePoolingLayer,GAP)模块和GAPFC模块。其中，经参数量和计算量比较，选择GAPFC作为分类器的两种网络模型在各方面表现都综合最优。

关键词： 医学影像分割   下颌骨三维重建   有限元分析   钛板固定   数据拟合  

摘要： 随着人们健康意识的提高,医工融合的不断深入,促使手术治疗方案向着高效率、高精度方向发展。下颌骨是人体面部唯一能活动的骨骼,易在外界条件的改变下发生骨折,用钛板固定治疗下颌骨骨折是目前广泛使用的一种治疗方法,如何保证钛板固定后能辅助骨愈合、降低钛板失效的概率、减轻患者痛苦、提高手术的成功率,有非常重要的研究价值。本文从下颌骨的医学影像数据开始,研究如何从医学影像中分割出下颌骨,构建下颌骨的三维模型,针对易发的下颌角骨折,通过仿真分析认识下颌骨的生物力学特性,进行多次仿真实验确定下颌角骨折钛板固定的合理位置,收集实验数据,进行数据拟合,总结规律,设计了下颌骨辅助修复工具,便于医生在实际中进行操作,通过仿真案例分析和临床案例分析来证明其有效性和可行性,达到优化手术方案、提高手术成功率的目的。本文的主要研究内容如下:(1)研究下颌骨的识别与分割方法,提出复用低层特征信息的Mask R-CNN网络,改进网络的主干结构,降低了时间成本,将低层的特征信息添加到高层的特征中,提高了网络低层信息的利用率,自建下颌骨CT图像的数据集,得改进后的网络较原始Mask R-CNN网络有更低的训练损失和验证损失,具有很高的准确率。(2)采用多平台协作的方法构建出下颌骨的三维模型,对模型构建中的若干关键技术进行分析,完成模型的表面优化与拟合,依据下颌骨的生理结构完成下颌骨生物力学模型的构建。(3)探究钛板在不同固定位置和不同固定角度下与下颌骨以及钛板的应力和位移之间的函数关系,进行仿真实验收集数据,寻求数据之间的关系,构建下颌骨骨折修复后钛板固定位置和角度的数学模型。(4)设计下颌骨辅助修复工具,将钛板固定的位置和角度是否合适进行定性划分,用户滑动选择钛板固定的位置和角度后修复工具会显示不同的颜色,便于实际操作,通过仿真和临床案例分析来说明辅助修复工具的有效性,利用3D打印制造下颌骨模型,便于医生进行手术演练和手术规划。

关键词： 医学影像分析   面向解剖结构的成像平面   自监督学习   迁移学习  

摘要： 伴随着大规模带标注的数据集的出现,深度学习在计算机视觉领域取得了重要成就。然而,数据集的收集和手动标注需要耗费大量的人力资源成本,为了避免在大型数据集上浪费大量资源,自监督学习、无监督学习和迁移学习技术目前受到了广泛关注。在当前大数据时代的背景下,相比于代价昂贵的标记数据,无标记数据更为廉价且易获取。但由于监督信号的缺乏,无监督学习的特征通常不能保证是具有强判别性的。近年来,自监督学习作为一种根据数据的某些属性自动生成有监督信号来指导特征学习的新范式受到了越来越多的关注。相比于经典的机器学习方法,自监督学习能尽可能的利用大量可用数据,同时能够大幅度减少甚至是避免人工标注的工作量。自监督学习可利用大量未标记数据对深度网络进行预训练,然后对标注数据有限的目标任务进行微调,其中预训练任务与目标下游任务之间的距离至关重要。为了利用医学图像数据的独特特性,已经提出了各种各样的预训练任务。然而,他们很少关注具有面向解剖结构的成像平面的数据,如标准的心脏MRI视图。由于此类成像平面是根据成像器官的解剖结构定义的,因此有效利用这一点的预训练任务能学习到与潜在的下游任务更相关的特征。在这项工作中,我们提出了一个新的自监督学习框架,该框架克服了在设计和比较不同任务时模型和数据域的局限性,将自监督模型的结构与最终的特定目标任务的微调模型进行了分离,构建了一个具有普适性的基于解剖导向成像平面的医学图像数据的自监督任务。具体来说,我们根据它们的空间关系专门为这组医学图像数据提出了两个通用的预训练任务。第一个是学习成像平面之间的相对方向,回归根据成像平面之间的相交线定义的热图。第二个预训练任务是对第一个的补充,利用平行成像平面之间的空间关系来回归堆栈内的相对切片的位置。这两个预训练任务在概念上都很简单且易于实现,并且可以在多任务设置中组合以进行更好的表征学习。此外,本文通过两个基线模型对两种不同解剖结构(心脏和膝盖)以及具有代表性的下游任务(语义分割和分类)进行了充分的实验,验证了所提出的预训练任务在预训练深度网络方面是有效的,能够使得目标任务的性能获得显著提高,并且优于最近提出的其他具有竞争力的自监督任务,展示了本文提出的创新方法所带来的显著提升。

关键词： 注意力机制   深度学习   神经网络   医学影像分割   关键点检测  

摘要： 近年来,随着深度学习技术的不断发展,在医学影像分析领域中有越来越多的任务采用深度学习算法完成对于疾病的分级、病变区域的定位以及肿瘤区域的分割。但由于医学成像设备的差异、病变区域的多发性以及影像学表现的异质性,使得相关研究充满挑战。为了使神经网络在训练过程中能将主要的关注点聚集在感兴趣区域周围、减少噪声及背景信息对于模型训练的影响,一些模型通过添加注意力机制模块,增强模型获取特征信息的能力。在此过程中,注意力机制模拟人脑的复杂认知功能,使神经网络有选择性地处理信息,提升模型对于数据的表征、分析和理解的能力。本文围绕注意力机制算法设计的关键技术展开,选择结直肠癌分割和盆骨影像关键点检测两个任务,验证提出算法的有效性,具体的研究工作和创新成果如下:(1)基于双通道注意力机制的结直肠癌分割算法研究。本研究采用吉林大学第一医院放射科结直肠癌患者的腹部CT影像作为数据源,对结直肠癌的肿瘤区域进行分割。实验采用编码器-解码器网络作为基础结构,在编码器与解码器之间插入双通道注意力机制模块获取高维特征映射中的上下文信息。双通道注意力机制模块包含通道注意力机制模块、空间注意力机制模块以及与之并行的跳跃连接结构。实验结果表明,在Dice系数、敏感度、F1-score和Jaccard指数等指标上,本文提出的分割算法均表现最佳。(2)基于混合注意力机制的盆骨关键点检测算法研究。本研究采用开源数据库中、经过入组排除筛选后的盆骨X-Ray影像,并提供了盆骨影像中主要的八个解剖学结构的标注结果。实验中,首先将关键点位置坐标转换成为高斯热图;然后在编码器-解码器结构中添加混合注意力机制模块预测概率图;最后将生成的概率图转换为坐标值,并确定每一个位置坐标和解剖学结构的对应关系。其中,混合注意力机制分别采用一维行池化和一维列池化对特征映射进行压缩,得到宽-通道和高-通道2个向量,再使用非局部均值运算建模向量内远距离元素之间的相关性,并将从两个向量中得到的结果拼接后输出。混合注意力机制能够同时对空间维度和通道维度进行建模,充分挖掘特征图中的语义信息。本文选择结直肠癌分割和盆骨影像关键点检测任务,分别验证了融合注意力机制模块后神经网络的性能改变。实验结果表明注意力机制能够有效提升结直肠癌的分割精度、降低盆骨影像关键点定位的误差距离。

关键词： 新冠肺炎   胸部X射线图像   深度学习   迁移学习   胶囊网络  

摘要： 2019年新型冠状病毒肺炎(COVID-19)席卷全球,人类的身体健康和生命财产安全受到了极大的挑战和威胁,给各国公共卫生体系带来了巨大压力,对日常生活和世界经济造成了毁灭性的影响,所以尽早发现新冠肺炎阳性病例,遏制疫情的进一步蔓延显得尤为重要。防治这一疾病的主要挑战是缺乏高效的检测方法,由于新冠肺炎与其他肺部感染疾病的相似性使其诊断困难,同时核酸检测所需RT-PCR试剂盒的可获得性和可负担性仍然是许多国家的主要瓶颈。因此,基于深度学习的人工智能辅助诊断技术对新冠肺炎进行检测的相关研究具有迫在眉睫的现实意义,不仅可以提高诊断的准确性和效率,而且很大程度上能够改善医疗资源的紧张状况,同时还能降低人为导致的误诊或漏诊现象。此外,由于医疗资源有限以及医学图像的特殊性,很难获得大型的公开数据集,为了应对这一挑战,本文在基于深度学习相关技术的基础上构建了针对胸部X射线图像的肺炎类型识别模型,并且在样本数量有限的情况下也能得到较为优秀的性能,其主要研究工作如下:(1)提出了基于VGG16网络与卷积注意力机制的肺炎图像识别模型,称为VGG16+CBAM。首先收集整理了肺炎图像数据集并进行预处理操作,具体包括正常、新冠肺炎和其他肺炎三种类别的胸部X射线图像;其次,为解决训练样本量有限的问题,将在Image Net数据集上预训练好的VGG16网络模型迁移到肺炎识别的任务中,并通过添加卷积注意力模块获取高价值的特征信息,以提高模型识别的效率和准确性;最后使用肺炎图像数据集进行三分类研究,并通过各项评价指标验证所提出模型的优异性,实验结果表明,基于迁移学习的VGG16+CBAM网络模型在新冠肺炎检测任务中具有良好的表现力,其总体平均准确率达到了96.58%,召回率、精确率和F值等评价指标均超过了96%。(2)针对传统卷积神经网络中存在着无法捕获图像实例之间的空间关系等缺陷,构建了一种融合多头注意力路由算法的新型胶囊网络模型,称为MHA-Coro Capsule,用于对肺炎图像进行快速准确的分类。具体来说,该模型首先使用了一组卷积层将输入图像映射到高维空间,并对每一层的输出进行批归一化处理;其次通过深度卷积操作构建胶囊网络中的主胶囊层,从而大大减少了胶囊创建过程中所需的参数数量,节省模型训练的计算资源;再次,引入了一种非迭代、参数化的多头注意力路由算法替代了传统胶囊网络中的迭代路由算法,该算法利用注意力机制来计算所有路由权重,并获得用于对肺炎图像进行分类的分类胶囊层;最后使用肺炎图像数据集对模型进行训练和测试,实验结果表明,所提出的MHA-Coro Capsule网络模型在训练样本量有限的情况下,其总体平均准确率达到了97.28%,召回率、精确率和F值等评价指标均超过了97%。需要特别说明的是,MHA-Coro Capsule网络模型不需要在外部数据集上进行任何的预训练,而且仅仅具有较少的可训练参数,表明了多头注意力路由算法可以很好的量化不同胶囊层中胶囊之间的相关性,从而提高对新冠肺炎的检测效果。(3)根据本文所提出的两种模型,通过实验与现有的经典卷积神经网络模型,以及其他文献中针对新冠肺炎胸部X射线图像的多分类研究效果进行了对比,以验证所提出模型的可行性和有效性。对比实验结果表明,本文所提出模型的各项评价指标都比较可观,其整体性能更加具有竞争力。