教学课程资源库 更多>>

摘要： 《医学影像学杂志》由中华人民共和国科学技术部、中华人民共和国新闻出版总署批准，山东省医学影像学研究所、山东省医学影像学研究会共同主办的国内外公开发行的全国性学术期刊，国内统一连续出版物号：CN37-1426/R,国际标准连续出版物号：ISSN 1006-9011，月刊。本刊设有以下栏目：专家述评、论著、实验研究、研究生园地、综述、短篇论著、短篇报告、QA、QC、临床教学、病例讨论、国内外学术动态等。1投稿要求1.1文稿：文章应具有先进性、科学性和实用性，选题新颖，文辞通顺，重点突出，论点明确，数据可靠，无剽窃及抄袭之处。论著、实验研究、研究生园地文章一般不超过5000字，短篇论著应在3500字以内，短篇报告1000字。1.2文题：应简明扼要，能准确反映文稿的主题，不使用非公知公认的缩略语，中文文题一般以20个汉字以内为宜。

关键词： 弱监督医学影像分割   病灶区域   判别式模型   生成式模型   对比学习  

摘要： 近些年来,随着医学影像技术和计算机技术的飞速发展和逐渐成熟,医学影像病灶区域的自动分割技术在临床诊断中已经越来越重要。然而,这些自动分割算法在有监督的训练中所使用的像素级标签,其准确性很大程度上取决于医生的临床经验,且标注成本高。这导致医学影像的像素级别标签的稀缺,阻碍了医学影像自动分割的实际应用。与此同时,临床中的医学影像存在大量的图像级类别标签,例如将一张医学影像标注为患病或者正常。然而,通过图像级标签仅可以知道医学影像的类别,无法得到病灶区域的具体位置信息。因此,本文首先利用医学影像的类别标签对判别式模型进行训练,并进一步得到患病影像的病灶区域信息。本文提出了一种基于掩码融合的判别式弱监督医学影像分割算法(DLAM),该算法通过判别式类激活图模块、对比学习模块和提取视觉Transformer(ViT)内部注意力三种不同方式获取病灶区域的激活图。在此基础上利用掩码融合的方式使得多分支产生的病灶区域激活图互补,并利用块向量亲和度对融合病灶区域激活图进行细化,最终通过随机游走得到病灶区域最终的分割掩码。然而基于判别模型的多阶段语义分割模型,其多阶段的训练会导致单一阶段的训练目标与整体的分割目标存在偏差。因此本文进一步提出了一种基于图像域转换和掩码对比的生成式弱监督医学影像分割算法(GLAM)。该算法通过生成式图像域转换网络对患病和正常两个图像域的图像进行转换,在此过程中对输入图像的病灶区域和正常区域进行解耦,生成病灶区域的激活图。同时在生成式模型框架中引入了判别式类激活图模块,并引入对比互监督损失,将两种不同性质(生成式和判别式)的病灶区域激活图在训练过程中相互监督,并在进一步融合后使用全连接条件随机场(Dense CRF)输出病灶区域的分割掩码。为了解决弱监督医学影像分割算法存在数据类别依赖的问题,本文还提出了一种基于对比学习的弱监督医学影像分割算法(CLAM),仅使用患病影像数据,实现对病灶区域的分割。该模型使用了自监督对比学习的思想,在特征级和图像级两个不同的尺寸维度分别最小化病灶区域向量表示与正常区域向量表示的相似性。同时最大化病灶区域向量表示之间的相似性和正常区域向量表示之间的相似性,从而得到病灶区域激活图并使用全连接条件随机场得到最终的分割结果。本文提出的多个模型在BraTS大脑肿瘤数据集、ISIC皮肤黑色素瘤数据集和COVID-19数据集上的大量实验表明,所提出模型的分割性能在各方面都优于目前其他先进的弱监督分割方法。

关键词： 医学影像   报告生成   计算机辅助诊断   深度学习   强化学习  

摘要： 医学影像报告的自动生成旨在通过一组从患者身上采集到的医学影像生成患者的诊断报告。该技术是图像特征提取和文本生成技术的融合,通过视觉特征提取器获得医学影像的特征向量并进行编码,之后通过解码器解码为目标文本,从而实现医学影像到诊断报告的转换。医学影像报告的自动生成可以广泛应用于计算机辅助诊断,减轻医生负担,具有广阔的发展和应用前景。 由于医学影像数据集匮乏、医学影像特征提取困难、专业术语密度大等问题,从医学影像到诊断文本的模态转换极具挑战性。本论文选取具有高质量公开数据集的胸部X射线影像数据进行研究,旨在探索一套有效便捷的影像报告自动生成方法。目前,主流的报告生成算法大多使用基于自然图像数据集的预训练特征提取器,此类提取器很难适应空间结构复杂的医学影像;主流算法普遍完全依赖影像特征,很少与其他计算机辅助诊断任务结合;由于现有数据集中正常患者和异常患者比例相差过大,模型很难从中学习异常模式;目前报告生成的评估方法以传统自然语言生成（Natural Language Generation,NLG）指标为主,而此类指标难以评估医学语义和医学术语命中率。为了解决上述问题,本文的主要工作及贡献如下: （1）本文设计了一个新型的轻量级医学影像提取网络SCFENet,大幅降低参数量的同时在多个数据集下取得接近甚至超过大型预训练网络的结果。同时基于SCFENet设计了一个新型的标签生成网络TGNet,与常规图像分类任务不同的是,该网络生成报告中更可能出现的医学术语。本文分别在LSTM和Transformer方法中引入该标签信息,报告生成质量均得到提升。 （2）本文提出了一种预分类训练的策略,即分别在正常患者数据和异常患者数据上训练出两个模型,进行诊断时根据患者影像选择合适的模型进行报告生成。通过这种方式可以大大缓解单一模型学习异常文本模式效果不佳的问题,此方法在IU X-Ray和MIMIC-CXR中文和英文版本数据集上较之于主流方法COATT、HRGR、CMAS-RL、TOPDOWN以及CMN等均获得更高的NLG指标得分。 （3）本文提出了两种新型指标factEntity和fact（nli）,分别对生成报告的医学术语匹配度和语义匹配度进行评价。在此基础上利用强化学习定向优化上述新型指标完成报告生成,解决NLG指标无法评估语义和关键信息的问题。此种多指标强化学习较之于传统生成方法在医学术语生成准确率和医学语义一致性上获得了更好的临床参考价值。

关键词： 医学影像分割   神经架构搜索   多目标进化算法   Transformer   超网-子网权重共享  

摘要： 医学影像通常是通过各种成像技术获取的。这些影像数据具有复杂的结构和丰富的信息,通过自动化的分割技术从中提取所需的结构对医学诊断和治疗有着重大意义。深度学习方法,尤其是卷积神经网络(CNN)和注意力机制的应用,已经取得了显著的成果。其中,U-Net在医学影像分割任务中取得了优秀的性能。由于卷积核的自然属性,传统卷积神经网络无法在一次卷积中捕捉超过卷积核大小范围的依赖关系,只能通过堆叠卷积层和下采样来扩大感受野。而卷积层的堆叠次数(深度),通道数和卷积核大小等超参数需根据数据集手工调整,这需要丰富的专家经验且费时耗力。神经架构搜索(Neural Architecture Search,NAS)应运而生。传统的NAS方法往往只关注一个目标,每次搜索仅能得到一个网络,不利于神经网络在不同算力的终端设备上部署。针对上述问题,本文在U-Net中融合了自注意力机制来捕获医学图像中的全局信息,设计了CNN与Transformer混合的Global-Local U-Net(GLU-Net)。并以此为超网,设计了多目标神经架构搜索方法GLU-NAS,使用多目标进化算法NSGA-III同时优化子网性能和参数量。为减少架构重新训练带来的额外计算资源和时间开销,采用了超网-子网权重共享策略。本文的主要研究内容如下:(1)针对卷积核感受野的局限性,本文将Transformer中的自注意力机制融合到了深度可分离卷积中,参考Inception结构设计了GLPM(Global-Local Parallel Module)模块。通过并行计算分组卷积和自注意力,GLPM可以在一个模块中融合局部与全局特征,同时可以灵活分配各自的比例。并以GLPM和MLP模块为基础,构建了CNN与Transformer混合的分割网络GLU-Net。(2)以GLU-Net为超网,设计了多目标进化神经架构搜索GLU-NAS,同时优化子网络的参数量和性能。GLU-Net的子网的卷积核大小、层数和拓扑连接与超网一致,但子网中GLPM模块的分组卷积、自注意力通道数,以及MLP的隐藏层维度可在一定范围内变化。首先为GLPM和MLP模块设置了各自的搜索空间,设计了子网络的染色体编码方案。然后将卷积通道排序与选择的权重继承策略拓展到MLP中。最后根据多头自注意力的特点设计了注意力的多头权重共享,对比了注意力不同权重共享方式的差异。在BTCV腹部多器官分割和Lizard结肠细胞核分割两个数据集的实验表明,本文设计的GLU-NAS能够通过一次搜索,获得一系列在参数量上分布广泛的神经网络。这组网络在性能和复杂度上相互制约,为不同的终端设备环境的算力和性能需求提供了多种选择。在BTCV多器官分割任务中,本文设计的GLU-NAS方法,相比同等精度手工设计的卷积网络参数量减少了10%;相比同等参数量的卷积网络DSC提升了4-5%,相比纯Transformer的网络架构参数量减少了90%以上。在Lizard结肠细胞核分割数据集中,本文设计的GLU-NAS方法搜索得到的网络参数量仅为手工设计的50-80%,仍能取得更好的分割性能。相比其他的NAS方法,GLU-NAS使用更大的超网搜索空间,以更好地权衡架构性能和参数量。

关键词： 无监督域适应   无源主动域适应   医学影像分类   医学影像分割  

摘要： 近些年,随着人工智能和医学影像技术的快速发展,基于深度学习的智能医疗影像辅助诊断也取得亮眼成绩。在医学影像分类和分割任务中,一些深度学习方法已经取得媲美专业医生的水平。然而,由于不同医疗中心采集的数据之间存在域偏移问题,一个医疗中心(域)上训练的模型在另一个医疗中心(域)上精度下降,影响深度学习技术在临床中的应用。 为了解决域偏移问题,研究人员提出了域适应方法,该方法旨在消除域偏移问题,利用源域数据提升模型在目标域上的精度。除了域偏移外,与自然图像不同,医学影像还面临两个独特的问题:(1)获取大规模、高精度、有标注的医学影像数据十分困难。(2)由于存在隐私保护条例,共享医学影像数据十分困难。 基于上述分析,本文围绕着域适应方法和医学影像分类与分割任务展开研究。在不侵犯数据隐私的情况下,解决域偏移问题,利用源域数据提高模型在少量或无标注数据的目标域上的性能。主要工作如下: 1)提出一种基于跨层对齐的无监督域适应医学影像分类方法 本文提出一种基于跨层对齐的无监督域适应医学影像分类方法(Unsupervised Domain Adaptation Method based on Cross-layer Alignment,CADA)。该方法设计一个语义跨层对齐模块,对齐不同层次的语义信息,来解决域偏移问题及其在分类任务中导致的语义错位问题,并引入信息熵损失优化模型,提高模型在目标域上的泛化性。在不使用目标域上的标签的情况下,在目标域上训练一个达到基本医用水平的模型。在公开的数据集上验证该方法的有效性,在多域的胸部X射线和皮肤癌检测数据集上的平均准确率分别为76.5%和86.8%,均超过了现有的无监督域适应方法。 2)提出一种基于块级数据选择的无源主动域适应医学影像分割方法 本文提出一种基于块级数据选择的无源主动域适应的医学影像分割方法(SourceFree Active Domain Adaptation Method based on Patch-Level Data Selection,PLDA)。该方法在训练过程中,只将源域上预训练的模型给目标域,以避免泄露源域数据隐私。然后利用蒸馏损失将预训练模型蕴含的知识迁移到目标域上的模型中,解决域偏移问题。最后使用块级数据选择策略选择5%的目标域数据进行标注,使用5%的有标注数据和95%的无标注数据在目标域上训练出高精度的模型。在公开的多域数据集上验证该方法的有效性,在眼底数据集上的Dice平均值为0.818,在前列腺数据集上的Dice值为0.748,接近并超过使用两个域数据训练模型的无监督域适应方法。

关键词： “三全育人”   医学影像技术   课程思政  

摘要： 在当前教育教学中,教师应坚持立德树人的根本任务,在教育教学全过程落实思想政治工作,达成全员育人、全程育人以及全方位育人,实现对高素质人才的培养。在医学影像技术教学中,教师应以专业知识为载体,落实课程思政建设,使学生产生正确的价值观念以及职业道德。本文对“三全育人”的意义进行分析,探究医学影像技术专业课程思政建设现状以及在“三全育人”背景下的具体措施,希望通过课程思政加强未来医生的思想政治素养,以推动医学的发展。

关键词： 医学影像分割   Transformer   卷积神经网络   多尺度   空洞卷积  

摘要： 医学影像分割是医学图像处理任务中的一个重要的研究方向。通过对医学图像进行自动分割,可以辅助医务人员进行疾病的诊断。近年来,随着技术的不断发展,以U-Net为主的基于深度学习的分割方法在医学图像分割领域得到了广泛应用。然而,由于医学图像中的目标形态和结构差异大,并且专家精确标注的数据集较少,因此要获得准确的分割结果仍然是一个亟待解决的技术难题。本文针对不同医学分割任务的特点,在U-Net的基础上提出了两种不同的医学影像分割算法,取得了较好的分割性能。本文的具体研究成果如下:(1)针对医学影像分割任务中的病灶分割问题,本文提出了一种基于Swin Transformer和Conv Ne Xt的端到端医学影像分割网络SCW-Net。SCW-Net结合了Transformer与CNN的优点,能够在不牺牲CNN提取低级特征能力的同时利用Transformer来保持全局信息的完整性。SCW-Net的编码器使用了一种拥有Swin Transformer分支和Conv Ne Xt分支的并行结构,用以提取图像中的全局特征和局部特征。模型的解码器中使用了一种特征融合模块,用于对两个分支中提取的特征信息进行融合。针对传统上采样方法易丢失细节的问题,我们在网络的解码器中使用了一种混合上采样方式。在BUSI和i Challenge-PM数据集上进行的实验结果表明,SCW-Net相较于其他对比网络能够更加精准地对病灶区域进行分割。(2)针对视网膜血管分割任务,我们提出了一种基于多尺度特征融合的血管分割网络MSF-Net。视网膜图像具有细小血管多,并且每个区域内血管的形态、粗细和对比度水平不一致的特点。针对以上特点,MSF-Net的编码器和解码器中分别使用了一种多尺度特征提取和多尺度特征融合策略来结合多层的特征信息,使得网络能够有效地捕捉到丰富的形态学特征,增强了网络上下文信息交互的能力。MSF-Net还使用了一种基于混合空洞卷积的特征提取模块,同时利用注意力模块重点关注对分割结果贡献大的通道与空间区域,进一步提高了网络的特征提取能力。在DRIVE和CHASE＿DB1数据集上进行的对比实验结果表明,我们所提出的分割方法优于目前主流的血管分割算法,具有优秀的分割性能。

关键词： 移动医学影像平台   云影像   DICOM协议   影像调阅  

摘要： 随着现代信息化技术的普及与深入,医学影像信息已具备多样化特点。目前研究人员还在不断的提升医学影像的成像质量。但通过对医院医学影像管理过程的调研,发现仍存在很多问题。如影像数据存储与远程传输困难,胶片影像与纸介质报告的应用导致耗材成本浪费,现况与医院移动端发展趋势不符。因此,迫切需要研究一套移动医学影像平台。平台可借助云技术,实现医学云影像,报告云存储。论文主要的研究如下:(1)DICOM云影像诊断。针对传统医学影像“胶片”式存储与诊断方式,无法快速联网查询及移动端显示问题。论文分析了云影像的应用场景,研究了DICOM影像的移动端显示、影像上传、影像调阅功能。通过上述功能能够获取医院内部的PACS影像,以及外部允许接入的医学影像数据信息。论文方法的特色为能够将上述信息通过DICOM网关、DICOM协议推送到云端的Web Service接口,实现了医学云影像的移动端显示。该移动云影像方法的亮点为可借助DICOM HTML5 Viewer浏览器实现医学影像数据在线的三维重建。(2)医学影像数据云存储。针对受医学影像管理方面的资金困扰以及成像仪器设计问题,导致医学影像数据存储形式落后,存储访问效率低。论文通过云存储技术来存储医学影像数据,并对存储的影像数据进行加密、解密处理,以此为后续的影像调阅提供辅助支持。其中,此医学影像数据包括医学诊疗图像以及医学影像报告。因此,平台的亮点为应用云加密存储技术可将影像信息、报告信息存储到云端,大大提升了移动医学影像平台的存储能力。(3)移动医学影像平台。为满足医院诊疗影像业务的云端、移动端发展需求,论文采用了My SQL云数据库、HTML 5、JSON技术、云存储技术实现了移动医学影像平台。平台实现了DICOM医学云影像诊断,医学影像数据云存储,访问登记模块、统计管理模块。该平台的亮点与特色为应用移动医学影像平台能够借助移动端设备查看医学影像数据,能够与医院其他平台实现跨平台影像互操作,还可借助Saa S实现成本低廉的医学影像云存储。本研究主要关注医学影像平台的移动端开发,同时打造“云影像”概念。日后,仍需要继续针对DICOM有损、无损压缩传输方面进行研究。现阶段主要依靠DICOM HTML5 Viewer浏览器实现的二维、三维医学影像的调阅。日后仍需要关注此方面的研究,保证移动医学影像平台的可持续性、先进性。图35幅,表23个,参考文献60篇

关键词： 集成成像   医学影像   立体显示技术   光场采集   虚拟视点合成  

摘要： 立体显示技术能表现出三维场景的深度信息,更好的反映出物体的形貌特点和空间分布。医学场景下引入立体显示技术使医学数据的显示效果更加逼真,深度信息更加准确、视场范围更宽广,能切实提升术前规划、术中引导、远程诊断与医疗培训等活动的有效性。集成成像技术作为一种裸眼立体显式技术在医学、生物学、混合现实等领域中有极大潜在应用价值,正受到国内外研究者越来越多的关注。集成成像系统实现正确的三维立体显示需要准确生成单元图像阵列(Elemental Image Array,EIA)。利用传统的透镜直接采集方式生成的EIA在成像阶段会出现深度反转的赝像,且该三维图像分辨率不高。因此研究者们不断探索各种通过计算直接生成单元图像阵列的方法,在提高成像分辨率和灵活性的同时一并解决深度反转问题。其中,利用相机阵列获取多视点图,再通过对视点图编码生成单元图像阵列的方法虽然相对成熟,但该技术依赖位置准确的规则相机阵列,标定难度大,拍摄区域局限且固定。而对于一些特殊场合如医学内窥镜手术场景来说,相机阵列的部署方案更难以实现。因此,如何根据有限且相对随机视角下的源图像预测虚拟视角下的结果,通过视点漫游实现集成成像所需的单元图像阵列生成,具有十分重要的研究价值。本文以三维医学模型和二维腹腔镜视频数据为对象,对集成成像中的单元图像阵列生成方法进行了研究,以实现多种医学场景下的裸眼立体显示,主要包括以下研究内容:(1)基于三维医学模型数据的单元图像阵列生成方法。基于光栅化表面绘制和光线投射体绘制这两种目前最常用的图形渲染范式,本文使用GLSL(Open GL Shading Language,Open GL着色语言)对三维医学数据进行渲染,生成单元图像阵列。通过使用颅骨、心脏和胸腔的三维面数据模型和使用口腔CBCT扫描得到的体数据模型生成EIA并再现了立体像,对提出方法的有效性进行了验证。此外本文使用Open GL验证了一种基于纹理单元重映射的EIA生成方法,该方法无需通过背面绘制或智能像素映射就可以得到无深度反转的立体再现效果,可直接应用于后续腹腔镜场景的EIA生成。(2)基于局部光场融合理论的腹腔镜场景下单元图像阵列生成方法。对于内窥镜采集的自由视角图片,首先通过3D卷积网络生成各视角下的光场多层平面图(Multi Plane Image,MPI)。对于待获取的虚拟新视点,选取与虚拟视角最接近的几个视角对应的MPI,对MPI渲染结果做透明度加权混合,得到与集成成像显示系统视点参数相匹配的虚拟视点图,完成单元图像阵列的生成。(3)基于神经辐射场理论的腹腔镜场景下单元图像阵列生成方法。本文利用腹腔镜手术视频帧对多层感知机(Multi-Layer Perceptron,MLP)模型进行训练,建立对腔镜手术下三维场景的隐式表达,实现对腔镜三维场景内传播的光线上若干采样点的颜色和不透明度预测。对于集成成像所需的各虚拟视点,通过训练好的多层感知机即可输出对应视点的图像,再进而完成单元图像阵列的生成。此外针对Ne RF训练慢的问题本文尝试使用稀疏体素格点结合球谐光照插值的可微渲染方法进一步加快光场隐式建模的速度,在不损失虚拟视点图像质量的情况下提高了训练效率。