教学课程资源库 更多>>

关键词： 医学影像分割   多模态   注意力机制   视觉Transformer  

摘要： 医学影像是直观反映记录人体解剖学结构的信息载体,在临床诊断、教学科研等方面扮演着重要的角色,现代医学已越来越离不开医学影像的智能化处理。近些年,将深度学习理论应用于医学影像分割任务的尝试越来越多,探索一种简单高效的医学影像分割深度学习算法势在必行。 然而,不同模态的医学影像的成像原理各异,如何充分融合模态间的互补信息成为了多模态医学影像分割的一个难点。再者,同一模态的医学影像的不同区域往往存在关联,这又需要算法能够实现全局性的影像特征建模。此外,医学影像数据量往往较少,这也对模型的体量造成了限制。本文针对医学影像分割算法存在的上述问题,开展基于通道-空间混合注意力机制的多模态医学影像融合算法和卷积神经网络(Convolutional Neural Networks,CNN)与视觉Transformer混合架构的单模态医学影像分割算法研究。文章主要贡献如下: (1)针对多模态医学影像分割算法存在的互补特征利用不充分的问题,本文提出了一种基于通道-空间混合注意力机制和多尺度空洞卷积的多模态医学影像分割模型MM-UNet。利用注意力机制从两个维度剔除模态间冗余信息,强化模态特有的高亮特征。同时引入多尺度空洞卷积来缓解卷积操作的局部效应,以应对目标区域大小变化明显带来的挑战。在两个多模态医学影像数据集上的实验验证了该算法能够实现不同医学模态间影像特征的高效融合。 (2)针对单模态医学影像分割算法难以获取长距离特征依赖的问题,本文提出了一种基于CNN-ViT混合框架的单模态医学影像分割模型SWT-UNet。利用多头自注意力计算和滑动窗口机制来捕获全局特征关联,打破卷积操作因归纳偏置带来的感受野限制。同时采用拓宽自注意力向量的方式来精简模块数量,压缩模型规模,从而契合医学数据量较少,模型容易过拟合的特性。在三个单模态医学影像数据集上的实验验证了该算法能够以轻量的规模实现高效的医学影像分割。

关键词： 医学影像教学   3D全息投影   OBJ模型   手势识别   卷积特征   关键点特征  

摘要： 传统医学影像教学注重理论性知识,以教师为主体的单一教学方式,使得学生长期处于被动状态,无法有效激发学习兴趣以及创新型思维的培养。全息投影技术通过在真实空间构建清晰度高、色彩丰富、立体逼真的三维组织器官影像,给医学影像专业学生强烈的视觉冲击力,从而加深学习过程中的印象和提高对专业知识的理解力。本文主要针对当前传统医学影像教学过程中存在的局限性问题,开发一款简便、易用、廉价的裸眼3D全息投影医学影像示教系统。本文研究内容主要包括三个部分,分别是OBJ模型可视化、3D全息投影和手势识别。具体来说:首先,开发一款基于Open GL的OBJ模型可视化软件,用于渲染与显示3D医学影像模型;其次,设计与搭建一个全息投影设备,在真实世界空间呈现模型渲染的效果,用户可以进行裸眼观摩;最后,用户可以通过预定义的手势指令对模型进行控制变换,例如:缩放、平移、旋转等变换,从多个层次、多个方位、多个角度对医学影像模型进行观察。手势识别是本系统所用到的关键技术,在手势识别研究过程中发现,当室内环境背景复杂、光照因素不稳定、手势肤色存在明显差异时,导致仅依靠RGB图像来提取纹理、颜色和轮廓等卷积特征进行手势识别的传统方法,会造成识别不准确的情况。针对上述问题,本文提出了一个改进的手势识别方法即融合卷积特征和关键点特征,既考虑手势的全局特征,也考虑手势的局部特征。通过本文提出的分类器模块和自定义的“匹配器”模块分别提取卷积特征和关键点特征进行手势识别,最后将两个模块输出的类别概率分布进行加权融合,作为最后的手势识别结果。并且通过基准实验和消融实验,验证了本文提出手势识别方法的有效性。最终本系统采用C/S架构,基于Py QT5进行开发,实现了一个桌面应用程序,系统主要功能模块包括认证管理模块、数据管理模块、手势识别模块和模型处理模块等。

关键词： 图像分类   医学影像   机器学习   特征提取   支持向量机  

摘要： 轻度创伤性脑损伤(mildtraumaticbraininjury,mTBI)因其影像学检测结果多呈阴性而难以鉴别，导致患者缺乏及时的治疗而产生行为、认知和情感障碍。国内外学者对mTBI后引起的病理变化做了大量的研究，但存在几点局限：(1)常见的皮层分割方式较为粗糙，缺乏对脑区特定结构的进一步细分，使皮层属性的统计学特征不显著;(2)目前mTBI的脑白质微结构研究主要聚焦于分析扩散张量成像(diffusiontensorimaging,DTI)衍生的传统指标，但DTI对复杂的白质微结构不够敏感;(3)基于组水平的研究方法忽略了个体间的差异性，无法直接应用于mTBI个体化临床辅助诊断。针对以上问题，本文基于磁共振成像对mTBI大脑灰白质特征进行定量的分析和分类研究，具体工作和成果如下：　　(1)针对大脑皮层分割方式较为粗糙的问题，本文分别基于Desikan-Killiany图谱和脑网络组图谱将大脑分为82个和246个区域，提取了每个脑区的表面积、灰质体积、厚度和平均曲率作为皮层属性，比较健康对照组与mTBI组皮层属性的组间差异，将有显著差异的皮层属性与临床量表做Pearson相关性分析。与传统的Desikan-Killiany脑图谱相比，应用脑网络组图谱细分的大脑皮层发现了更多具有统计学意义的特征。细分皮层属性组间对比结果显示，mTBI的皮层萎缩涉及额叶、颞叶、枕叶、顶叶、岛叶以及扣带回等区域并且呈现广泛分布的特点，这些脑区与运动觉知、视觉处理、语言思维、个性表达、情绪表现和行为决策等能力相关。Pearson相关性分析发现，数字符号替代测试量表比跟踪测验A量表更为敏感，mTBI组的处理速度、持续注意力和工作记忆较健康对照组差。　　(2)针对DTI对白质微结构复杂性不够敏感的问题，本文将神经突定向弥散和密度成像(neuriteorientationdispersionanddensityimaging,NODDI)模型纳入研究。本文将全脑神经纤维分割成有解剖学意义的纤维束，再通过束分析框架将纤维束进一步分割成100段，分别提取了DTI和NODDI属性进行组间差异分析。研究结果显示，mTBI组在扣带束、丘脑额叶、钩束、皮质脊髓束和胼胝体发现DTI和NODDI扩散属性异常，损伤部位呈现局部分散的特点，NODDI属性异常提示纤维束发生轴突变性。　　(3)针对目前基于组水平的研究方法无法应用于mTBI个体临床辅助诊断的问题，本文构建线性判别分析(lineardiscriminantanalysis,LDA)、支持向量机和K近邻分类器对个体进行疾病预测。本研究有以下几点发现：融合多特征构建的分类模型可以提高mTBI识别能力;基于脑网络组图谱分割的皮层属性仅利用简单的分类算法就能很好地识别mTBI，多特征LDA分类器表现出最好的综合性能，其准确率为89.47%;NODDI属性表现出比DTI属性更强的区分mTBI的能力，其中多特征LDA分类器的准确率为94.73%。精细分割的皮层特征和NODDI扩散属性有望成为mTBI敏感的生物标记物，两种特征训练的分类器均在轻度创伤性脑损伤的临床辅助诊断上展现出巨大潜能。

关键词： 矩阵因子模型   时间序列   区域经济   图片识别  

摘要： 高维面板型数据广泛存在于经济、金融、气象、视觉检测等诸多领域,因子模型在大数据时代被广泛应用于数据的降维,然而传统的因子模型直接将面板型数据向量化,这会丢失掉数据中行和列的相关信息,为了更全面、系统的研究面板型数据,揭示数据内在规律,矩阵因子模型应运而生。2020年1月,我国湖北省爆发新型冠状病毒肺炎疫情,此后疫情在全球轮番肆虐,由于病毒变异速度快、传染性不断增强,我国抗疫取得重大成果,但也面临长期与病毒共存的局面。后疫情时代下,中国区域经济如何协调发展是经济研究者关心的重点问题;在疫情爆发阶段,如何借助影像识别技术辅助医生高效诊断病情,进而科学分配医疗资源,关乎人民的切身利益。本文基于矩阵因子模型,研究中国区域经济发展结构的变化以及医学影像识别的特征提取。在中国区域经济发展的量化分析中,本文首先构建宏观经济指标体系,验证区域经济数据具有因子结构,而后利用矩阵因子模型的ACCE方法、α-PCA方法和PE方法估计因子载荷矩阵,基于因子载荷解释公共因子,并利用PE方法从动态的视角,研究得出疫情爆发前后区域经济在空间和驱动力方面的结构变化。随后本文将矩阵因子模型应用于消费者价格指数(CPI)滚动预测,结果表明PE方法相较ACCE方法和α-PCA方法,在大多数省份取得更好的预测效果。本文医学影像识别研究人体胸部CT影像,样本被标记是否患有新冠肺炎,先通过矩阵因子模型估计像素矩阵的公共因子,以公共因子的估计量作为特征提取的结果,借助支持向量机、逻辑回归和随机森林模型进行影像识别的训练和测试。研究表明矩阵因子模型可准确提取出胸部CT影像的核心结构,可帮助分类器精准识别影像。经比较,PE方法相较ACCE方法和α-PCA方法能够取得更高的F1值和召回率,在新冠肺炎诊断方面具有一定优势。

关键词： 医学图像分割   半监督学习   一致性正则化   对抗学习   自训练  

摘要： 随着计算机在医学领域中的快速发展,从医学影像中识别并分割出病变区域的技术得到了广泛的研究和应用,实现计算机辅助诊断在临床上有着十分重要的意义。近年来,基于深度学习的医学影像识别方法已经成为热门的研究内容。然而,医学影像领域要得到高性能的网络模型,严重依赖于大量的有标签数据,特别是医学影像分割任务中,标签数据需要具有较强专业知识背景的医生进行精密的像素级标注,这些医学数据的标注非常昂贵且耗时,因此医学影像的标签数据量通常较少,这导致基于监督学习的模型性能大打折扣。这种情况下,高效地利用无标签数据在医学影像分割领域变的至关重要。针对少量标签数据和大量无标签数据在医学影像分割中存在的问题,本文采用半监督学习方法对医学影像分割进行研究,提出了两种基于深度半监督医学影像分割方法,具体工作如下:1.为了提高模型对无标签数据的利用,提出一种基于自训练的一致性半监督医学图像分割算法(CO-ST)。该模型由强弱数据增强得到的双教师模型,通过双教师的一致性损失学习无标签数据特征。使用强弱教师模型生成伪标签扩充标签数据集,利用自训练方法增加模型对无标签数据的循环学习。在皮肤病变图像数据集(ISIC)、视网膜眼底图像数据集(Refuge)和低等级胶质瘤图像数据集(LGG)上取得较好的分割结果。2.针对平均教师模型存在归纳偏差问题,设计出基于一致性正则化和对抗机制的半监督医学图像分割算法(CASSL),算法在一致性正则化的基础上引入对抗机制,通过判别器生成无标签数据的置信度,为模型提供更多的监督信息。同时运用双判别器的协同学习将无标签数据引入到判别器的训练中,帮助对抗机制生成高质量的监督信息,实验结果表明基于一致性正则化和对抗机制的方法取得良好的性能表现。3.基于上述的方法,设计出基于深度半监督医学图像智能分割系统,将分割模型封装到终端设备中,实现实时智能医学影像分割以达到计算机辅助诊断功能。

关键词： 深度学习   领域知识   医学影像分析   疾病诊断   脑肿瘤分割   算法  

摘要： 医学影像分析技术在辅助医生精确和客观地解读影像内容中发挥着关键作用。近些年,深度学习在医学影像分析的各种任务中取得了最卓越的表现。然而,基于深度学习的方法仍面临高质量标注数据稀缺的挑战。医学领域知识是指医生基于多年医学教育和长期临床实践而验证和积累的专业知识,将医学领域知识融入深度学习中成为应对上述挑战的有效策略。考虑到医学领域知识的融合效果与其抽象程度成反比,本文沿着从高阶医学领域知识到高低阶混合的医学领域知识,再到低阶医学领域知识的顺序展开研究。此外,鉴于医学领域知识因诊疗场景而异,本文选取具有高临床价值和挑战性的胸部X光影像疾病分类以及脑肿瘤核磁影像分割为具体的研究场景。本研究的主要内容包括: 第一,针对胸部X光影像疾病分类中医生从少类到多类学习诊断的高阶医学领域知识融合缺失的问题,提出了多标签局部到全局学习算法。该算法首先确认从少类到多类学习诊断的三种具体表现形式,然后让深度分类模型按照这些顺序从少类(局部)到多类(全局)迭代地进行训练,从而在模型中融合该高阶医学领域知识。本文从模型训练初始稳定性的角度给出了学习算法有效的一种可能性解释。PLCO、Chest X-ray14和Che Xpert数据集上的实验结果表明,该算法显著提升了以曲线下面积为评估指标的总体分类性能,以及以敏感性和特异性为评估指标的临床应用效果。 第二,针对脑肿瘤核磁影像分割中医生从少类到多类学习分割的模式和标签树同步融合缺失的问题,提出了层次约束局部到全局学习方法。该方法通过多标签分割网络及其输出上的层级一致性变换融合了标签层级依赖的低阶医学领域知识,通过让网络按照某种子区域顺序从少个区域(局部)到多个区域(局部)迭代地进行训练,融合了医生从少类到多类学习分割的高阶医学领域知识。特别地,通过对局部类集进行层级适应变换,使局部到全局学习能够兼容层次约束的多标签输出。TCAI-Alg Fusion、MSD-Bra TS和Bra TS2021数据集上的实验结果表明,该方法显著提高了以Dice相似系数为评估指标的分割精度和以敏感性为评估指标的漏诊率。 第三,针对脑肿瘤核磁影像分割中手动分割规则未被全面提取并同步融合的问题,提出了基于多手动分割规则同步融合的分割网络Mimic Net。该方法首先深入分析手动分割协议,并提炼了三个关键规则。然后通过多个子任务融合从外到内顺序分割规则,通过高细粒度模态注意力模块融合多模态融合规则,通过共享编码器、深度特征传播模块和位置信息传播模块融合先前分割知识利用规则。最后,提出了一种课程损失实现了简单、高效的端到端训练。Bra TS2018、Bra TS2019和Bra TS2020数据集上实验结果表明,该方法显著提升了以Dice相似系数为评估指标的分割精度和以敏感性为评估指标的漏诊率,且各个模块均有效地发挥了其预定的融合效果。 第四,针对脑肿瘤核磁影像分割中标签树信息融合不充分的问题,提出了基于深度标签树感知的脑肿瘤分割框架。该框架通过条件输出网络和混合训练,融合了标签树中的标签层次依赖并增强了输出结果的可解释性;通过树三元组损失函数融合了标签树中的标签相似性。Bra TS2018、Bra TS2019和Bra TS2020数据集上的实验结果表明,该框架显著提高了以Dice相似系数为评估指标的分割精度和以敏感性为评估指标的漏诊率。预测结果的可解释性使该框架在临床应用中具有较高潜在价值。 综上所述,本文针对胸部X光影像疾病分类和脑肿瘤核磁影像分割场景中现有医学领域知识融合方法的不足,通过融合医生学习模式、标签树和手动分割规则等不同阶次的医学领域知识,有效地缓解了高质量标注数据稀缺的问题,并显著提高了模型性能,从而更好地满足了医生的临床需求。

关键词： 医学影像诊断学   课程考核评价体系   改革探索与实践  

摘要： 在高校教育中，课程考核属于关键环节，是掌握学生知识程度、进行教学质量评价、落实教学流程调控、推动教学方法改革的关键途径。尤其是针对医学院校来讲，医学教育专业性和规范性极强，需要为社会培养一支优秀的医学人才队伍，在专业人才培养过程中，不仅需要向学生进行专业知识的传授，又要增强学生实践运用知识的能力，使其专业能力不断提升，实现学以致用，从而给社会发展输送更多优秀人才。故此，本文从医学影像诊断学课程考核评价体系概述入手，分析医学影像诊断专业的教育评价考核现状以及突出问题，提出医学影像诊断专业课程的考核评价系统改革与实践策略，意在为医学领域培养出更多影像诊断优秀人才。

关键词： 深度学习   无监督学习   医学影像配准   卷积神经网络   Transformer   Swin Transformer  

摘要： 医学影像配准任务是医学影像分析中的一项基础任务。该任务目的是建立不同受体、不同阶段医学影像中对应解剖结构在空间位置上的对齐,从而实现精准医疗的关键技术。在医学图谱分析,影像引导的放射治疗和导航手术、影像上精准疾病诊断等实际临床应用中扮演着重要的角色。传统的医学影像配准方法以迭代的方式搜索、计算影像对之间的变形场。迭代优化的方式在耗费大量的计算资源的同时需要较长的时间来预测一对影像之间的变形场,并且,其精度和鲁棒性也存在一定的局限性。近年来,随着深度学习技术的快速发展,基于深度学习的医学影像配准在精度、鲁棒性上相较于传统方法更有竞争力。然而,基于深度学习的配准技术仍面临配准精度待提高、变形场平滑以及建立远程体素之间的对应联系的挑战。针对上述医学影像配准中的挑战,本文以无监督训练策略作为基础,从配准模型,以及变形平滑等关键技术方面进行深入研究。提出三种基于深度学习的高性能无监督配准模型。本文的主要贡献和创新点如下:1.基于分支编码以及折叠校正的无监督图像配准模型研究。现有的基于深度学习的可变形配准方法将拼接在一起的影像对作为其模型的输入,这种方式忽略了影像内解剖信息的独立性。此外,全局正则化导致过度或欠约束模型预测的变形场平滑,影响模型的配准精度。为了解决上述两个问题,本文提出了一个孪生网络模型SEN-FCB,由两个子网络组成:(1)提出的分支编码卷积神经网络模型SEN,用于预测高精度变形场;(2)提出折叠校正块模块FCB,用于校正变形场以减少变形中出现的折叠。实验结果表明,本研究提出的模型提升了配准精度并有效的减少了变形场中的折叠,并且所提出的折叠校正模块限制变形场平滑的性能优于全局正则项。2.研究基于改进的Transformer的对称无监督图像配准模型研究。为解决基于卷积神经网络的配准模型性能受感受野大小限制的问题,本文使用Transformer来对远程体素的关系进行建模。然而,标准Transformer参数量巨大,模型复杂度高,只能应用于模型的底层,在最低分辨率下只能获得粗粒度的特征信息,从而限制了Transformer在配准模型中的作用。为了解决这个问题,本文提出了一种基于卷积的高效多头自注意力模块CEMSA,它减少了标准Transformer的参数数量,并捕获局部空间上下文信息以减少自注意力机制中的语义歧义。基于所提出的CEMSA,本文设计了一种对称的基于Transformer的配准模型SymTrans。SymTrans在编码器和解码器中使用Transformer对影像对中的远程体素相关性进行建模。位移场和微分同胚配准的实验结果表明SymTrans具有良好的配准性能,并且消融实验表明了提出的对称结构是有效的。3.研究基于Swin Transformer的无监督上腹腔CT图像配准模型研究。建立腹腔中体素对应关系比其他器官更为复杂,建立远距离语义相关性的感知对于腹腔图配准至关重要。因此,本文利用Swin Transformer作为配准模型的基础模块。然而,基于Transformer的模型将图像拆分为“词”,这导致Transformer只能建模和输出粗粒度的空间特征,限制Swin Transformer在配准模型中的贡献。为了解决这个问题,本文提出了还原分辨率编码模型RFRNet,它使Swin Transformer能够提供细粒度的空间特征和图像对中丰富的语义对应关系。此外,Swin Transformer移动窗口策略不灵活,使Transformer无法感知不确定距离的语义信息并自动建立全局范围内窗口的信息交互。因此,本文提出了一种加权窗口注意机制WWA,实现在Swin Transformer的常规和循环移位窗口操作之后自动构建窗口间的全局交互。基于RFRNet和WWA,提出的无监督可变形图像配准模型RFR-WWANet,能够感知腹腔图像中远程体素的相关性,从而促进建立解剖结构的有意义的语义相关性。研究结果表明,RFR-WWANet实现了显著的配准性能改进。此外,消融实验结果证明了RFRNet和WWA设计的有效性。

关键词： 医学影像   胸腔CT   深度学习   肋骨分割   肋骨骨折检测   噪声标签  

摘要： 肋骨是人体的重要组成部分,肋骨骨折是一种常见的肋骨损伤。胸腔CT成像是辅助诊断肋骨相关疾病的首选工具。近年来,深度学习技术快速发展,将其应用于肋骨相关疾病的辅助诊断,有着巨大的潜力。本文针对胸腔三维CT中的肋骨成像,开展了针对肋骨分割和肋骨骨折检测任务的研究,开发相关深度学习算法,以辅助医疗诊断。本研究的内容主要包括以下三个部分:(1)基于传统图像算法的肋骨分割算法分割精度不高,且易丢失肋骨。基于深度学习的3D分割算法能结合更多的信息,但是资源消耗大,往往需要多次下采样或者使用分块推断的方式进行分割,会影响分割精度;而2D网络资源需求更少,但不能很好地结合各张CT切片间的信息。为了解决这些问题,本研究针对胸腔三维CT成像中的肋骨分割任务,提出了一种名为ISF-UNet(Inter Slice Fusion UNet)的2.5D网络。针对肋骨区域目标较小的问题,ISF-UNet减少了下采样次数,并使用Dense ASPP来提取多尺度信息。ISF-UNet的输入为一组CT切片,网络利用2D CNN来提取切片内的信息,并使用 ISF-Transformer(Inter Slice Fusion Transformer)来融合各张切片间的信息。在RibSeg数据集上的实验结果显示,ISF-UNet取得了 96.79%Dice值和99.44%肋骨召回率,在肋骨分割任务上的表现超越了其他深度学习分割算法。(2)肋骨骨折是一种常见的肋骨损伤,准确诊断肋骨骨折十分重要。已有一些工作对使用深度学习算法进行肋骨骨折检测进行了初步尝试,但由于肋骨骨折区域较小,形状多样且不规则,该任务仍有较大挑战。为了解决这个问题,本文提出了一种肋骨骨折检测算法,包括肋骨分割,3D滑动窗口分割和后处理三个步骤,用于更准确地检测肋骨骨折。该算法利用由双注意力模块增强的分割网络CSFG-UNet(Channel-wise Fusion Attention&Spatial-wise Group Attention UNet),在 3D 滑动窗分割阶段准确分割肋骨骨折区域。双注意力模块包括通道融合注意力模块(Channel-wise Fusion Attention Module,CFAM)和空间分组注意力模块(Spatial-wise Group Attention Module,SGAM)。CFAM关注特征图通道间的关系,使用通道注意力机制来沿通道维度重新加权特征映射。SGAM使用分组卷积技术生成空间注意力图,以保留更多细粒度的空间信息,帮助网络从空间维度调整特征图。最后,本研究在自建的肋骨骨折检测数据集上进行了实验,结果显示,本文所提出的肋骨骨折检测算法达到了89.74%的最高敏感度,平均FROC得分为81.41%,均优于现有方法。(3)在大规模的医学影像数据集中,难免会有噪声标签的存在,深度学习网络容易过拟合噪声标签,从而对网络性能产生不利影响。为了解决这个问题,本文提出了一种对噪声标签鲁棒的框架,来帮助深度学习网络从带有噪声标签的数据中学习。该方法通过Mean Teacher模型对训练过程中的神经网络参数进行集成,从而提升教师模型预测的鲁棒性,并将教师模型的输出作为伪标签监督网络的学习。此外,该框架通过衡量伪标签和真实标签之间的相似度来筛选噪声标签,动态决定标签监督和伪标签监督之间的权重。伪标签中也会存在噪声,该框架通过不确定度估计的方式排除伪标签中噪声的监督信号。最后,本文在RibSeg数据集和肋骨骨折检测数据集上模拟了噪声标签,并进行了实验。实验结果显示,对于肋分割算法,在25%和50%噪声的情况下,使用框架训练,分割Dice值分别提升了 2.72和3.31个百分点,对于肋骨骨折检测算法,检测的平均FROC值提升了 3.27个百分点,说明了本文所提出的方法有效性。