教学课程资源库 更多>>

关键词： 医学影像分割   无监督域适应   域泛化   深度学习  

摘要： 随着国家对医疗改革的深化,借助人工智能技术扩大优质医疗资源的覆盖面、提高服务质量和诊疗速度已经成为大势所趋。基于深度学习的分割方法由于其优越的特征捕获能力已经在独立同分布的数据上有相当成熟的表现。然而,受限于公共数据和像素级人工标注获取困难,现实中仅有少量的医学影像数据和标注是可用的;此外,不同模态的医学影像之间具有较大的成像差异,对模型的训练和迁移造成了很大的障碍。为克服上述难题,本文在域适应和域泛化场景下进行医学影像跨域分割研究,旨在提高模型的准确性和泛化性。本文主要研究成果如下: (1)针对多模态间域偏移和密集注释获取困难等问题,提出了一种注意力增强的解纠缠表示学习无监督域适应分割算法。为充分挖掘精确的域不变特征,提出了从图像级粗对齐到精细去除剩余域偏移的策略,用通道级解纠缠表示学习促进域不变和域特定特征之间的相互指导。此外,提出了对抗学习的注意偏差来加强对任务相关区域的学习。最后,提出了信息融合校准策略以降低推理阶段的测试误差。在MMWHS2017数据集上的实验表明了该算法能够有效消除域偏移; (2)针对隐私保护、数据信息量不足、学习偏向等问题,提出了一种面向单源域泛化分割的像素级对抗跨域聚合方法。为扩大训练数据的分布,提出了并行方式的域扩展模块,以生成结构匹配的多域图像。在此基础上,聚合生成器自适应地学习像素级聚合系数以增加信息量,从而合成便于网络分析和理解的图像数据。此外,引入了对抗训练以提高合成样本的分割难度,迫使模型逐步学习新的知识。通过在公开数据集上进行实验,验证了本文方法的有效作用; (3)针对病灶形状外观多样、边缘区域对比度微弱等问题,提出了一种多层次边界增强的多源域泛化分割算法。通过样本、特征和优化之间的协作增加了对边界区域的重视。首先,设计了一种边界感知的混合方法提升对边界的认识。其次,为提高对边界的适应性,提出了一种可变形拉普拉斯特征细化方法,并引入自调整系数来控制每个位置的细化强度。此外,还提出了一个位置敏感的补偿准则对细化后的退化特征赋予更多的重要性。在四个息肉数据集上的实验表明了该算法能够扩展到不可见的目标域。

关键词： 特征提取   医学影像诊断报告   术语加权   临床可解释性   残差注意力机制  

摘要： 近年来,受疫情和诸多流行病的影响,患者的医学影像数据逐年增长。传统的影像分析方法耗时耗力,导致医生的工作量陡增且极易出现人为误差。目前,深度学习在医学影像处理中取得重大突破,可以实现疾病的自动或半自动诊断,缓解医学影像数据带来的巨大挑战。但是,深度学习端到端的工作模式具有不可解释性,阻碍了其在智能医疗领域的进一步发展。最近,研究者将自然语言处理技术融入到影像报告生成过程中,结合患者的临床诊断信息,建立多模态医学影像诊断报告生成模型,自动生成患者诊断报告。医学影像诊断报告(Medical Imaging Diagnostic Reports,MIDR)自动生成模型可以模拟医生生成诊断报告,给出可理解的疾病诊断依据,增强医学影像数据处理的深度学习可解释性。然而,现有基于深度学习的诊断报告生成模型提供的报告质量较差、临床可解释性不足,无法在临床实践中辅助医生做出诊断。此类模型在临床应用中面临诸多挑战:(1)医学影像诊断报告生成模型难以提取用于指导报告生成的关键视觉特征,导致生成的诊断报告相较于医生提供的诊断报告匹配度较低。此外,受个体差异的影响,医学影像中病灶的个数、体积和位置具有不确定性,使得现有模型生成的诊断报告误诊率较高;(2)生成的医学影像诊断报告准确率较低。涉及病灶的关键词汇或医学专用词汇出现频次较少,非关键词汇出现频次较高,具有长尾分布特性,而现有医学影像诊断报告生成模型通常给所有词汇分配相同权重;(3)生成的医学影像诊断报告质量较差。医学影像报告由概括语句和描述语句组成,受其长文本特性的影响,报告生成过程中极易出现非必要的重复词或重复句,导致生成的诊断报告无法辅助医生做出正确的临床判断。针对以上问题,本论文对医学影像诊断报告自动生成的关键技术进行研究,提出了一系列医学影像报告自动生成模型。论文的主要创新成果如下:(1)提出了基于残差注意力机制的高分辨率表征学习的医学影像特征提取模型(High-Resolution Residual Attention Network,HRRANet),挖掘医学影像中的细粒度特征。HRRA-Net模型首先利用多分辨率分支之间的信息交互,提取医学影像中的多尺度特征;其次,通过跳跃链接实现模型中多尺度特征的传递;再次,集成残差注意力模块,以提取医学影像中病灶周围的局部与全局特征;最后,将模型习得的细粒度特征放入解码器,用于指导医学影像诊断报告自动生成。(2)提出基于无监督的轻量型术语加权模型(High-Resolution Residual Attention Term Weighted Network,HRRA-TWNet),为诊断报告中的词汇分配不同的权重。为解决诊断报告中出现的长尾问题,在HRRANet细粒度特征提取模型的基础上集成了无监督的轻量型术语加权机制。首先,利用segtok分割器对诊断报告中的词汇进行预处理;其次,根据术语大小写、术语频率、术语上下文相关性以及术语在不同语句中出现的频率特征计算术语权重;最后,将术语权重合并到报告生成常用的交叉熵损失函数中,产生术语加权报告生成损失。(3)在HRRA-TWNet模型基础上加入一种重复惩罚机制,以减少非必要的重复词汇和语句的出现。为提高诊断报告的临床可解释性和合理性,首先,计算诊断报告中单词生成的频率;其次,计算报告中词汇的指数级重复惩罚;最后,将指数级惩罚集成到交叉熵损失函数中,约束诊断报告中重复词汇的出现。本文在IU-Xray数据集和MIMIC-CXR数据集上进行了消融实验和对比实验,采用Bilingual Evaluation Understudy(BLEU)、Recall Oriented Understudy for Gisting Evaluation(ROUGE)和Consensus-based Image Description Evaluation(CIDEr)三种指标评估模型的性能。实验结果表明,本论文提出的模型能够根据医学影像准确生成诊断报告,且精度优于现有模型,提高了深度学习疾病诊断的临床可解释性。

关键词： 医学影像分割   多级多尺度特征   医学影像分类   参数迁移学习  

摘要： 医学影像的分析对于疾病的诊断至关重要，能够提高临床诊断效率，为预后提供量化指导。医学影像的本质是图像，而深度学习在图像处理领域的优势明显，所以深度学习在临床的医学影像场景中的应用获得了研究人员的广泛关注。不同成像技术的差异性、病人个体的差异性以及疾病的差异性都对深度学习在医学影像的应用上提出了更高的要求。深度学习通过特征信息提取进一步对病情进行分析，帮助解决医学影像中的病灶区域尺度差异不均等难点。使用深度学习对医学影像的分析包含病灶识别、影像重建、分割以及分类等。本文以深度学习技术为核心，对医学影像的分割与分类技术进行研究，帮助解决人工辅助诊断的误诊漏诊问题，工作概括如下：（1）本文使用卷积提取医学影像的特征，最后完成分割。具体地，根据梯度爆炸、消失问题与模型层数的关系，本文构建了不同层数的跳跃连接模块（Skip Connection Module, SCM）来辅助医学影像分割，确保增加特征提取能力并且尽可能规避梯度爆炸或者消失的缺点；医学影像存在个体与疾病种类等差异，表现在医学影像上就是病变区域的尺寸与位置等差异，SCM通过组合跳跃连接提取的局部多尺度上下文与特征金字塔结构提取的全局多尺度，最终形成多级多尺度特征提取模块。（2）本文提出的分割模型致力于多模态医学影像的分割问题解决，与其他最新结果相比，本文模型在多个模态数据集上均取得了较优的效果。与此同时，虽然增加了网络的层数，但是不同比例的数据集被划分用以训练和测试，结果表明虽然网络层数增加，但是依旧适用于小数据集。（3）对样本不足，模型收敛慢的情况，本文使用了参数迁移学习进行预训练，给予模型更好的初始性能；同时，本文通过可视化中间层特征图进行图像相似度对比，验证参数迁移学习的合理性；通过可视化学习率与准确率的曲线，验证了参数学习的有效性。最后，空间通道并行注意力机制被使用，改善模型的分类性能。本文实验结果表明，基于卷积的多级多尺度特征提取网络的医学影像分割模型，能够有效的提取不同尺度的多模态医学影像的图像特征，并且拥有很强的泛化能力，在不同模态的医学影像中均有较优的表现；基于卷积的新冠肺炎CT分类模型，运用了迁移学习与注意力机制，有效提取了分类所需要的特征信息。

关键词： 医学图像分割   深度学习   Transformer   特征融合   种猪智能筛选  

摘要： 医学图像分割旨在将医学图像中的不同组织和结构分离出来。深度神经网络已成为医学图像分割的主要方法,由于卷积操作的固有限制,尽管卷积神经网络(CNN)已成为各种医学图像分割任务的共识,但在提取远程图像特征方面存在局限性。Transformer在提取远程图像特征方面表现出卓越的性能,但它无法捕获低级特征。因此,结合CNN和Transformer可以获得更好的结果。本文针对Transformer和深度学习的医学图像分割算法,提出了两种充分结合CNN和Transformer特征的算法模型,在腹部多器官和肝脏图像数据集上进行实验,以提高医学图像分割的精度。主要研究内容包括:(1)提出了一个名为MCT的Transformer风格的模块,该模块结合了卷积和空洞卷积的多尺度上下文信息,通过修改Transformer模块中的键值获取,充分包括特征图上输入键之间的丰富上下文。本文还提出了一种名为MCTNet的编码器-解码器模型。同时也提出了一种专门用于多器官分割任务的损失函数。实验结果表明,在医学图像分割数据集上,所提出的MCTNet在不同的评价指标上均优于其他竞争方法。(2)提出了一种新型神经网络模型,采用Transformer作为基础结构,用于医学图像分割任务。该模型使用注意力机制来捕捉医学图像中的上下文信息,并使用位置编码来表示像素的位置信息,从而克服了CNN模型存在的输入尺寸限制和上下文信息不足问题,并提高了模型的并行化能力。同时,该模型还提出了一种全新的双特征融合模块,将CNN层获取的局部特征和Transformer层获取的全局特征进行充分融合,提高了网络分割精度。实验结果表明,该模型在各种医学图像分割任务上性能优于现有的模型。(3)构建了一个基于深度神经网络的猪体CT数据三维组织分割与测定系统。通过对活猪进行CT扫描,该系统可以快速且精准地分割并测定其相应的重量占比,无需屠宰猪,这是国内首个使用该方法进行种猪育种的企业合作研究。该技术的创新点在于不需要屠宰猪即可进行优良猪育种。该系统的应用可以提高生产的成功率和效率,为今后活体猪CT图像优质种猪筛选工作提供更加智能和一体化的综合体验。

关键词： 医学图像   卷积神经网络   V-Net模型   水平集模型   图像分割  

摘要： 伴随着医学图像技术的不断发展与完善,医疗工作者逐渐开始使用图像信息来完成对感兴趣区域(Region of Interest,ROI)的分割、提取、重构以及分类与识别。这样的技术已逐步演化成为一套医学计算机辅助诊断系统(Computer Aided Diagnosis,CAD),极大地提升了临床诊疗的精确性和可靠性。该方法对于实现电子计算机断层扫描(Computed Tomography,CT)图像中目标区域的准确划分,以及疾病的诊断、治疗以及术前规划等都有着重要的意义。但是,与天然背景下的图像相比,医学图像存在着较大的差异,其纹理结构较为复杂,并且受到成像技术、器材等方面的制约。医学图像噪声大,边界模糊,导致很难准确分割。因此,如何对CT影像进行准确的分割具有很大的挑战性。为了解决这些问题,本论文以3D形式的肝脏和肺部CT医学图像作为研究对象,使用深度学习方法和传统分割方法对感兴趣区域进行自动且高准确度的分割,具体研究内容如下:(1)提出了一套针对医学图像的分割与识别方法VLSM-Net模型,包括图像预处理、ROI粗分割、ROI精分割、ROI的分类与识别四个步骤。首先为了避免深度学习训练模型的初始偏差,对CT图像进行预处理,包括裁剪、重采样等步骤;其次将预处理后的CT图像作为改进的V-Net模型的输入进行训练,训练好模型后,将模型输出的结果作为粗分割;然后以粗分割图像边界当做输入初始化混合水平集方法(Level Set Method,LSM)的嵌入函数,并分布更新嵌入函数,完成对粗分割图像边界的精细化;最后训练Dense Net模型对分割得到的ROI进行分类与识别。(2)验证了融合深度学习和水平集分割方法的混合分割方法,能有效地改善分割精度与准确性。利用深度学习方法实现ROI的初步分割之后,再进一步利用混合水平集方法可以细化分割边界,达到更好的分割结果。(3)设计了实验用来探究本文提出模型的性能。在LUNA和Li TS数据集上进行的实验中,VLSM-Net模型分别取得了92.27%和82.73%的Dice分割分数。与此同时在分割效果方面,与V-Net相比,VLSM-Net的分割结果更加精细;与LSM相比,该模型能更准确地分割ROI。实验不仅证明了VLSM-Net模型在三维CT图像分割中的有效性,而且还表明在V-Net模型中加入LSM来提高性能是可行的,并对分割不同类型的ROI具有一定的普适性。

关键词： 机器遗忘   机器学习   隐私安全   后门攻击  

摘要： 近年来机器学习已经深入渗透各个社会领域,也为医疗领域提供了有力的理论技术支持。然而,现有研究表明,机器学习算法仍存在数据安全隐患,投入医疗模型学习使用的患者隐私数据存在泄露的风险。为了解决这个问题,机器遗忘的概念被提出,旨在保护个人对其隐私数据的使用权。机器遗忘的核心目标是从深度学习模型中完全消除对私有信息的记忆。因此,本文以医疗场景下的深度学习隐私安全为切入点,着重研究了数据遗忘问题,并提出了一种针对深度学习神经网络模型的轻量级的数据遗忘方法。为了解决神经网络模型下的数据遗忘问题,本文提出了一种轻量级的数据遗忘方法。通过深入研究现有的数据遗忘方法,本文指出了这些方法存在的问题,例如耗费大量时间和空间成本,以及在应用场景上不具备普适性等。为了实现轻量级数据遗忘,本文的方法避免了重新训练或保存训练中间节点参数所带来的消耗过大时间空间成本问题。本文提出的轻量级数据遗忘方法利用了参照模型不包含特定遗忘数据先验知识的特性,以参照模型对于特定遗忘数据的后验分布作为参照,并通过微调目标模型的权重,使得微调后的目标模型对于特定遗忘数据的后验分布不再具有可识别性,从而消除了目标模型对特定遗忘数据的记忆。本文利用隐私保护中成员推理攻击技术可以推理出给定数据是否为目标模型成员数据的特性,将成员推理攻击技术作用于对遗忘数据的推理阶段,以达到本文方法对于数据遗忘的有效性验证。利用后门攻击技术可以推理出目标模型对后门信息记忆的特性,本文将后门攻击技术用作评估本文方法在数据遗忘问题的有效性验证工具,通过评估目标模型对后门信息的可识别性,判断目标模型对遗忘数据的记忆程度。本文首先在四个公开图像数据集上进行实验,从准确率、遗忘时间等指标进行稳定性和简易性的评估。针对现有深度学习算法在医学图像分析存在的病患信息泄露问题,本文将提出的遗忘技术应用在医疗场景下,解决了病患隐私信息从医学模型中删除的需求。同时在新冠肺炎检测、病毒性肺炎检测以及糖尿病眼底检测的模型中进行相关实验,以验证本文的方法在医疗场景下的适用性。

关键词： 医学影像分割   特征重组   局部相似性   深度注意力机制   上下文信息增强   多尺度策略  

摘要： 随着科学技术的发展,基于计算机的数字图像处理技术日趋成熟并逐渐成为各行各业不可缺少的工具。特别是在医学领域内,基于医学影像处理技术的辅助诊断更是极大提高了疾病检查效率和检查精度,为临床医生制定合理的医疗方案提供了重要的参考价值。医学影像分割是辅助诊断中的重要组成部分,它是从二维或三维医学图像中分割出特定的目标区域,定量地分析目标组织结构特性的一种技术。尤其是自动化分割,不仅能减轻医生手动勾画目标靶区的劳动负担和时间消耗,而且为术前分析、术中引导以及术后评估等提供了方便和借鉴。近年来,基于数据驱动的学习方法凭借出色的图像特征提取能力而受到大家的广泛关注和讨论。但是,在某些医学领域中,获取带有丰富标注信息的数据往往是比较困难的,从而导致利用小样本数据驱动学习的模型泛化能力比较低。如何更好地提取丰富的医学影像特征,提升模型的鲁棒性和抗干扰性是大家所追求的;另一方面,随着CT等成像技术的发展,对于癌症影像的体量越来越大,为数据驱动学习方法的发展带来了机遇,同时,也给基于CT等影像数据驱动的肝肿瘤自动化分割方法带来了挑战。从成像角度来说,影像数据容易收到脉冲噪声以及成像协议差异等因素影响,造成可利用的图像质量差异比较大;从目标自身来说,密度不均质、边界区域较模糊、边界轮廓不规则以及尺度多样化等原因,导致自动化分割模型的精度下降,尤其是小目标肿瘤的普遍存在更是加剧了分割难度。为了应对分割过程中所面临的问题,我们做了以下几方面的研究工作:(1)基于小样本数据训练学习模型泛化能力弱以及捕获影像特征不够丰富的问题,我们提出了一种新颖的特征重组策略。其思想是在构造目标不同水平下的多尺度特征后,通过特征重组的方式打散并重组同尺度下特征,利用不同尺度下的多水平信息,丰富图像的特征空间,从而提高模型分割的鲁棒性和准确性。基于该策略下的模型设计尽可能地实现特征间地信息交互,其结果不仅在二类分割上具有较好的表现,在多类分割上也拥有不错的性能。(2)肝肿瘤CT影像数据因成像设备和协议的不同而有不同的图像质量差异,这给分割模型的训练增添了麻烦,其次,待分割的肿瘤目标区域是不同质的,并且边界模糊、不规则等因素进一步加剧了分割困难度。针对图像质量差异大的问题,本文建立了一套原始数据处理方法,通过截断、归一化以及去能量化等方式统一不同设备间的数据分布;其次,对于肝肿瘤分割中的难点,本文利用了多尺度感知模块减少目标细节信息的丢失,丰富不同尺度下的语义特征,同时利用双分裂注意力模块在校准特征图的通道响应时,嵌入目标的位置信息,这些策略都增强了目标的上下文信息,提高了分割能力。临床应用上,通过对分割结果的三维重建实现对肿瘤个数的统计,为肿瘤诊断凭借提供了参考。(3)基于多尺度感知和双分裂注意力的肝肿瘤分割模型较对比方法有了较大的提升,但是,在肿瘤的演化中,对于小尺度肿瘤的特征信息往往会被忽视或过滤,这不利于早期肿瘤的检测以及大小肿瘤尺度差异较大的情况。结合这些问题以及考虑到肿瘤本身局部性特点,尤其是小肿瘤,本文提出局部相似性嵌入策略,以建立病变局部与全局的依赖关系,更好的处理小肿瘤分割难的问题。另外,多核池化模块以及交互性附加注意力也增强了模型的特征提取和提纯能力,丰富了肿瘤目标的上下文信息,从而进一步提高了分割精度。本文所提取的模型不仅在不同的公共数据集进行了验证和对比实验,而且在一部分实际临床数据集上也主导了模型的泛化性测试,其结果都展示出所提方法的优越性和鲁棒性。

关键词： 医学影像   Web应用   数据缓存   渐进式传输   小波变换  

摘要： 在医疗领域，医学影像是临床上众多疾病诊疗的基础，它具有数据量大、采集和使用成本高的特点。在互联网时代，医生、患者和科研人员不再满足于指定时间、地点，在专用设备和专用网络上进行医学影像数据的处理，通过互联网以Web方式访问医学影像成为迫切需求。随着医学成像技术的快速发展，影像数据规模越来越大，一次检查产生的连续断层影像数据体量正由百兆级向千兆级发展。不断增长的影像数据量给互联网环境下的即时传输带来较大压力，影像访问延迟问题日益突出，降低了互联网诊疗的效率。因此，如何实现Web环境中医学影像数据的实时、快速访问成为一个需要解决的重要问题。针对该问题，本文开展以下研究工作:　　(1)针对常规分辨率影像的访问延迟问题，提出基于滑动窗口的预取和分级缓存机制(Slidingwindow-basedprefetchingandhierarchicalcaching,SWPHC)。常规分辨率影像数据量小，但影像序列的层数较多。在查阅每个影像序列时，相继访问的影像之间具有较大的相关性，本文提出了基于滑动窗口的影像预取算法，通过任务池、定时器和Ajax技术来实现多影像并发预取，提高影像的预取效率。此外，在客户端建立内存-磁盘分级缓存，提高对影像请求响应速度的同时，也避免了对服务器的重复访问。实验结果表明，在局域网和广域网环境中,该方法的平均缓存命中率分别可以达到80％和78％,对影像请求的响应时间和无预取缓存相比分别提升了79％和83％,能够有效降低Web环境中常规分辨率影像的访问延迟。　　(2)针对高分辨率影像的访问延迟问题，提出基于离散小波变换的影像渐进式传输方案(Discretewavelettransform-basedprogressiveimagetransmissionscheme,WTPIT)。高分辨率影像数据量较大，一次性传输完整的影像数据容易产生较大的延迟，本文采用渐进式传输方案，利用小波变换多分辨率分析的特性，通过小波分解产生的各个子带来构建多分辨率影像金字塔。在数据传输时，按照金字塔的结构从高层到低层依次传输数据，从而达到快速响应用户请求的目的。为了进一步提高数据传输效率，提出一种压缩算法对影像金字塔各层的数据进行压缩，该算法在熵编码阶段采用哈夫曼编码和游程编码相结合的方式，具有较低的计算复杂度。实验结果表明，相较于全传输方式，该方案能够在较短时间内重建低分辨率版本的影像，随着码流的叠加平滑过渡至更高分辨率，从而有效降低用户感知时延，提升用户阅片体验。

摘要： 《中国医学影像学杂志》是由中华人民共和国国家卫生健康委员会主管、中国医学影像技术研究会和北京医院主办的全国性专业学术期刊,是中国科学引文数据库(CSCD)核心库来源期刊、《中文核心期刊要目总览》收录期刊、中国科技核心期刊、中国科学技术协会《高质量科技期刊分级目录》收录期刊、《世界期刊影响力指数(WJCI)报告》收录期刊。办刊宗旨:贯彻党和国家的卫生工作政策,坚持理论与实践、普及与提高相结合的方针,反映我国医学影像学领域的重大临床和科研工作进展,致力于各种医学影像技术的基础与临床研究成果的推广和传播,为从业人员建立继续教育和技术交流的平台,促进国内外医学影像学学术交流。本刊刊登放射医学、超声医学、核医学、介入医学、影像技术学、医学影像工程学等相关学科的原创性论文,栏目设置包括规范与共识、专家论坛、实验研究、中枢神经影像学、头颈部影像学、乳腺影像学、心脏影像学、胸部影像学、血管与介入放射学、腹部影像学、妇产科影像学、生殖泌尿影像学、骨骼肌肉影像学、影像技术学、医学影像工程学、述评与综述。对于选题新颖、重点突出、创新性强、文笔精炼的原创性稿件及重大研究成果,以及国家或省、部级以上基金项目或重点攻关课题稿件,本刊将优先发表。