教学课程资源库 更多>>

关键词： 图像分割   DRR   图像配准   点云配准   Huber损失函数  

摘要： 随着医学成像技术和计算能力的不断发展,微创手术广泛应用于临床实践,这对于影像引导系统、图像的分割与配准技术、可视化技术以及人机相互系统的要求更高。在术中引导过程中,需要全方位的检测手术介入全过程,给予临床医生对每个细小环节的把控,这需要多种模态的医学图像共同作业,构建解剖结构的时间与空间信息互补。譬如,临床上关于脊椎相关疾病的诊断,特别是脊椎部位,无论是术前病理诊断与分析、术中引导介入过程,还是术后疗效评估,都需要扫描CT或MRI作为辅助手段,其中,CT图像对骨骼结构敏感,成像效果好,在术前诊断分析过程中,临床医生可借助CT图像快速、精准定位椎骨的病灶区域和位置。医生从图像中获取患者病灶模型是一项繁琐而耗时的工作,此外,对于同一个病人,在两个不同的观察者之间可能存在着显著的差异性,最终的图像分析高度依赖于医生的专业知识。因此,一种可校准的、可预测的以及自动化的图像分割方法非常重要,它可以节省大量时间并提供更加精确的分割结果。为了向临床医生提供实时手术环境的分割与配准模型,本文提供新的基于脊椎图像的分割与配准算法,其中包括图像相似度的测量标准。然而,目前基于CT脊柱图像的分割与配准仍然是存在一些缺陷,如分割边界模糊、分割过程中图像细节信息的丢失、配准耗时较长以及迭代效率低下等。因此,本文以下方面做了重要研究:(1)由于医学影像图像边界较为模糊,传统的语义分割网络往往缺乏低层信息、缺乏详细的语义信息,基于U-Net网络,本文提出一种改进的网络结构,该方法在U-Net的图像特征提取中引入多尺度信息和新的残差连接,可以更好地结合高层次和低层次的特征信息,防止图像的细节在上采样过程中被稀释。通过实验分析表明,本文提出的分割模型使得图像的分割边界更加清晰、骨骼检测和定位的准确度将大大提高。(2)不同的X光设备的型号不同,拍摄出的X射线图像的质量会存在较大差异,如边界模糊、特征不明显以及对比度差等情况。因此,在医学图像配准过程中,传统的相似度计算方法难以准确地评估其有效特征,针对这一缺陷,本文提出一种局部归一化互相关加权的相似度方法,通过计算单节脊椎的相似度方法,提高算法的鲁棒性。为了验证这一方案的有效性,利用DRR模拟图像进行测试,在相同的变化参数范围内,本文所提出的方案计算出的相似度具有更加明显的变化。因此,该方法能够较大调高后续配准的精确度以及缩短配准的时间。(3)搜索策略是2D/3D医学图像配准中至关重要的一步,它决定着算法能否在更快的时间内计算出最佳的相似度值。传统的优化算法,如变邻域搜索的算法(VNS)和蚁群优化算法(ACO)具有迭代次数多,搜索步长难以确定等弊端。协方差自适应进化算法(CMA＿ES)具有较强的收敛速度和搜索步长自适应变化的特性,但对于较大数据空间,很容易陷入局部最优解中。针对上述问题,本文提出在CMA＿ES中引入近端优化策略(PPO),通过在每次迭代中对少量样本的更新以及搜索步长的自适应变化,来提高搜索效率,从而获得全局最佳变换参数矩阵。(4)在基于点特征的配准方法中,最常用的方法是用快速点特征直方图(FPFH)匹配,损失函数选最小二乘法(TLS),它对有噪声和干扰的数据具有很强的鲁棒性,然而,该方法在存在大量离群值的条件下会产生一个较差的估计。为了针对这一缺陷,本文在TLS函数中引入Huber损失函数,可以减少数据中对于异常值的敏感性。实验结果表明,本文提出的方法可以有效降低离群值对于配准结果的影响。

关键词： 医学图像分析   标志点检测   深度学习   Transformer   热图回归  

摘要： 解剖标志的准确定位在临床分析和治疗评估中起着重要作用,医师可以根据关键点间的相互关联来获取所需的放射学参数,从而对患者病情进行诊断,并规划后续手术及治疗方案。目前,标志点的检测大多依赖医生的手工注释,但这往往受限于标注效率与准确性,并且医师的临床资历以及主观差异都会对标志物的判断产生影响。因此,开发一种自动化解剖标志点检测算法将促进现代医学的发展与进步。然而,医学影像模态的多样性、较大的图像尺寸以及解剖结构固有的复杂性都为研究人员带来了挑战。此外,图像上不同的位置可能共享相似的像素分布,这将引发模型的检测歧义,从而混淆标志点的真实位置。Transformer在全局依赖性建模上具有先天优势,这对确认标志物的位置有所帮助。因此本文基于传统的卷积网络,并结合Transformer模型,提出了两种不同的检测算法,分别在二维与三维的医学数据集上进行了实验与分析。本文的具体研究内容如下: 对于二维X光片上的标志点检测问题,本文提出了一种在同层级融合Swin Transformer与Res Net的网络模型Res-Swin Fusion,其通过拟议的特征聚合模块将两种不同的编码信息相结合,以充分利用各自的优势。同时,为了解决相似结构所引发的歧义问题,还提出了一种判别性特征指导模块,用于增强标志点在训练阶段的权重占比,从而缓解相似结构在编码过程中产生的干扰。另外,还对真实热图的设置进行了改进,使网络更加关注标志点周边的像素变化,从而提高模型的拟合效率。该网络在三个不同解剖部位的数据集上进行了实验,在与同领域其它方法对比时,均取得了最好的综合性能。其中,头影任务两个测试集分别获得了1.04mm和1.37mm的MRE值;手部任务获得了0.62mm的MRE值;骨盆任务则获得了1.43mm的MRE值。实验结果表明,该算法能够快速准确的检测解剖标志点的位置,并具有一定的通用性。 针对三维相关数据集的稀缺,本文自行标定了包含500块椎体的终板标志点检测数据集,并提出了一种基于卷积增强型Transformer的网络架构CETran Net。该模型由一系列改进Transformer块构成主干编码器,其将不同类型的卷积层嵌入至Transformer结构,以保证模型同时具有全局与局部的特征提取能力。另外,还提出一种多域自适应MSA层用于替换Transformer中所对应的结构,以强调自注意力计算过程中每个维度的统计信息。为解决腰椎病变所引发的检测遗漏问题,提出一种协同化循环流程,其基于实例分割结果来辅助椎体标志点的检测。通过不断迭代小区域精细化分割与一致性判断来确保独立椎体的实例位置能被正确的检测到,从而定位复杂病例的全部标志点。该算法在腰椎数据集上进行评估,并取得了最好的成绩。在分割任务上,达到了96.89%的Dice系数值;在定位任务上,获得了1.25mm的MRE值,同时2mm内成功检测率为84.1%。

关键词： 图像分类   傅里叶卷积   超分辨率重建   注意力机制   频域特征  

摘要： 随着智能化技术的不断发展以及医学影像设备的普及,医学影像分析技术已经成为临床医生诊断和治疗中非常重要的辅助手段。医学影像超分辨率重建和医学影像分类是医学影像分析技术中的两个重要方向。然而目前这两个方向存在以下问题。首先,高场强MRI扫描仪在临床研究中存在成本高、数量少等问题,构建高分辨率医学影像可以使图像体现出更多的结构和纹理等细节信息,并可以降低对被试者影像的扫描成本,现有的基于卷积神经网络的超分辨率重建技术对网络深度较为敏感,容易产生过拟合和欠拟合现象,且对于边缘细节缺乏感知。其次,医学影像的成像模式和图像类型具有多样性和复杂性,不同病情种类所感兴趣的区域也很难统一,现有方法往往只局限于捕捉单一空间域特征,对频域中细节信息的表达未能充分利用,而仅从特征层面简单的拼接融合,难以自适应地捕捉不同影像分类任务中感兴趣区域,从而导致模型的泛化性与鲁棒性不足。本文针对以上问题,提出的具体研究内容如下:(1)针对MRI医学影像超分辨率拟合效果不足的问题,提出了一种基于残差学习与无参数注意力的医学影像超分辨率重建算法。该算法结合了无参数注意力特征融合模块与融合感知损失、边缘感知损失和L1损失的训练策略,获得了更丰富的感受野并提升了模型对边缘细节的拟合。所提出的方法在超分辨率IXISR神经影像数据集上进行评估,涉及到的三种MRI影像模态的超分辨率重建,均优于对照组方法,在PSNR和SSIM方面分别平均提升了5.8%、1.4%,RMSE下降了22.2%。(2)针对医学影像分类模型泛化性和鲁棒性不足的问题,提出了一种基于混合域特征学习的医学影像分类算法。该算法设计了一种基于加窗快速傅里叶卷积的混合域特征学习模块,能够有效地融合频域和空间域的特征信息。同时,该方法融合了Res Net和FPN实现多尺度的混合域特征学习,并结合注意力机制,有效捕捉感兴趣区域。此外,该方法还结合遗传算法实现对模型的超参数优化,以提高模型性能与稳定性。所提出的方法在医学影像Med MNIST数据集上进行评估,涉及到的10种分类任务上均优于对照组方法,在AUC和ACC方面分别平均提升了2.5%和7.8%。

关键词： Orthogonal regularization   Convolutional neural network   Medical image   Transfer learning  

摘要： Insufficient training data poses significant challenges to training a deep convolutional neural network (CNN) to solve a target task. One common solution to this problem is to use transfer learning with pre-trained networks to apply knowledge learned from one domain with sufficient data to a new domain with limited data and avoid training a deep network from scratch. However, for such methods to work in a transfer learning setting, learned features from the source domain need to be generalizable to the target domain, which is not guaranteed since the feature space and distributions of the source and target data may be different. This thesis aims to explore and understand the use of orthogonal convolutional neural networks to improve learning of diverse, generic features that are transferable to a novel task. In this thesis, orthogonal regularization is used to pre-train deep CNNs to investigate if and how orthogonal convolution may improve feature extraction in transfer learning. Experiments using two limited medical image datasets in this thesis suggests that orthogonal regularization improves generality and reduces redundancy of learned features more effectively in certain deep networks for transfer learning. The results on feature selection and classification demonstrate the improvement in transferred features helps select more expressive features that improves generalization performance. To understand the effectiveness of orthogonal regularization on different architectures, this work studies the effects of residual learning on orthogonal convolution. Specifically, this work examines the presence of residual connections and its effects on feature similarities and show residual learning blocks help orthogonal convolution better preserve feature diversity across convolutional layers of a network and alleviate the increase in feature similarities caused by depth, demonstrating the importance of residual learning in making orthogonal convolution more effective.

关键词： 图像处理   语义分割   医学影像   深度学习   卷积神经网络  

摘要： 听神经鞘膜瘤是起源于听神经鞘的良性肿瘤，是常见颅底肿瘤之一。听神经瘤压迫并损伤面听神经，导致患者出现面瘫、听力下降、耳鸣、眩晕等症状。听神经瘤精准分割有助于神经外科医生快速定位肿瘤，辅助颅底神经外科手术规划和导航，降低手术风险。然而临床上肿瘤分割依赖神经外科医生手动描绘肿瘤的轮廓，存在着主观性强、耗时耗力等问题，分割结果受操作者技术水平和经验等因素影响，存在较大差异。基于深度学习的肿瘤自动分割方法是目前研究的热点，然而现有方法仍存在以下问题：(1)现有方法普遍基于单一模态分割听神经鞘膜瘤，分割精度不高;(2)目前基于三维张量的卷积神经网络在分割听神经鞘膜瘤时计算量大、参数多、耗时过长;(3)缺乏一种针对听神经鞘瘤集成分割模块实现精确自动分割、三维重建及可视化等功能。针对上述问题本文以多模态核磁共振成像(MagneticResonanceImaging，MRI)图像为基础，针对听神经鞘瘤分割在颅底手术规划和导航中精准性和实时性的要求展开研究，主要工作如下：　　(1)针对目前基于单一模态分割听神经鞘瘤精度不高的问题，提出一种融合多模态MRI图像的W-Net卷积神经网络用于听神经鞘瘤的分割。该方法融合不同模态MRI图像的影像特征，基于融合特征进行听神经鞘瘤的分割，将多模态的MRI图像输入到网络中，使用卷积提取MRI图像特征和上下文信息，之后利用注意力机制对多模态的高维特征进行加权融合，最后对融合的高维特征图进行上采样恢复特征图，得到分割结果。为了验证算法的有效性，从首都医科大学宣武医院获得的60名听神经鞘瘤患者的临床数据中进行验证。结果表明，本文提出的分割网络在分割精度上优于现有的分割方法。　　(2)针对现有的三维卷积神经网络在分割肿瘤时计算量大、耗时过长的问题，提出一种改进型3D卷积用于MRI图像特征的提取。采用一个二维卷积提取MRI图像单一层的信息，用一个一维卷积提取相邻层之间的上下文信息。提升网络在三维MRI图像张量的处理速度，更快地对图像进行分割，帮助医生更快地确定病变的位置和大小。实验结果表明本文的分割算法在分割速度上优于现有的基于三维张量的分割网络，具有良好的实时性。　　(3)针对现有手术规划及导航等应用场景对听神经鞘瘤分割的精确性与实时性的需求，设计听神经鞘瘤分割模块，实现听神经鞘瘤精确自动分割、三维重建及可视化。利用QT，VTK(VisualizationToolkit)可视化平台，开发了听神经鞘瘤自动分割模块，实现从客户端发送重建请求，到服务器接收请求，然后算法服务器接收到中心服务器的指令，对原始数据进行预处理、配准、听神经鞘瘤分割等，最后上传重建结果并在客户端实现肿瘤三维可视化。实现了一个可视化效果好，操作简便，可靠性高，数据管理高效的听神经鞘瘤自动分割平台。　　综上所述，本文基于多模态MRI图像设计一种改进型3D卷积双通道W-Net神经网络，实现听神经鞘瘤的精确快速分割，并利用QT，VTK可视化平台，开发听神经鞘瘤自动分割模块，融入神经外科手术规划系统云平台。本文工作可辅助医生术前制定精准的手术方案，评估治疗效果，监测肿瘤的生长和变化，帮助医生更直观地解释诊断结果，在临床实践中具有较大的应用价值。

关键词： 图像分类   医学影像   深度学习   注意力机制   特征融合  

摘要： 一些常见的肠道疾病，如息肉和溃疡被认为是结直肠癌的预警信号。它们若能及时被发现和得到准确治疗，这将有利于提高患者的治疗成功率和生存率。在医学界，肠道内窥镜检查被公认为是最好的肠道疾病筛查技术。但在检查的过程中会产生大量的图像，依靠人工手动挑选异常图像并诊断，将会费时费力、可重复性差。诊断结果还会受内窥镜医生的经验和心理状态影响，容易出现漏诊和误诊的问题。因此，提供一个准确的肠道内窥镜图像自动分类算法，可以帮助医生快速准确地诊断病人的肠道状况并制定合理的治疗方案。本文主要的研究内容和贡献包含以下两个方面：　　（1）基于多尺度自适应聚合的肠道图像分类网络　　目前已经提出了许多可以用于图像分类的卷积神经网络，但是它们的卷积核大小一般是固定的，从而导致提取特征的感受野大小受到限制。本文提出了一个多尺度特征提取模块可以替换ResNet50残差块中3×3的卷积得到的一个多尺度残差网络。此模块利用多尺度卷积对输入张量进行并行处理，可以提取到具有不同空间分辨率和深度的多尺度特征。为了模仿内窥镜医生综合考虑局部病变信息和全局病变信息的诊断流程，本文设计了一个双分支协作网络。其中第一个分支网络主要是从图像的全局多尺度特征层面对肠道内窥镜图像自动异常分类。第二个分支网络将第一个网络提取的带有病变信息的特征图和原始肠道图像的特征充分融合后的特征作为输入，从而得到一个从病变的局部特征方面进行自动分类的网络。此外，为了让双分支网络更好的协作得到比较好的分类性能，本文还提出了一个合作校正损失函数监督这两个网络的训练。本文在公开数据集Kvasir上进行对比实验，分类整体准确率可以达到96.33%，性能明显优于其它分类网络。　　（2）基于多尺度深浅特征融合的肠道图像分类网络　　由于考虑到网络的训练时长，参数调整的复杂度，对计算资源的要求，图像分类准确性以及分类性能的泛化性提高等问题，此网络在第一个网络的基础上进行了改进，设计了一个可以用于肠道内窥镜异常图像自动分类的单分支网络。本文对多尺度特征提取主干网络做的改进，提高了对病变等重要信息的关注能力，降低了一些无关特征的干扰。另外，本文采用了深层特征和浅层特征融合的策略，可以充分地利用网络提取的不同层次的特征。此外，为了防止特征融合时产生较高的语义差距，本文分别设计了细节捕捉注意模块用于增强浅层特征和密集采样融合模块用于细化深层特征。最后，将经过处理的特征进行融合，不仅有效的利用了主干网络提取的特征，而且整个网络对病变的识别和定位性能也提高了。本文提出的网络使用了公开数据集Kvasir和合作医院采集到的数据集（私有数据集）进行了泛化性验证，得到的分类性能比之前的网络提高了大约1.5个百分点。此外，本文还使用了类激活图可视化方法从视觉角度进一步展示了分类效果。

摘要： 王骏、吴虹桥的原创专著《感悟医学影像技术学》由辽宁科学技术出版社出版发行。该书汇总了130余篇作者在《健康报》、《中国医药报》、《中国医学论坛报》、《医师报》、《中国科技翻译》、《中华医院管理杂志》、《中华放射学杂志》、《国外医学临床放射学分册》、《国外医学放射医学核医学分册》、《国外医学医院管理分册》、《中国大学生就业》等数十家国内顶级报纸、期刊上刊发的“工作随笔”。书里汲取并融合了数十位院士的学术思想，数十位将军级教授的学术理念，

摘要： 高考前，我就知道自己会走上学医的道路。原因无他，家里长辈的职业基本分为两派：医生和老师。于是，我干脆在两者中选择了前者，希望自己可以像抗疫的医护工作者一样，奔赴在国家需要的前线，救死扶伤。填报志愿时，我的第一志愿就是广州医科大学。起初，我以为自己的成绩去读临床医学专业是很稳的，但偏偏那年医学类专业很火爆，我的分数连临床医学的门都没摸到，直接被医学影像学专业“捞”走了。

关键词： 深度学   医学影像语义分割   知识蒸馏   跨模态语义   注意力机制  

摘要： 医学影像语义分割是计算机辅助诊断流程中不可或缺的一环,是自动化医学影像分析的关键技术之一,由于其可以提供图像中关键的结构和组织信息,有助于医生了解疾病的情况,因此具有很大的实际应用价值,近年来成为模式识别和计算机视觉领域的研究热点。相较于基于阈值、区域生长、边缘检测的分割方法和依赖于特征工程的传统机器学方法,随着数据驱动时代的来临,基于深度学的医学影像语义分割方法凭借其更佳的性能表现和端到端的设计理念,受到了学界的广泛关注并占据了主流地位。本文针对基于深度学的医学影像语义分割方法的共性难题,提出了改进思路和方法,设计了几种新的语义分割方法和模型。主要的研究成果概述如下。(1)表征学是语义分割的基础,针对迁移学中自然图像与医学影像视觉语义不一致问题,本文提出了一种基于医学影像的预训练方法。首先通过图像模态差异量化方法对模态差异而导致视觉语义不一致的原因进行了解释,并提出一种基于混合模态医学影像的预训练策略以解决医学影像预训练时存在的视觉信息不足问题;同时针对样本标注工作人力和时间成本巨大的问题,提出了一种弱监督学表征迁移策略和跨尺度语义聚合分割模型Hy Net,以减小对像素级标注样本数量的依赖。(2)针对有限计算资源条件下细粒度与边界语义缺失的问题,本文首先提出了一种基于度量学细粒度边界增强的医学影像语义分割方法(Fine-grained Boundary-enhancing Semantic Segmentation,FBSS),基于边界锚定的自适应三元组采样策略进行显式边界语义挖掘,使得模糊边界上的细粒度语义得以保留;同时提出一种显式边界语义知识蒸馏方法(Explicit Boundary-guided Knowledge Distillation,EBKD),通过边界引导深度监督和边界特征嵌入对齐学来显式地迁移边界语义信息,有效保留大模型预训练学到的边界语义信息。度量学和知识蒸馏方法的定制化使用,在提升语义丰富度的同时避免了额外计算量的引入。(3)针对小样本场景下病理信息缺失、跨模态语义引入不足的问题,现有的主流方法往往只能基于图像输入进行病理信息的隐式学,导致病理语义获取不足,造成对病灶定位、辨别能力的显著下降。本文提出一种基于跨模态注意力机制的医学影像语义分割方法(Cross-modal Attention-based Semantic Segmentation,CASS),在图像之外引入文本作为模型输入数据,显式引入病灶位置、类型等病理相关信息,并自适应地对各模态内部信息进行精炼并对跨模态语义进行融合,以解决病理信息不足的问题。基于以上研究成果,本文对深度学的医学影像语义分割中的共性难题提出了解决方案。在多个公开语义分割任务上的大量实验表明,本文方法能够有效减少预训练所需样本数量,降低人力标注成本,避免语义不一致问题,在不引入额外推理计算量的同时,有效挖掘和保留细粒度边界语义,提升对医学影像模糊边界上的分割表现,并通过引入跨模态输入,在小样本场景下有效弥补病理信息并抑制假阳性区域的出现,取得了同期最优的综合性能。

关键词： 深度学习   湿性年龄相关性黄斑变性   图神经网络   卷积神经网络   多标签图像分类  

摘要： 综合医学影像处理领域的现有研究基础可以发现,深度学习技术在医学影像识别与处理领域的发展已经较为成熟,尤其是基于医学影像的疾病分类诊断任务已有研究基础,仅在眼科影像领域,就有大量基于卷积神经网络等模型的算法,利用彩色眼底影像与OCT图像在糖尿病视网膜病变(DR)、糖尿病性黄斑水肿(DME)、青光眼等疾病的识别任务中取得了接近专业医生的成果。然而,AI算法距离实际应用于湿性AMD的真实诊疗场景仍存在以下问题:首先,现有技术未实现对湿性AMD的亚型进行细粒度诊断,限制了模型在临床诊疗中的应用效果;其次主流的基于卷积神经网络模型作为黑盒方法,完全抛弃领域内专家的先验知识。对比医生先识别症状,再根据循证医学推断患者所患疾病类型的流程,AI识别方法缺乏对患者症状的识别和推断,且缺乏可解释性;最后,算法缺少匹配的系统支撑,缺乏实用性。针对以上问题和挑战,本文在以下三方面开展研究工作:1)注意力增强的湿性AMD细粒度分类诊断模型研究与实现:本文提出的SAE-wAMD模型基于卷积神经网络领域传统模型VGG16改进而来,利用自注意力层替换部分卷积层,让模型具备聚合全局特征的能力,提升模型捕捉病灶区域关键特征的效果,同时在预训练阶段引入对比学习的损失函数进行无监督预训练。实验结果证明了 SAE-wAMD模型的有效性,最佳模型的F-1值可以达到86.81%。相比baseline模型提升4.4%,并优于SOTA模型,并超过了 4名专业眼科医师的平均水平。2)基于图卷积网络的眼底医学影像多标签病征分类模型研究与实现:本文提出的wAMD-GCN模型首先通过卷积骨干网络提取影像中患者的症状特征,然后将对应类别特征作为图卷积层的节点嵌入,利用图卷积神经网络特征聚合的能力,挖掘疾病与症状间的隐藏关联关系并将其与视觉信息的融合,进而实现分类识别准确性和可解释性的提高,实验在4927张精确标注的OCT影像数据集上进行,实验结果表明了症状标签的引入为模型带来了 3.7%F-1准确率的提升。3)湿性AMD病征智能诊断系统的设计与开发:本系统基于上述两部分的模型研究成果,搭建了湿性AMD智能辅助诊断系统来提升眼科医师的诊断效率,并克服现有研究未考虑临床实际应用场景、落地性较差的不足。搭建平台可以直接将算法置于临床应用场景中提供病征辅助诊断、用户和数据管理、诊断报告生成等服务。最后,本论文实现的模型和系统在河北省邢台眼科医院的临床应用中,其准确性、可靠性得到了验证,为其他眼底医学影像的多病征分类模型研究和更多种类眼底病的智能辅助诊断研究打下了坚实的基础。