教学课程资源库 更多>>

关键词： 深度学习   医学影像模态转化   医学影像融合   放射治疗   CT   MRI  

摘要： 恶性肿瘤是影响人类身体健康的主要疾病之一。部分恶性肿瘤存在早期特异性症状较少、临床表现复杂多样的现象,容易被患者忽略或造成医师误诊。放射治疗是目前治疗恶性肿瘤的主要手段之一,具有副作用小、治疗率高等优点。如何准确诊断早期肿瘤,并提高放疗计划的准确性是临床上亟待解决的问题。本文利用深度学习的方法对医学影像进行处理,期望提高基于单一模态医学影像肿瘤诊断的准确性和基于MRI图像制定放射治疗计划的准确性。本论文的主要研究内容如下:1.探索监督式深度学习网络对于跨模态医学影像转化的影响。搭建以L2范数作为损失函数的监督式深度学习网络,将CT图像转化成MRI图像。研究结果表明,合成的MRI图像的平均绝对误差为74.89±11.23,相似性系数为0.91±0.02。证明了监督式深度学习网络合成了肉眼观察相对真实的MRI图像,能够在CT图像中区分具有相似像素值的不同解剖结构。通过合成的MRI图像,提高了CT图像的软组织分辨率,有利于临床中基于CT图像的诊断。2.探索无监督式深度学习网络对于跨模态医学影像转化的影响。搭建循环一致性网络(Cycle-consistent Generative Adversarial Networks,Cycle GAN)和未配对数据对比学习网络(Contrastive Unpaired Translation,CUT)用于将MRI平扫图像合成肝胆期图像。研究结果显示,基于Cycle GAN和CUT的无监督式深度学习网络合成的肝转移瘤肝胆期图像的平均弗雷歇初始距离(Frechet Inception Distance score,FID)为58.59和53.90,合成的原发性肝细胞癌图像的平均FID为56.05和53.47。研究结果证明,无监督式深度学习网络能够完成医学影像模态转化任务,并且利用CUT模型时能够取得更好的研究结果。随着图像精度的提升,在临床上可以避免肝脏特异性造影剂的使用,减轻病人就医负担,使得检查过程更加安全。3.为了改善医生在进行肿瘤定位和靶区勾画时需要反复对比MRI和CT两个模态的图像的现象。通过搭建监督式和无监督式深度学习网络,将MRI图像合成CT图像,并将二者进行融合,提出一种新的图像模态——核磁骨增强图像。该图像同时包含高质量的骨结构和软组织信息,便于医生更高效地制定放射治疗计划。在本研究中,通过深度学习与医学影像模态转化相结合,不仅可以帮助医生进行临床诊断,还将对高效制定磁共振引导的放疗计划具有推进作用。

关键词： 医学影像   磁共振图像   图像压缩   脑胶质瘤分级   IDH基因状态预测  

摘要： 目前,计算机辅助诊断(Computer-aided Diagnosis,CAD)技术在处理医学影像数据中展现出巨大的潜力。影像组学作为主要的CAD技术,以无创检查、定量分析为优势,通过高通量提取影像特征,为肿瘤的诊断和预后提供更多有价值的参考信息。影像标注是影像组学的重要环节,目前仍以医生手工分割ROI作为标注的“金标准”。然而手工分割重复性高、工作量大、效率低下,已难以应对呈几何增长的影像数据,阻碍了影像组学从科研转向临床的发展。因此,如何减少医生手工分割的工作量是一项亟待解决的问题。针对以上问题,本文主要工作如下:1)提出一种基于价值评估的磁共振单序列多层低价值点(Low Value Point,LVP)图像压缩算法。该算法以不同切片相同位置的像素为操作单元,根据磁共振图像单序列原图像和分割图像的数据类型,将图像的灰度值按特定规则进行合并,将单序列多层LVP原图像和分割图像压缩为单层高价值点(High Value Point,HVP)原图像和分割图像。将压缩算法应用于郑州大学人民医院构建的磁共振脑胶质瘤数据集GHPPH2018和公开数据集BRATS2017中,对比了原始图像和压缩成单层HVP图像的标注时间,并测试压缩图像进行影像组学分级任务的效果。实验结果表明,该压缩算法能显著减少医生分割ROI的工作量,另外,AUC等评价指标在执行该算法和未执行该算法得到的分级结果差值较小(<5%),且均高于医生诊断水平。该算法以损失微小的诊断准确率为代价,能成倍缩减医生分割ROI的工作量。2)探究压缩算法在预测IDH基因型中的应用价值。目前,IDH基因状态已被纳入WHO2016中枢神经系统分类指南,术前获得患者的IDH基因状态有助于选择更合适的治疗方案。为了探究压缩算法在预测IDH基因型中的应用价值,该研究回顾了郑州大学第一附属医院400名病例证实的脑胶质瘤患者,所有患者包含明确的IDH基因型信息。使用本文提出的图像压缩算法生成单层压缩图像,记录影像科医生手工标注原始和压缩图像的时间,通过构建IDH基因预测模型验证三组预处理分组(原始图像和基于原始图像的ROI手工分割、压缩图像和压缩ROI、压缩图像和基于压缩图像的ROI手工分割)的性能,另外通过IE、AG、SSIM评价压缩图像质量。实验结果表明,相较于原始图像,压缩图像包含了更多的信息,并表现出更好的图像质量;另外使用压缩图像构建的影像组学模型也能较好地预测IDH基因状态。3)最后,基于推进人工智能医疗辅助诊断快速应用的目标,将本文提出的算法进行工程化实现,开发基于压缩算法的医学影像智能分析平台,该平台缓解基层医疗机构诊断能力不足、标注工作量巨大等问题。

关键词： 医学影像   乳腺肿块分类   卷积神经网络   特征融合   对抗学习  

摘要： 乳腺癌是全世界女性死亡的主要原因之一。2020年全球乳腺癌新增病例数已超越肺癌,成为全球第一大癌症。早期筛查和治疗被认为是提高乳腺癌生存率的主要方式。乳腺钼靶检查是目前诊断乳腺疾病最可靠、最具成本效益的方法,被广泛应用于乳腺部位异常的检测。在乳腺的多种异常(如肿块、微钙化、结构扭曲、双边非对称等)中,乳腺肿块存在大小不固定、对比度较小、容易被相似的背景环绕的问题,这都会影响诊断结果的精确度。本文考虑到乳腺肿块的形状不规则性以及低对比度等特性,通过结合计算机视觉、机器学习等领域的思想,解决乳腺肿块在分割、分类上的难题。本文主要研究内容如下:1)提出基于特征融合的乳腺肿块良恶性分类模型。当前卷积神经网络(Convolutional neural networks,CNN)的一个现有问题是缺乏局部不变特征,无法有效响应乳腺钼靶图像的几何变换或成像角度引起的变化。因此,本文提出了一种具有纹理基元和深度卷积特征表示的新模型,用于乳腺肿块分类任务。将最大响应滤波器组提供的旋转不变特性纳入基于CNN的分类中,采用直接融合和降维后融合的方法,以解决CNN在提取肿块特征方面的缺陷。该方法在CBISDDSM和组合数据集(mini-MIAS和INbreast)进行了验证。基于CBIS-DDSM数据集,在AUC(接收器操作曲线下的区域面积,0.97)、准确率(94.30%)和特异性(97.19%)评价指标上,降维后融合方法优于其他肿块分类模型。2)提出基于对抗学习的乳腺肿块分割及形状分类模型。针对乳腺肿块的形状分类问题,本文提出了一种基于改进的条件对抗生成网络(Conditional generative adversarial networks,c GAN)的精确乳腺钼靶图像肿块分割模型。在c GAN的解码器中引入了一个超像素平均池化层,将超像素作为池化布局增强对于肿块边缘的分割效果。此外,还采用了多尺度的输入策略,使网络能够学习到鲁棒的、尺度不变的乳腺肿块特征。该分割模型在两个公开数据集上进行了评估:在CBIS-DDSM上达到了0.9337和0.8757的Dice和Jaccard得分,在INbreast上获得了0.9154和0.8440的Dice和Jaccard得分,超过了当前肿块分割的最新水平。超像素平均池化层和多尺度输入模块将原始c GAN的Dice和Jaccard得分分别提高7.8%和12.79%。基于生成的乳腺肿块分割掩膜,提出了一种基于CNN的形状分类模型,将生成的分割掩膜分为四种肿块形状:圆形,椭圆形,不规则和分叶。提议的形状描述符在CBIS-DDSM上进行了训练,产生了80%的总体准确度,超过了当前的最新水平。

摘要： 《中国医学影像学杂志》是由国家卫生健康委员会主管、中国医学影像技术研究会、北京医院主办的学术性期刊,是中国科学引文数据库(CSCD)核心库来源期刊、中国中文核心期刊、中国科技核心期刊(中国科技论文统计源期刊)、中国科协《临床医学领域高质量科技期刊分级目录:医学影像学》、中国学术期刊综合评价数据库统计源期刊,并被美国《化学文摘》(CA)、美国《剑桥科学文摘(自然科学)》(CSA)、

关键词： 医学跨模态检索   哈希学习   注意力机制   表示学习   类别监督哈希网络  

摘要： 随着医学信息化的快速发展,医学数据类型呈现多模态化,如放射学报告、CT图像、PET图像、X射线图像等。医学数据成为继自然场景数据集后,又一特殊的跨模态数据类型。医学跨模态检索旨在使用一种模态的样本(例如X射线图像)来检索与之语义相似的另一种模态的样本(例如放射学报告)。医学跨模态检索的主要挑战是同种模态数据底层特征与高层语义之间具有“语义鸿沟”和不同模态数据底层特征异构而高层语义相互关联存在“异构鸿沟”。本文整体采用哈希学习的方法,提出了两种医学跨模态检索方法来解决不同模态样本之间的“语义鸿沟和异构鸿沟”问题。具体而言,本文主要工作如下:一、提出了医学跨模态深度注意哈希检索方法。针对现有深度学习方法将图像和文本各自整体特征编码为哈希码时,没有进行细节语义信息的挖掘的问题,提出了医学跨模态深度注意哈希检索方法(DMCAH)。具体而言,首先利用CNN-F和词嵌入分别提取X射线图像和放射学报告的全局特征;然后从图像的粗粒度区域递归到细粒度区域,以提取各区域影像判别特征;同时从句子级别递归到单词级别,以提取文本的可区分语义信息;再分别通过自适应注意力机制聚集更精细的特征来获得局部特征;最后,最小化模态间语义距离,将图像和报告特征映射到一个公共空间,获得有判别式哈希码。实验结果表明:在大规模医学数据集MIMIC-CXR上,本文方法(DMCAH)比经典深度学习方法DCMH和SSAH方法平均检索精度m AP实现了2.73%和2.11%的提高;在自然场景数据集MS-COCO上,DMCAH方法比DCMH和SSAH方法平均检索精度m AP实现了2.10%和1.45%的提高。二、提出了医学跨模态多尺度融合的类监督哈希检索方法。针对现有跨模态检索方法依赖于语义相似矩阵来保持哈希码,忽视了丰富的语义信息和破坏了语义结构信息的问题,提出了医学跨模态多尺度融合类监督哈希(MCMFCH)检索方法。首先该方法训练类别哈希网络来学习每个类别的哈希码,使所学习的哈希码包含其对应类别的语义信息;然后利用学习到类别哈希码作为监督信息来指导图像、文本和联合网络的哈希码学习;最后通过联合网络指导图像和报告的哈希码的学习。实验结果表明:在大规模医学数据集MIMIC-CXR上,本文方法(MCMFCH)比传统手工提取特征的浅层方法m AP平均实现了6.62%的提高,与DCMH相比实现了0.57%的提高;在自然场景数据集MS-COCO上,MCMFCH方法比传统手工提取特征的浅层方法m AP平均实现了12.76%的提高,与DCMH相比实现了1.60%的提高。

关键词： 医学影像   成像方法   图像处理与分析  

摘要： 本文主要介绍了人工智能图像处理技术在医学成像领域的最新应用进展和研究成果,包括智能医学成像和其他医学成像前沿方向。本篇文章从根本上对人工智能技术研发的可行性和重要性进行分析,指出人工智能在医学影像领域的研究与应用还处于起步阶段,世界各国的长期的研究热点将是人工智能与医学影像的结合,并且表述了学术界和产业界在这一重要方向上的创新工作。

关键词： 图像语义分割   元启发式优化算法   卷积神经网络   医学影像   PSPNet  

摘要： 元启发式优化算法(MOAs)本质上属于“运筹学”中的随机优化的范畴。主要使用随机操作符和变量来全局搜索空间,同时避免陷入局部最优,它的理解和实现要比确定性方法容易得多。虽然MOAs不能保证在最后一次迭代时得到全局解,但它的接近全局的解决方案、对问题的独立性、灵活性和无梯度的特点使得它被人们广泛研究和使用。卷积神经网络(CNN)一般作为基于深度学习的图像语义分割模型的骨干网络,CNN在训练阶段需要大量的训练数据,超参数很多并且固定结构的种类也较多,同时CNN对其超参数的取值很敏感,因此手动确定这些超参数的最佳值是很困难的。确定超参数值需要有专家的经验,非专家一般用随机搜索或网格搜索。在同样消耗大量时间的情况下随机搜索和网格搜索比手动调优的超参数更好。因此,最近一些相关论文介绍可以考虑把超参数的值确定作为一个优化问题,用MOAs优化CNN的超参数。新冠肺炎(COVID-19)是一种快速传播的致命冠状病毒,现蔓延到了世界各地,并且在伴随基础疾病的情况下致死率很高。本文选取的医学影像为COVID-19数据集,仅以此为例验证本文模型的有效性。现有的用于诊断COVID-19的深度学习模型大多是用于分类。为了便于医护人员直接观察病灶,诊断病情,本文致力于提出一个自动分割COVID-19病灶的语义分割模型。深度学习和MOAs结合的语义分割研究并不多,因此本文用MOAs优化CNN用于COVID-19图像的语义分割是具有研究意义的。主要完成工作如下:(1)对MOAs相关的基本概念和本文主要使用的海洋捕食者算法(MPA)进行介绍。从优化初始化和位置更新方式两方面改进MPA,通过实验逐步验证改进算法的有效性。(2)从中国胸部CT影像调查协会(CC-CCII)公开发布的数据集中选取并建立了本文的COVID-19语义分割数据集。介绍了数据集建立的基本步骤,包括图像预处理、数据集划分和数据增广等。(3)使用第一步改进的优化算法优化训练骨干网络的超参数,将其输入到PSPNet网络中,结尾加入注意力机制模块,整合得到一个有较高的图像分割精度的语义分割网络。对原网络、两个常用网络和改进网络进行对比实验。实验证明,改进网络的准确率更高,为99.53%,平均交并比(mIoU)为0.7275,相比原网络提高了 0.1701。实现了分割出病变的种类和位置,为病人的病情和其他并发症发生的可能性提供一种依据。本案例研究的目的是为相关研究的医生提供诊断辅助。在任何情况下,这项初步研究都不能取代医学建议。

关键词： 医学影像   细粒度图像识别   大骨节病   白内障  

摘要： 医学影像因自相似性高而需要细粒度识别与分析。全局共享许多生理结构,导致影像类间高度相似;而同类之间同种生理结构因形态、尺寸和角度等微小的局部差异,导致影像类内差异大,这些特性是高精度医学图像识别面临的难题。单一的深度神经网络能自动提取图像最具判决性的全局特征,但其深层特征往往损失很多局部信息,这种特性不利于细粒度的医学图像识别。本文采用基于深度学习的细粒度识别方法分析医疗影像,挖掘这些影像中潜在的一致特征分布,从而把细粒度识别方法推广到医学影像识别中,达到医学影像精准识别的目标。本文主要研究大骨节病和白内障病医学影像识别。首先介绍细粒度识别所利用的关键技术,包括适用于影像预处理的图像处理方法,适用于影像特征提取的卷积神经网络,和适用于影像细粒度特征分析的策略。其次,针对大骨节病的手骨X光片病变结构微小和形态各异难以识别,提出一种基于深度学习的多尺度特征融合诊断的大骨节病识别方法,利用影像特性设计干骺端等关键区域提取方法,并利用卷积神经网络提取关键区域的局部特征,融合上整体图像的全局特征信息,识别诊断大骨节病。第三,针对白内障眼底影像多分级诊断病变结构难以量化,提出一种基于血管和视盘图像分割的白内障分级方法,利用基于像素块的U-Net网络设计血管分割方法和利用水平集的自动轮廓视盘定位方法,将两种关键结构提取并量化为特征,结合白内障影像的全局特征,实现精准多分级。实验结果表明,大骨节病识别准确率达到98.5%和白内障分级准确率达到94.1%,基本与专业医生的诊断结果一致,本文提出基于细粒度特征的大骨节病症状识别和白内障病识别模型是有效的。加入细粒度特征后,医学影像的识别准确率比单一特征识别有了显著提升。

关键词： 医学影像配准   卷积神经网络   深度学习   神经网络架构搜索  

摘要： 医学影像配准技术是医学影像分析的基础性任务,可以为医疗决策提供关键性信息。近年来,深度学习的快速发展带动了医学影像配准技术的进步。基于深度学习的医学影像配准方法相比传统方法具有更高的精确度与更快的推理速度。然而,人工设计出高性能高灵活性的医学影像配准网络模型的代价巨大。在本文中,我们将神经网络架构搜索技术引入到医学影像配准模型的设计之中,自动化地获取最适合当前数据的影像配准模型结构。除此以外,本文还总结了搜索出模型的共有特点,可以用来指导日后的医学影像配准网络结构设计工作。本文利用神经网络架构搜索技术对医学影像配准模型进行了结构单元级别的搜索。首先,本文设计了针对结构单元的搜索空间,之后利用基于梯度的双层优化算法对模型参数和结构参数进行交替优化,最后对搜索结果进行解码并构建出最优结构的医学影像配准网络。本文使用脑部核磁共振影像数据集对搜索出的网络结构进行了验证。结果表明,搜索出的网络结构在性能上优于人工设计的网络结构。除了上述的研究,本文对医学影像配准模型进行了网络级架构的搜索空间。不同于上述针对网络结构单元搜索的研究,本文定义了一个类似网格的网络搜索空间,在这个搜索空间中分别进行单路径和多路径配准模型的搜索。本文使用多个公开的肝部CT影像数据集对搜索出的网络结构进行了验证。结果表明,本文搜索得到的网络结构所取得的精准度均优于人工设计的网络结构,而多路径的配准模型的精确度优于单路径的模型。综上,本文将神经网络架构搜索引入了医学影像配准模型的设计之中,针对网络结构中的结构单元和网络路径进行了研究。本文提出基于神经网络架构搜索的医学影像配准模型相比人工设计的网络模型性能更高,灵活性更强,应用场景更广。