关键词：
多模态医学影像
磁共振成像
影像生成
病灶分割
生成对抗网络
摘要：
多模态医学影像可以反映人体不同组织的不同视觉特征,已成为人工智能、生物医学、计算机科学等学科的主要研究对象。基于多模态医学影像的病灶分割可应用于疾病诊断、术前方案、智能医疗和医学大数据分析等研究领域。近年来,随着深度学习算法的快速发展,基于深度神经网络的多模态病灶分割已取得了较大进展。然而,受扫描时间、采集成本等因素的影响,临床上有效的多模态影像数据样本少,因此不利于以数据驱动的人工智能算法在该领域的应用。与此同时,因为病灶是复杂的生理现象,且病灶影像表征具有特异性、不稳定性、异质性等特征,所以病灶分割的准确性、普适性较低。本文针对临床多模态影像数据缺乏和多模态病灶分割准确率较低两个问题,从理论研究和算法应用角度出发,以脑肿瘤和脑卒中的多模态磁共振成像(Magnetic Resonance Imaging,MRI)为研究对象,以循环一致生成对抗网络(Cycle-consistent Generative Adversarial Networks,Cycle GAN)为基础网络,提出了三种多模态医学影像生成及病灶分割算法,并应用于现有的公开竞赛数据集,实现了多模态影像生成和高精度脑部病灶分割。本文的主要研究工作如下:(1)提出基于感知循环一致性的生成式多模态影像生成与分割网络(Perceptual Cycle-consistent Generative Cross-modality Segmentation,PerCycle GAN-CMS)。首先,提出基于感知循环一致生成对抗网络(Perceptual Cycleconsistent Generative Adversarial Networks,Per-Cycle GAN)的脑肿瘤多模态影像生成算法。Per-Cycle GAN以Cycle GAN为基础网络,增加感知一致性损失,构建新网络,生成高质量的新模态影像。感知一致性损失在多层语义级上约束生成影像与目标影像的映射关系。其次,将Per-Cycle GAN与级联各向异性卷积神经分割网络级联,构建Per-Cycle GAN-CMS,实现脑肿瘤病灶分割。将PerCycle GAN-CMS算法应用于Bra TS2015(Multimodal Brain Tumor Segmentation Challenge 2015,Bra TS2015)数据集。实验表明,(a)本文提出的Per-Cycle GAN的多模态生成性能优于Cycle GAN。Per-Cycle GAN在四种情况下生成影像的峰值信噪比(Peak Signal to Noise Ratio,PSNR)、结构相似性(Structural Similarity Index,SSIM)和均方误差(Root Mean Square Error,RMSE)三项客观指标均可满足临床应用需求,即:T1→Flair(23.859,0.867,17.315)、Flair→T1(24.546,0.896,16.421)、T1→T2(25.544,0.902,14.196)、T2→T1(24.206,0.908,17.328)。(b)本文提出的Per-Cycle GAN-CMS算法的分割效果高于单个输入模态时的分割指标。以真实T1+生成Flair为例,Per-Cycle GAN-CMS算法的Dice系数(0.679)、敏感性(0.678)、Hausdorff95距离(19.487)优于真实T1的Dice系数(0.633)、敏感性(0.612)、Hausdorff95距离(19.674)。由此可见,本文提出的Per-Cycle GANCMS可以强化病灶细节信息,提高生成模态质量,提升病灶分割客观精度。(2)提出基于双尺度感知循环一致性的生成式多模态影像生成与分割网络(Dual-scale Cross-modality Perceptual Cycle-consistent Generative Cross-modality Segmentation,Dual CMP-GAN-CMS)。首先提出基于双尺度感知循环一致生成对抗网络(Dual-scale Cross-modality Perceptual Cycle-consistent Generative Adversarial Networks,Dual CMP-GAN)的脑肿瘤多模态影像生成算法。Dual CMPGAN以Per-Cycle GAN为基础网络,在生成器中引入空洞残差模块,从而充分保留图像细节结构和上下文信息。其次,构建双尺度图像块判别器,通过判别不同大小的图像块优化生成器,使得网络能表征多尺寸病灶。最后,将Dual CMPGAN与级联各向异性卷积神经分割网络进行级联,构建Dual CMP-GAN-CMS,实现脑肿瘤病灶分割。将
欢迎来到三峡大学图书馆！
