教学课程资源库 更多>>

关键词： 图像分割   医学影像   深度学习   Transformer模型   卷积神经网络   图注意力  

摘要： 视网膜血管的形态学特征与青光眼、糖尿病和高血压等疾病密切相关，可以对这些疾病起到辅助诊断的作用。基于深度学习的视网膜血管分割方法准确率高、分割速度快，可以避免主观因素对分割结果的影响并减轻医生的工作量，对医疗辅助诊断具有重要意义。然而，由于视网膜图像纹理特征复杂，使得血管与背景之间的对比度较低;并且，视网膜血管分割数据集图像较少，使得模型训练时容易产生过拟合，导致模型的泛化能力较差;此外，大部分视网膜血管分割模型的全局特征提取能力较弱，血管分割效果较差。本文针对这些问题进行了研究，主要工作如下：　　1、针对视网膜图像纹理特征较为复杂导致的血管与背景之间对比度较低的问题，对数据集中的图像进行了预处理，增强视网膜图像中血管和背景的对比度。　　2、针对视网膜血管分割数据集图像较少的问题，使用模糊、亮度调整、旋转、翻转和增加噪声等方法进行了数据集扩充。　　3、针对大部分视网膜血管分割模型全局特征提取能力较弱，视网膜血管分割效果较差的问题，提出了基于轴向Transformer和卷积神经网络的分割模型。该模型首先使用卷积神经网络和轴向Transformer网络提取图像的局部特征与全局特征;然后，在上采样过程中将局部特征与全局特征融合进行特征增强，并通过跳跃连接以获取不同尺度的特征，使得特征图中含有多尺度信息;最后解码获取分割图像。使用3个数据集进行了实验，结果表明，该模型具有良好的视网膜血管分割性能。　　4、针对基于轴向Transformer和卷积神经网络的分割模型分割速度较慢的问题，提出了基于超像素和图注意力网络的视网膜血管分割模型。该模型首先通过多尺度卷积神经网络对输入图像进行初步分割，获取含有多尺度局部特征的特征图像;同时，对输入图像进行超像素分割，将原始图像转换成含有局部特征的超像素形式;然后，以各个超像素的聚类中心为图节点、以特征图像作为节点特征将图像转换成了图结构的数据，增强图中含有的局部特征信息;再将图数据输入到图注意力网络进行全局特征提取;最后解码获取分割图像。使用3个数据集进行了实验，结果表明，该模型在保持良好的分割性能的同时加快了分割速度。

关键词： 图像处理   医学影像   语义分割   深度学习   卷积神经网络  

摘要： 神经系统疾病包括脑肿瘤、癫痫、帕金森病等，它们会对人体的神经系统造成不同程度的损害。一方面，脑组织中非自然分裂和不正常生长的异常细胞会产生脑肿瘤导致人患上神经系统疾病。另一方面，脑功能区受损也同样地会引发神经系统疾病，如执行功能区和语言功能区受损，会分别导致人患有强迫症与失语症。近年来，随着医学影像技术的不断发展，通过不同的成像方式，临床上可以获得许多关于大脑结构的影像。通过这些影像一方面可以辅助医生分析脑肿瘤的体积大小、形态和位置。另一方面可以让医生更加快速地辨别患者疾病对应的脑功能区所在的区域和形态，帮助医生进行辅助判断。但是，大脑影像数据繁多且有相关经验的读片医生不足，导致医生耗费大量的时间分析与标注采集到的医学影像数据。为了更好地帮助医生快速地进行医学影像的分析，减少医生重复的劳动，本文基于深度学习开发了基于大脑磁共振图像的大脑肿瘤与功能区自动分割的算法为临床诊断实现辅助诊疗。相较于传统语义分割模型，我们提出的模型方法在医学多类别任务方面具有较高的分割精度。主要完成的工作如下：　　(1)针对脑肿瘤分割本文建立了结合U-Net网络、卷积注意力机制和空洞卷积机制的分割方法。首先，考虑到医学图像数据体积较大会导致图形处理器的显存溢出的问题，故本文建立了包含4层结构的基础U-Net网络。其次，在建立的U-Net网络每一层的跳跃连接过程中加入卷积注意力机制模块，其中包含了通道注意力模块和空间注意力模块，可以使网络更加关注目标物体。再次，针对网络存在感受野受限的问题，在建立的U-Net网络的底层采用空洞卷积并以堆叠的方式来进行改善。最后，在建立的U-Net网络输出端串联空洞卷积金字塔模块来获取多尺度特征信息。在相关数据集上验证了方法的准确性和稳定性，并进行消融实验验证了引入注意力机制、增加感受野和获取多尺度信息的有效性。从实验结果来看，本文提出的网络模型相较于现有较优秀工作的Dice相似系数整体提高了1.66%，豪斯多夫距离整体提高了26.30%。同时，本文考虑到深度学习模型部署困难的问题，以脑肿瘤分割算法为例，介绍了基于调用Python接口和基于TensorRT工具包的两种深度学习模型部署的方法，其中基于TensorRT工具包对模型进行推理的速度仅为使用Python进行模型推理速度的38.9%，可适用于对模型推理速度有一定要求的场景。　　(2)针对脑功能区分割本文基于集成学习的方法融合多模型网络的特点构建了全脑分割系统。首先，利用基于全卷积网络的第一网络分割大脑磁共振图像中所有的类别。其次，设定Dice相似性系数阈值选出分类效果较差的类别，重新制作仅含有选出类别标签的数据集。再次，使用脑肿瘤分割方法中的模型作为第二网络重新分割只含有第一网络分割结果中较差的类别。最后，融合第一、第二网络输出的预测概率图，获得所有需要分割类别的概率分布图。该方法可以有效地融合不同网络的优点，改善单一网络无法有效地分割出多类别目标，在多个相关数据集上验证了本文方法的准确性和稳定性。相较于第一网络的分割结果，本方法在LPBA40数据集上整体类别Dice相似系数提高了0.35%，在OASIS1数据集上整体类别Dice相似系数提高了0.34%。在选择脑肿瘤分割模型作为第二网络进行的第二网络对比实验中也证明了该网络的可靠性，在LPBA40数据集上较差类别Dice相似系数提高了1.55%，在OASIS1数据集上较差类别Dice相似系数提高了2.17%。　　本文提出的基于深度学习的大脑肿瘤与功能区自动分割的算法，可以有效地提高模型提取特征的能力，改善模型的分割结果，推动深度学习在医疗辅助诊断上的应用。

关键词： 医学影像   人工智能   数字化   商业化价值  

摘要： 医学影像在疾病诊断、分析、诊治、康复过程中承载着非常重要的作用。近年来,随着医疗设备不断升级、成像技术更加先进,医疗机构对医学影像的依赖也日益增加,但是由于影像科医生较为缺乏,以及医生对医学影像的筛选、分析、测量、编写报告耗时耗力,疾病的漏检率和误检率一直无法消除。近年来,这一难题通过人工智能(AI)的图像识别和深度学习得到很好的解决。AI是基于信息时代发展中的计算机热门技术,结合医学影像在市场上已经出现很多款基于胸、脑、心、腹、骨折等人体部位的智能辅助诊断数字化产品,大大地提高了医疗机构影像科医生的工作效率和诊断准确率。 文章运用医学影像知识、AI技术,利用SWOT分析、波特五力模型、价值链模型等工商管理理论,同时结合本人工作实践,对AI医学影像行业现状进行调研,分析行业发展前景,构建AI医学影像数字化的商业化体系。以当前市场上部署的AI医学影像数字化产品为例,对其功能进行详细分析,对产品的临床应用及成果进行介绍,对产品的数字化运营进行研究,对AI医学影像行业带来的价值进行探讨。最后,针对AI医学影像数字化产品的研发模式、运营模式、客户群体、商业化落地等方面进行商业价值分析,给出AI医学影像数字化实现方案。 文章不仅实现了对AI医学影像数字化价值的思考和探索,为行业的未来发展提供了建议,同时也给出了更多新产品的商业化落地方案,希望能为行业的发展提供一些帮助。文章认为,我国在医学影像人工智能领域具有巨大的潜力,AI在医学影像科研数据的深度挖掘、临床工作的优化中蕴涵着有着巨大潜能,因此医学影像+AI必将大放异彩、蓬勃发展。

关键词： 医学图像   目标检测   语义分割   特征融合   深度学习  

摘要： 随着人工智能技术的发展以及医学图像数据的爆炸式积累,将深度学习技术应用到医学图像分析中,帮助医生更快速地完成诊断和治疗,对医疗领域的发展具有重大的意义。医生的常规诊断很大程度上取决于自己的主观经验,而医学影像的成像质量和复杂的背景环境也会对医生的判断产生较大的影响。医学图像中的目标检测识别和语义分割是医学图像处理领域的重要研究内容之一,其主要目的是检测和识别图像中的特定目标,辅助医生对患者进行临床诊断和手术治疗。本文以医学图像的检测识别和分割为研究对象,通过对已有算法进行分析改进,提出基于深度学习的医学图像处理算法,本文的主要贡献和工作内容如下:(1)针对医学影像数据较少、标注困难的问题,提出了一种基于主动学习的医学影像数据处理算法AMIP(Active Medical Image Process),来对医学图像数据进行处理。该算法以主动学习为框架,可以对未标注样本进行智能分配,只选取复杂样本以供人工标注,降低标注成本;结合定位稳定性和定位紧密性对未标注样本进行分类,并加入噪声处理;提出了一种主动学习噪声样本选择机制,来平衡极端噪声样本造成的样本不稳定问题。实验表明,该方法可以为医学图像数据标注与模型的预训练提供很大帮助。(2)针对医学图像检测定位困难问题,提出了一种新的医学图像检测方法Yolo XT(You Only Look Once X with Transformer),实现医学影像目标检测与识别。该算法引入了全新的注意力机制,使网络模型可以自适应的强化重要的特征,抑制不重要的特征;提出了一种全新的特征融合架构,用以融合多尺度特征,获得综合的语境语义信息;提出了一种正负样本选择策略,来改善医学影像复杂的背景干扰造成的正、负样本不平衡问题。实验表明,该算法在医学图像检测任务中表现出优异的性能。(3)针对高复杂度、低对比度的器官和组织图像的精准分割问题,提出了一种基于深度学习的医学影像精准分割算法SWTRU(Star-shaped Window Transformer Reinforced U-Net)。该算法为U-Net与Transformer的结合提供了一种新的思路,继承了U-Net的快速学习能力和Transformer的良好泛化能力。SWTRU中提出了一种星形窗口自注意机制,在控制计算开销的同时有效扩展注意区域,达到全局注意的效果;设计了一种新的全尺度跳跃连接机制,以学习多层次语义特征;提出了一种特征融合机制,用于实现特征降维和融合,减少计算量。实验结果证明该方法在精准医学图像分割任务中具有较好的性能。本文的研究内容可以帮助医生快速准确地分析和诊断疾病,减少误诊和漏诊的风险,为后期提高手术的效率和安全性、治疗方案的调整等临床应用提供重要依据。

关键词： 深度学习   小样本学习   属性   医学影像  

摘要： 深度学习已经在图像识别领域取得了巨大的成功,但是传统的深度学习依赖于大量的标记数据,而数据的标注十分费时费力。传统深度学习缺乏数据集容易带来过拟合和泛化能力差的问题。为了解决这一类问题,在数据量小的情况下,得到较高性能和泛化能力的深度学习模型的方法被称为小样本学习。小样本学习的出现给这些问题带来了具有革命性的解决方案。本文从图像属性出发,进行小样本学习的算法研究,并致力于将小样本学习的方法应用到医学影像当中。本文主要工作如下:为了解决传统度量学习数据匮乏而导致分类不准确的问题,本文提出了一种利用图像属性信息提升度量分类(AMCNet)准确率的算法,即在传统小样本原有的整体原型特征相似度基础上,利用属性建立新的分类相似度。模型从训练集上获取图像属性,再利用获取的属性,在新类中的查询和测试集样本之间建立联系,这一新的联系定义为属性分布相似度。本文利用属性分布相似度补充整体特征相似度,弥补了在某些情况下整体特征相似度分类不准确的缺陷,并获得了更为准确的分类效果。实验结果表明,通过和其他相关的小样本分类算法的准确率相比较,本文提出的方法在miniImageNet、tieredImageNet、CUB数据集上,均超过了其他大部分的方法。针对医学影像数据量不足,模型泛化能力差等问题,拟采用小样本学习的方法缓解这一类情况。文本从医学数据集的图像前景和后景属性的角度出发,引进了基于对比学习的自监督预训练方法,并对该基础方法添加了新的模块,提出了基于属性对比学习的医学小样本分类算法。该算法与以往在标准数据集上广泛使用的有监督预训练方法不同,本算法使用的对比学习下的自监督预训练表现更为突出。此外,本文提出的模块使模型的泛化能力、性能均取得了提升。通过实验表明,相较于目前医学小样本上的主流方法,本文提出的方法在ISIC2018和SPPH数据集上表现更佳。

关键词： 医学影像   三维牙齿分割   头影测量定点   全局循环卷积   多尺度长短期记忆网络  

摘要： 相比于传统的 CT 数据，锥形束计算机断层扫描技术（ Cone Beam Computed Tomography, CBCT）数据具有低辐射、高分辨率、伪影少、成像快等优点。因此，CBCT 数据在口腔医疗领域，尤其是口腔正畸学中，得到广泛应用。在正畸治疗中，正畸医生通过牙齿分割情况了解患者牙齿数目及排列等信息，并结合头影测量分析结果对患者进行诊断和制定适合的治疗方案。此过程不仅需要花费大量时间，而且可能出现误诊或漏诊的情况。　　目前，精细的牙齿分割和精准的头影测量定点的计算机辅助诊断自动化方法仍是医学图像处理的一大难题。牙齿边界模糊和异常的牙齿形态的问题导致牙齿边界分割不精细和错误的牙齿类别。牙颌面相似的解剖结构干扰、定位未利用解剖结构与标志点之间的关系等问题导致定位不精准。　　针对上述情况，本文将从以下三点展开研究：　　（1）针对牙齿边界模糊和异常的牙齿形态问题，本文提出了一种基于边界监督和多种注意力的双阶段三维牙齿分割方法。第一阶段利用边界监督模块对浅层特征图进行引导来得到边界分割结果并通过自注意力模块在深层特征图中建立全局特征信息，同时，使用通道空间注意力模块来提升模型利用信息的能力。第二阶段首先将粗分割结果裁剪成多个高分辨率的单颗牙齿;然后使用 3D U-Net 得到精细的单颗牙齿;最后将各颗牙齿整合成精细的分割结果。实验结果表明，本文方法能够得到较为精细的牙齿分割，并且在牙齿缺失，排列异常等复杂情况时，仍能取得较好的效果。　　（2）针对相似的解剖结构干扰以及未利用解剖结构信息的问题，本文提出了一种基于全局循环卷积和多尺度长短期记忆网络（Long Short-Term Memory, LSTM）的双阶段头影测量定点方法。第一阶段通过基于全局循环卷积的3D U-Net 网络来获取解剖结构与标志点之间的全局特征信息。第二阶段通过多尺度的长短期记忆网络获取多尺度的上下文信息来排除相似解剖结构的干扰。实验结果表明，本文方法能够得到较为精准的标志点位置，并且在遇到各种病例的复杂情况时，仍能取得满足临床精度需求的结果。　　（3）为了验证本文方法的实用性，本文设计和实现了一个基于CBCT数据的头影测量辅助诊断系统，并将本文中提出的两种方法应用于该系统。本系统在输入 CBCT数据并选择分割方法和头影测量定点算法后，可以提取出病患的牙齿信息和头影测量分析所需的标志点信息并提供必要的标注工具用于调整输出结果，最后生成头影测量分析结果报告。

关键词： 智慧医疗   读片知识图谱   三层结构模型   医学影像   图数据库  

摘要： 1目的为了提升医学影像诊断效率和报告规范性,本研究通过模拟医生的读片思路,提出并构建基于三层结构模型的读片知识图谱,将其应用到医学影像智能化诊断的任务中,提升检查报告书写效率、规范性和可解释性,减轻医生的负担,并为医学影像智能化诊断研究的瓶颈问题提出新思路。2方法(1)三层结构模型读片知识图谱的提出和构建本文为了提升智能化诊断的准确性与可解释性,吸取知识图谱图谱参与生成检查报告的经验,增加了病变位置,并且细化了病变特征,从而提出了一种新的知识表达方法,即“病变区域-病变特征-细节特征”三层结构模型读片知识图谱(Radiologic Interpretation Knowledge Graph,RIKG),该方法的提出,重新梳理并细化了专业医学知识,使其表达更加清晰,更加全面。(2)诊断报告生成检查所见的规范化生成,是通过算法分析医学图像,结合读片知识图谱的内容得到结构化的标签,利用设计的规则调用接口,将结构化数据与Neo4j图数据库中的图谱节点进行交互得到规范化检查所见。检查印象生成,我们将规范化检查所见和原始检查印象作为训练数据,并将数据集按照7:2:1的比例划分数据集,再通过检查印象生成模型预测生成结果。结合规范化检查所见和生成的检查印象即可得到一份具有规范性检查报告。3结果在规范化检查所见生成的结果中:对随机抽取的1200条数据,经由专业影像科医生,对其准确性和流畅性进行评价。准确性评价中“合格”的数据占比100%;流畅性评价中“合格”的数据占比99%,“不合格”的数据占比1%。在检查印象生成的结果中,随机抽取300条,经由影像科医生对其的准确性进行评价。其中“合格”数据占比61.34%,“不合格”的数据占比38.66%。4结论本文提出基于三层结构模型的读片知识图谱,将其应用到医学影像智能化诊断任务中,并通过专家在实际应用中对结果进行评价。结果证明了以知识图谱为驱动的智能化诊断研究,提升了诊断结果的专业性、准确性与可解释性,在一定程度上可以为临床医生提供较为专业的辅助决策,并为其落地应用进行了有效的探索。

关键词： 医学影像   CT医疗设备   国产替代   营销策略  

摘要： 在CT医疗设备领域,F公司、西门子医疗和GE医疗占据国内领先的市场份额,总的市场份额最高超过百分之七十。但随着中国国内自主品牌的成立与发展,国产品牌的CT医疗设备市场份额在不断增加,进口品牌的市场领先地位面临着国内品牌的冲击。山东省作为人口和经济大省,CT医疗设备的需求不断增加,市场发生量逐年增大,客户群体逐渐下沉,未来的市场前景巨大。F公司CT医疗设备虽然在山东的市场占有率名列前茅,但是随着国产化替代和进口论证的不断加剧,F公司想要守住以往的市场占有率并获得突破,依靠原有的市场营销策略是不可行的,所以要进一步对国家政策和山东的市场环境做深入的分析,探寻F公司CT医疗设备市场营销的问题,并且制定出解决的方案,如此才能让F公司CT医疗设备在山东的市场上保持稳定并有所增长。本文的研究内容主要是,通过PEST分析模型和波特五力模型分析了 F公司CT医疗设备市场营销的宏观环境和微观环境,对于CT医疗设备所处的大市场环境和行业内的竞争环境进行详细阐述,帮助F公司在行业内找到立足之本;再通过SWOT分析对于F公司CT医疗设备的竞争态势进行分析,找出F公司的竞争优势和机会,运用自己的优势,抓住机会,改善自己的劣势,直面威胁,以此来获取更大的市场容量;通过以上的分析进行整合归纳,分析出F公司CT医疗设备的市场营销策略存在的问题,即从产品聚焦、渠道覆盖、大客户管理这三个方面,进行展开分析;并围绕这些问题,运用STP理论对于市场细分、目标市场、市场定位进行分析,提出了要针对于超高端光谱CT进行重点包装和发力,进行市场份额的获取;在营销策略方面,基于7Ps营销策略组合模型,在产品、价格、渠道、促销、人员、有形展示和过程管理这七个方面进行策略制定,并基于4Cs理论,在消费者、成本、便利、沟通四个方面,提出了营销策略的创新;而且在组织结构、人力资源、企业文化等方面制定出实施的保障措施来确保策略的实施达成。

关键词： 磁共振成像   生成对抗网络   多模态医学图像   注意力机制   图像分割  

摘要： 近些年,基于深度神经网络的医学图像处理方法,在脑部疾病图像的病灶分割,跟踪疾病发展和辅助治疗等方面取得长足进步。然而,现有深度学习方法在辅助分割病灶方面依旧存在一定局限性。首先,有限的训练数据很容易导致过拟合,配对数据对于提升分割网络性能至关重要,而大量高质量配对标注医学图像的获取非常困难。其次,使用不平衡的数据会导致分割网络训练过程不稳定,尤其是针对病灶边缘复杂和病灶区域过小的情况,网络训练困难尤为明显。最后,如果没有数据增强等技术来优化不平衡训练数据的结构,深度神经网络的拟合能力将会受到限制。因此,本文以脑肿瘤和脑卒中核磁共振成像(Magnetic Resonance Imaging,MRI)为研究对象,提出两种基于CycleGAN(Cycle-consistent Generative Adversarial Networks,CycleGAN)的改进型算法,用于生成缺失模态MR图像。同时,在现有公开数据集上,分别利用分割网络3D UNet和Swin-UNet对生成的MR图像进行验证。本文的主要研究工作如下:(1)提出基于协调和空间注意力的多模态医学图像生成网络CASPGAN(Coordinate and Spatial Attention based Generative Adversarial Networks)。首先在CycleGAN的下采样和骨干网中插入CBAM(Convolutional Block Attention Module,CBAM)模块,分别评估空间注意力与通道注意力对生成网络的影响,最后选择保留综合表现最好的空间注意力提取空间信息。然后引入协调注意力替换CycleGAN中的残差网络,在缩减网络参数的同时,进一步加强空间高宽两个维度的信息交互。将算法应用于BraTS2020数据集,实验表明:(a)CASPGAN在训练速度和预测速度上都有明显提升。生成器运算时间缩减到原始算法的约三分之一,参数量由7.83M下降到0.8M,使得网络可以在更低性能的设备上运行。在RTX2060平台上,单张图像生成时间由11.5ms下降到6.7ms,具有更快的生成速度。(b)与原始CycleGAN网络相比,CASP-GAN的四项生成指标在大部分情况下超过原始算法或者保持在同一水平。(c)通过T1生成Flair模态图像,借助生成的图像帮助训练U-Net分割网络和分割病灶区。与单独使用T1和T2模态图像进行分割相比,四项分割指标均有显著提升。在全肿瘤分割上,Sensitivity增加5%,Hausdorff95增加5%,Specificity提升1%。(2)提出基于压缩激励通道注意力的多模态医学图像生成网络CHSEGAN(Channel Attention and Squeeze-Excitation based Generative Adversarial Networks)。针对原始CycleGAN以及提出的CASP-GAN对脑卒中多区域、边界复杂的脑肿瘤MR图像细节生成效果不佳的问题,引入压缩激励模块和基于批归一化的通道注意力。对不同通道之间的权重信息进行重新分配,以加强边缘细节生成能力。将算法应用于ISLES2015数据集,实验表明:(a)CHSEGAN仅需增加少量参数,就可以在T1生成Flair和T1生成T2的两个任务上,超过第三章CASP-GAN和原始CycleGAN的生成效果。在T1生成Flair任务上PSNR提升8%,RMSE提升20.4%。(b)与单独使用T1模态图像进行分割相比,通过T1生成Flair模态图像和T2模态图像,并借助生成的多模态图像辅助训练Swin-UNet分割网络来分割病灶区的方法,可以大幅提升精确率。相对原始算法可以有4.8%的提升。综上所述,本文针对多模态脑肿瘤和脑卒中图像存在的配对数据获取困难,病灶难以分割的问题,提出CASP-GAN和CHSE-GAN两个生成网络,用于生成缺失模态的配对MR图像。在BraTS2020和ISLES2015数据集上进行验证,可以提升多模态脑部影像生成的速度和质量,有助于提升脑部病灶的分割效果。因此本文提出的生成算法具有良好的临床疾病辅助诊断效果。

关键词： 深度学习   脑膜瘤MRI图像   分类   病灶分割  

摘要： 脑膜瘤是中枢神经系统中最常见的颅内原发性肿瘤,绝大多数的脑膜瘤为良性,只有约3%为恶性。根据世界卫生组织的数据,全球每100万人中有1.2-2.7例脑膜瘤患者。在脑膜瘤的临床诊治中,手术切除可以达到比较好的治疗效果,所以尽早进行脑膜瘤的早筛诊断可以显著提高病人预后与生存时间。在临床诊断中,常使用磁共振成像(Magnetic Resonance Imaging,MRI)技术对脑膜瘤进行检测,且MRI平扫结合增强检查有很好的诊断效果。然而,MRI增强检查需要注射造影剂,会对受检者的肾功能造成一定的代谢负担且费用较高,具有明显的身体负担与经济负担缺陷。脑膜瘤MRI图像一般包含3个模态:T1模态、T2模态和T1c模态,其中T1模态和T2模态的序列属于平扫序列,T1c模态的序列属于增强序列。目前,公共数据平台中公开的脑膜瘤数据集大多包括MRI增强序列(T1c模态)图像且病灶明显,基于此种数据集构建的脑膜瘤MRI图像分类模型和病灶分割模型很难为临床脑膜瘤的大规模早筛检查和MRI平扫序列图像(无增强)提供良好的预测效果。针对这个问题,本文应用深度学习和计算机视觉领域的相关技术,对脑膜瘤MRI图像的分类与病灶分割两方面进行研究,具体工作如下:1、数据的清洗与预处理。MBMI(Meningioma Brain MRI Images)数据集的原始样本收集自华中科技大学武汉协和医院影像科的129例患者的20541张原始图像。本文通过下列人工筛选流程完成了数据的清洗与标注:在去除噪声数据后,通过Radi Ant Viewer软件综合对比患者的各个序列MRI图像,对MRI增强序列样本进行人工标注。得到MBMI分类数据集中129例患者的12422个样本(平扫序列脑膜瘤样本1209个,无脑膜瘤样本6004个,正负样本比例约为1:5;增强序列图像脑膜瘤样本834个,无脑膜瘤样本4375个,正负样本比例约为1:5)。针对病灶分割问题,MBMI病灶分割数据集中有113例患者含病灶标签的905个平扫序列脑膜瘤样本。为防止过拟合,以上两个数据集均按照8:1:1的比例依据患者ID划分训练集、验证集和测试集。对收集自公共数据平台的脑膜瘤数据集(无患者ID)进行处理,调整图像数据尺寸后以8:1:1的比例随机划分为训练集、验证集和测试集。2、基于注意力机制和Inception V3网络的脑膜瘤MRI图像的分类模型构建。通过对原始通道注意力机制模块特征提取特点的分析,提出了改进通道注意力机制ME(Mix Pooling and Excitation)。ME模块改进了原来通道特征的提取方式,突出图像中的重要特征信息,使注意力机制更注重通道间信息的差异性。本文进而将ME模块与Inception V3网络融合成ME-Inception V3网络,并用于脑膜瘤MRI图像分类。在技术路线上,针对MBMI分类数据集的正负样本不平衡问题(正类:负类约为1:5),本文基于集成学习并使用两级模型框架,使用两种策略进行模型预测结果的计算。通过设计实验对比ME-Inception V3网络与其他模型在测试集上的预测结果(模型的训练加入了增强序列以提高模型学习到的病灶特征,只使用平扫序列测试集进行测试)。结果表明,基于ME-Inception V3网络和概率平均策略进行集成时,脑膜瘤的总体识别能力显著高于其他模型,识别准确率为0.813。进一步,基于元分类器SVM进行集成时,ME-Inception V3网络的识别准确率提升为0.835。最后使用ME-Inception V3网络基于脑膜瘤MRI图像公开数据集进行训练和测试,得出模型的识别准确率为0.962。这不仅表明ME-Inception V3网络结构结合SVM集成策略对于脑膜瘤MRI图像的具有较强的识别能力,而且通过两个数据集的结果对比,说明针对平扫序列样本的分类预测具有相当识别难度。3、基于U-Net模型融合残差模块和注意力机制的脑膜瘤MRI图像病灶分割模型构建。为了解决传统U-Net模型随着网络深度的加深可能产生性能退化的问题,并且为了使模型对于脑膜瘤的病灶分割有更好的性能,本文通过对U-Net模型的思想、注意力机制的特点和残差网络结构的分析,提出了用于脑膜瘤病灶分割的SRU-Net(SE-Residual-U-Net)模型。SR-U-Net网络通过对传统U-Net模型中编码器的改进,将注意力机制和残差网络的融合模块SR嵌入到U-Net模型中作为其编码器部分。实验结果显示,SR-U-Net模型在MBMI病灶分割测试集上的MIou为0.651,而只使用Res Net作为U-Net编码器的Res Net-U-Net模型在测试集上的MIou为0.621,比SR-U-Net网络的结果低0.03,这说明融合注意力机制可以提高模型对脑膜瘤病灶的识别能力