关键词：
乳腺癌
新冠肺炎
特征融合
对比学习
跨模态学习
摘要：
随着社会经济的快速发展和人们生活水平的日益提高,人们对自身的健康情况越来越关注。在这种情况下,仅仅依赖于临床医生的力量来完成大量的医学图像分析任务实际已经很难满足人们对于精准快速诊疗的需求。因此,将医学图像分析任务与人工智能技术进行结合刻不容缓。但在医学图像分析领域,大部分疾病都很难获取到大量的数据来对人工智能算法进行训练,而且不同类型疾病的医学图像之间存在着不同的复杂程度,导致使用人工智能算法提取其特征的难易程度也不同。因此对不同类型的疾病需要具体分析、设计恰当的数据处理方法和人工智能模型。本文基于少量乳腺超声图像、乳腺动态对比增强磁共振图像和胸部X射线图像,分别对乳腺肿瘤良恶性检测、乳腺癌分子分型和新冠肺炎诊断这三大医学任务进行研究,提出了适合这些任务的元学习算法:1)提出了一种基于多层次特征融合的元学习乳腺肿瘤良恶性检测方法。基于人类的感知系统,提出了一种基于特征融合的元学习方法。当人类以不同的视角观察某个目标时,人类的神经元活动状态也会发生变化。为了使网络也具有这种感知能力,本文设计了一个多层次特征融合胶囊网络。该网络通过胶囊层可以有效地提取经过预处理后而变化的乳腺超声图像的特征,增强网络对图像特征的敏感性。此外,本文设计了一种多层次特征融合策略,该策略将不同层次、不同视角和不同大小的高级胶囊特征进行融合,从而增强网络的学习能力。通过大量的实验证明了提出的多次层特征融合胶囊网络可以在少量的乳腺超声数据上快速且精准地区分乳腺良性和恶性肿瘤。2)提出了一种基于多对比轻量级的元学习乳腺癌分子分型预测方法。基于人们学习过程中的对比思想,提出了一种基于多对比的轻量级元学习方法。与传统的卷积神经网络只输入单个数据方式不同的是,提出的对比式网络采用输入一对数据的形式,并将原始的单独标签输出改为一对标签的一致性输出。这种方式促使网络聚焦学习一对图像之间的关联和差异,在数据样本较少的情况下可以有效地提取一对图像的特征。此外,本文设计了一种3D轻量级卷积操作,将一个3D卷积过程拆分为两部分,通过将这两部分提取出的特征互补拼接,可以有效地降低整个对比式网络的参数量、明显地提高对比式网络的训练速度。最后,本文提出了一种多对比学习策略,通过模拟人类相互对比学习的观念,将四种乳腺癌类型的图像相互组合,从而构成同一种类型和不同类型的图像对。该策略共包含四种对比学习方案:一个一对多学习方案和三个一对一学习方案。实验证明,该元学习方法可以使用少量的乳腺图像,以更短的训练时间获得有竞争力的乳腺癌分子分型结果。3)提出了一种基于语义驱动的可解释性元学习新冠肺炎自动诊断方法。基于临床医生诊断患者过程和人类互相帮助学习的思想,提出了一种基于语义驱动的可解释性元学习方法。根据临床医生诊断患者的流程,提出的语义驱动的可解释性模型采用跨模态学习的方式,首先从患者的胸部X射线图像提取出形态学信息,然后从患者的胸部放射学报告中提取可解释性信息,最后利用从胸部放射学报告中提取出的可解释性信息来强化和解释从胸部X射线图像提取的形态学信息,进而提高模型的预测结果并使预测结果更容易理解和接受。此外,为了解决使用少量训练样本给模型带来的过拟合问题,从人类互相帮助学习中汲取灵感,提出了一种多任务协作诊断策略。该策略训练多个任务采用循环协作的方式,通过使用内环正常训练和外环协助训练的双循环训练方式,使模型学会协作学习,学会快速学习,学会自己学习。实验表明,语义驱动的可解释性模型与缺乏可解释性的深度学习模型相比,可以提高诊断结果并且使诊断结果更容易理解;此外,在训练样本较少的情况下,多任务协作训练是一种最佳的训练方式。
欢迎来到三峡大学图书馆！
