关键词：
肝细胞癌分级
多模态融合
自注意力机制
小样本学习
摘要：
肝细胞癌(Hepatocellular carcinoma,HCC)是一种高度流行且致命的肿瘤,是全世界癌症病例的第四大病因。肝细胞癌的分化程度一般分为高、中和低三个级别,其恶性程度的增加会致使病灶区域分化程度下降。从临床角度看,在术前对肝细胞癌分化程度进行精确判别,对治疗方案制定和预后效果估计具有至关重要的作用。影像学技术,特别是智能影像技术的出现,为HCC无创性定量分析提供了可能的解决方案,其与机器学习方法的结合极具应用前景,是目前智慧医疗的一个重要研究方向。目前,针对医疗影像的智能分析与诊断的相关研究,在诸如胸、脑、腹部等多种器官上均取得了较为优异的科研成果,这无不归功于深度学习对医学影像具有的良好表征能力。然而,受临床病例数量、图像采集质量及数据标注成本等因素的限制,目前公开的医学影像数据集,特别是具有良好标注的数据集,规模相较传统的自然图像数据集要小上许多,这极大地限制了深度学习模型的学习能力。因此,在数据规模有限的情况下,如何进一步提升智能影像深度学习模型的诊断能力,成为了当下的一个难点问题。此外,对于病灶诊断最为常用的MRI成像方法而言,其多模态成像的特性使得通过该技术所采集到的不同模态影像数据,能够从多个角度反应病灶的信息,从而使病灶的诊断更为准确。但不同模态数据间存在的较大特征差异,是深度学习模型有效利用这些数据的最大障碍。因而,需要设计一种方法,以引导模型在数据复杂的情况下,也能够有倾向性地去提取各个模态的数据中最能反映病灶特征的信息。综上,本文以HCC病灶分化程度的自动化精准判别为研究目标,针对医疗影像数据小样本和多模态数据复杂的问题,结合小样本学习与注意力机制方法,构建了HCC分化程度诊断模型。本文的研究内容及创新点包含以下两个方面:1.针对医学影像数据集数据复杂、样本量规模较小的问题,参考放射科医生的临床诊断经验,本文提出了一种针对2D多模态融合数据的多模态贡献度自适应融合机制,用于计算各个模态对于分类任务的不同的贡献度权值,并将其赋予对应模态的特征,以提升模型对于多模态数据的特征表征能力。模型引入了度量学习方法,提升自身在小规模的多模态肝细胞癌数据集上的分类表现。在临床数据集上的实验结果表明,本文提出的多模态贡献度自适应融合模型不仅能够使用小样本量的MRI序列进行肝细胞癌组织学分级的精准定量判别,而且在肝细胞癌组织学分级任务中,效果优于以往的模型,其准确率、灵敏度和精确度可分别达到84%,87%和89%。2.针对医学影像分类问题中3D输入数据维度大、数据集样本量少的问题,本文结合放射科医师的临床读片经验,提出了一种基于自注意力指导的3D多序列融合肝细胞癌组织学分化程度无创判别模型。模型以动态对比增强核磁共振成像(DCE-MRI)的多个序列为输入,学习各3D序列的多层扫描切片在分化程度判别任务中的权重,并结合多模态数据所具有的表征能力强的时间和空间特征,以提升模型在小样本数据集下对HCC分化程度判别性能。模型的训练和测试在三甲医院提供的数据集上进行。实验结果表明,本文所提出的自注意力指导的肝细胞癌分化程度判别模型相比几种基准和主流3D模型,取得了最高的分类计算性能,在WHO组织学分级任务中,判别准确度、灵敏度、精确度分别达到80%,82%,82%。
欢迎来到三峡大学图书馆！
