关键词：
医学图像
因果机器学习
深度学习
对比学习
多模态融合学习
摘要：
随着“因果革命”在人工智能与大数据领域徐徐展开,作为连接因果科学与机器学习桥梁的因果机器学习,成为备受瞩目的研究热点。尤其在医学图像数据中的应用显示出深远的现实意义和研究价值。以往的机器学习,尤其是以深度学习为代表的相关技术,在利用医学图像数据检测各种医疗状况方面表现出了强大的诊断性能。然而,这些方法往往依赖于相关关系推理,忽视了其中的因果关系。这种无法区分相关关系和因果关系的情况可能会导致次优或危险的诊断:对比学习由于仅依赖图像级表示与标签之间的相关关系进行正负样本对的选择,在多标签眼底图像分类场景中出现无法直接适用的问题;深度学习模型存在依赖虚假相关性的问题亟待解决;在多模态皮肤病变分类任务中,由于忽视因果关系,语义重复、信息冗余和噪声问题阻碍着模型的性能。为此,本文借助因果技术和思想来解决上述机器学习方法缺陷及其在医学图像处理上的应用问题,具体研究内容如下:
首先,针对多标签分类场景中对比学习难以明确定义锚图像正负样本对的问题,本文提出了基于特征级别进行因果干预的因果对比学习方法(Causal CL),用于多标签眼底图像分类。该方法改变了以往对比学习方法使用图像级表示来构建正负样本的方式,使用与标签之间有直接关联的因果表示来构建正负样本。Causal CL鼓励具有相同标签的因果表示彼此靠近,并通过对比损失增强因果表示的一致性,从而为基于这些表示的预测提供了更强的判别能力,有助于在多标签场景中区分不同的对象或概念。具体来说,本文设计了一个因果干预模块,通过在特征空间对表示进行干预来学习因果表示。同时,为了学习到更好的通用特征,采用了累计学习策略来训练模型,让模型从特征学习更好地过渡到分类器学习。实验结果表明,该方法在多标签眼底图像分类任务中具有优越性能。
其次,为了进一步提升模型对因果关系的理解,并减少对虚假相关特征的依赖,本文提出了基于判别级别施加因果约束的因果对比学习方法。该方法在Causal CL的基础上进一步提升其因果表征能力,得到了一个更完善的框架,称为两级因果对比学习框架(TL-CCL)。具体来说,先在因果干预模块中加入对抗性对比,引导模型学习更加稳健和准确的表示,使其能够在不同的情境下产生一致的预测结果。然后在判别级别引入因果约束,即通过采用掩码熵正则化来强制分类器只响应因果特征。通过这种因果关系感知的对比训练,提高了整个模型的鲁棒性。实验表明不仅展示了TL-CCL方法对多标签眼底图像分类任务性能的极大提升,还证明了基于判别级别施加因果约束对模型改进的有效性。
最后,针对多模态皮肤病变分类任务中出现的语义重复、信息冗余和噪声问题,本文提出了因果多模态融合学习方法(Causal MFL)。该方法通过将因果推理集成到多模态融合学习网络中,引导模型选择关键信息,提高不同模态之间信息的利用率。具体而言,该方法基于两个因果关系引导:类别因果引导促进了特征提取器关注图像内容与分类类别之间的因果联系,降低了信息的冗余;而解剖因果引导则确保了特征提取器的焦点集中在病变区域,减少了成像伪影等噪声的影响。此外,为了能够更有效地捕捉和利用两种模态之间的相关性和互补信息,采用了交叉注意力机制来优化模态特征级的融合。在多模态多标签皮肤病变数据集上的对比实验和消融实验证明了Causal MFL方法的优越性能。
欢迎来到三峡大学图书馆！
