关键词：
胸腺上皮肿瘤分型
病理学图像分割
域自适应
联邦学习
知识蒸馏
摘要：
胸腺上皮肿瘤(Thymic Epithelial Tumor,TET)是一种常见的原发性前纵隔肿瘤,其具有难发现、难治疗等特点。因此,实现胸腺上皮肿瘤的早期诊断对制定后续治疗计划和执行预后评估具有重要的临床价值。目前,病理学图像被公认为是诊断胸腺上皮肿瘤的金标准,借助计算机辅助诊断技术对病理学图像进行分析,可以辅助医生进行高效、准确的早期诊断。随着计算机视觉技术的快速发展,基于深度学习的病理学图像分割和分型方法展示了卓越的性能,然而现有方法在很多方面依然具有探索和进步空间。具体来说,胸腺病理学图像分割和分型研究迫切需要解决以下几个主要问题:(1)精度、效率和泛化性指标难以进行有效平衡;(2)病理学图像的像素级标注难度大且人力成本高;(3)患者隐私保护限制了胸腺瘤数据使用,导致难以训练鲁棒模型;(4)胸腺瘤病理学图像获取成本高,实际诊疗中常出现病理图像模态缺失问题。针对上述问题,本文围绕胸腺上皮肿瘤智能分析研究主线,从模型轻量化、多目标域自适应、个性化联邦域自适应、多尺度Transformer架构和基于知识蒸馏的缺失模态学习五个方面进行了深入探讨与研究,实现了高效、准确的胸腺病理学图像分割与分型。本文主要研究内容和创新点可总结如下:
(1)针对现有方法模型复杂度较高和参数量较大等问题,本文提出了基于超像素先验与多视角注意力的病理学图像分割和分类方法。首先,设计了通用的基于非对称有界高斯混合模型的超像素方法,其用于生成包含高等级语义信息的超像素先验来指导病理学图像细胞分割。然后,构建了具有嵌套式编码-解码结构的轻量级模块,它作为网络基础单元构建了高效的多任务学习模型。最后,通过模拟人类视觉机制设计了多视角注意力,其能够从不同角度观察并捕获重要的网络特征。这些设计不仅有效降低了网络模型的复杂度和计算量,同时也提升了细胞分割和组织分类的准确率。
(2)为解决实际应用中病理学图像缺少像素级标注信息的问题,本文提出了基于交叉增强多目标域自适应的病理学图像转换和分割方法。首先,荧光显微图像被定义为源域,H&E和IHC病理学图像被定义为不同目标域,源域图像会先转换为伪目标域图像进而指导多目标域自适应分割。然后,提出了频域风格辅助转换网络,通过引入风格迁移技术设计了跨频特征转换模块,有针对性地归一化并重组了不同域的高频内容和低频风格信息。最后,提出了双向交叉增强分割网络,其在并行的编码器分支之间构建了双向跨域增强模块,以实现显式的跨域信息互补和交互。该方法不但能生成高质量的H&E和IHC病理学图像,而且以无监督域自适应的方式实现了准确的细胞分割。
(3)针对大多数临床数据具有隐私和伦理限制,无法公开使用的问题,本文提出了基于双极协同校准的个性化联邦多目标域自适应病理学图像分割方法。首先,将有标注且公开可得的H&E图像定义为源域,无标注且隐私的多类型IHC图像定义为目标域。然后,构建了多个局部客户端分别学习分割不同类型IHC图像,以及一个全局服务器实现统一的多类型IHC图像分割。在客户端,设计了个性化标签校准模块,通过建立源域和目标域高等级特征之间的语言亲和性生成了与源域预测结果语义一致的伪标签,并进一步引入图卷积对齐了目标域和源域的语义信息以提高客户端分割结果。在服务器端,构建了梯度一致性校准模块,其基于源域梯度指导冲突的目标域梯度进行剪裁,以确保所有客户端通过相似的梯度方向和幅值进行更新。该方法有效缓解了客户端的标签预测漂移,并大幅减轻了服务器端的参数聚合漂移,实现了联邦多类型IHC图像分割。
(4)为解决高分辨率的全切片病理学图像无法直接使用网络进行处理的挑战,本文提出了基于多路径交叉尺度视觉Transformer的病理学图像胸腺上皮肿瘤分型方法。首先,构建了交叉注意尺度感知Transformer网络,其通过并行的多分辨率路径分别处理不同放大倍数的病理学图像切片(10×、20×和40×),以捕获不同感受野特征中潜在的病理信息。此外,还设计了交叉关联注意力模块,以建立多尺度特征之间的空间相关性和互补性,进而实现准确的病理信息分类。然后,构建了全切片病理学图像Transformer网络,通过引入病理信息分类结果作为先验,显著降低了全分辨率病理学图像分型的计算成本。该方法有效提高了病理信息分类和胸腺上皮肿瘤分型的准确性和可解释性。
(5)针对病理学模态数据获取成本高、易缺失的问题,本文提出了基于记忆感知知识蒸馏网络的放射学图像胸腺上皮肿瘤分型方法。首先,在多模态教师网络中,设计了空间差异性异构模态融合模块,通过分组注意力和空间特异的3D内卷积有效建模了放射学和病理学肿瘤信息相关性,并实现了放射-病理特征融合。然后,在教师和学生网络之间,提出了对比增强的分型记忆模块,并设计了记忆对比增强损失,以提高阶段内记忆的有效性和阶段间记忆的互补性。
欢迎来到三峡大学图书馆！
详细信息
