关键词：
乳腺癌病理图像
深度学习
并行卷积尺度注意力模块
两阶段网络
混合网络
摘要：
据世界卫生组织2020年全球癌症统计报告,乳腺癌已取代肺癌成为全球第一大癌,严重危害全球女性的健康及生命。在临床医学上,病理图像诊断是癌症诊断的金标准,但由于病理图像结构复杂,需要专业的病理学家进行高强度的工作,耗时耗力且效率低下,而且偏远地区的医疗技术和设备相对落后、医生相关经验不足。开发基于乳腺癌病理图像的计算机辅助诊断系统可以有效辅助临床治疗,提高诊断速度和诊断准确率,对病理图像进行精准分类,在计算机辅助医疗诊断和预后中起着关键作用。现有的乳腺癌病理图像自动分类识别方法主要包括基于传统机器学习的方法和基于深度学习的方法:传统机器学习算法依靠人工提取特征并对特征进行筛选,过程复杂且难以覆盖图像中的全部特征,这种方法在病理图像分类任务中表现欠佳,分类性能无法满足临床需求;而深度学习方法依托设计好的网络结构自动提取特征,消除传统机器学习方法中的人为因素影响,实现端到端的自动分类,该方法已成为实现乳腺病理图像自动分类识别的重要方法。然而,现有的深度学习方法中或对高分辨率的病理图像的输入处理不够合理,或在两阶段网络框架中的特征融合阶段处理不够合理,导致图像信息有所丢失,影响了模型的分类性能。此外,现有的深度学习方法中仅考虑增加网络多尺度信息输入,而并未考虑到病理图像中不同尺度信息对最终分类的不同影响度,影响了特征质量,而且多数方法中仅通过增加网络的深度或宽度增加网络感受野提升模型性能,导致模型结构庞大,且模型性能仍有待进一步提升。针对上述问题,本文提出了并行卷积尺度注意力模块,并构建了基于深度学习的两阶段网络乳腺癌病理图像分类模型,主要研究内容如下:(1)不同于自然图像,病理图像的组织结构非常复杂,包括细胞、组织等多个层次的结构,而且不同层次结构的特征对最终分类均有影响但又有所差别。针对该问题,本文提出了并行卷积尺度注意力模块(Parallel Convolution Scale Attention Module,PCSAM),捕获病理图像中的多尺度信息并优化多尺度信息组合,提升网络对不同层次结构特征的选择优化能力,提升特征提取质量。该模块中设置了残差连接和4个并行卷积分支以提升网络对多尺度信息的捕获能力,并设置空洞卷积增加网络感受野。此外,模块中设置了尺度注意力机制,分化不同特征对决策的影响率,控制各分支输出在模块输出中的占比,优化多尺度信息组合。(2)针对乳腺癌病理图像二分类任务,为了避免图像信息损失并提升分类性能,本文构建了基于两阶段卷积神经网络的轻量级二分类模型。通过4层PCSAM模块搭建第一级卷积网络,实现对图像中截取出的图像块patch的预测分类;为了优化网络对图像全局特征的表征能力,本文提出了平铺式的特征融合方法,对来自同一张图像的patch特征进行融合,尤其关注到了对不同patch的边缘特征的融合,并提出了残差卷积注意力模块,由残差连接和卷积注意力模块构成,并以此搭建第二级卷积网络,基于融合后的特征图进行训练学习以实现对图像的预测分类。实验结果表明,本文提出的两阶段卷积神经网络二分类模型相比于其他方法具有更好的分类性能,而且具有更少的参数量和计算量。(3)临床诊断上,病理学家确定乳腺病变是恶性还是良性后,还需要进一步确定亚型类型,针对此,本文构建了基于两阶段混合网络的乳腺癌病理图像多分类模型。由于乳腺亚型数据样本量有限,本文选用Res Net34网络作为基础网络并对其进行改进作为第一级卷积网络,使用迁移学习来辅助网络训练。为了弥补卷积网络对长距离依赖的不足,第二级网络设置使用长短期记忆网络(Long Short-Term Memory Network,LSTM),利用LSTM循环卷积的网络结构特点对来自同一张图像的patch特征进行融合,以此捕获图像中的上下文信息实现对图像的预测分类。实验结果表明本文提出的多分类模型相比于其他方法具有更好的分类性能,并且进一步证明了本文提出的PCSAM模块有利于提升模型性能。本文针对乳腺癌病理图像分类任务,构建了基于两阶段卷积网络的轻量级乳腺癌病理图像二分类模型和基于两阶段混合网络的乳腺癌病理图像多分类模型,所提出的模型相比于其他方法均具有更好的分类性能,提取了高质量的特征表示,有效预测了乳腺癌病理图像类别,有助于为临床病理图像的诊断提供辅助性建议。
欢迎来到三峡大学图书馆！
