关键词:
计算机视觉
细粒度图像识别
注意力机制
医学影像
特征提取
摘要:
细粒度图像识别(亦称:细粒度识别)是一项区分同一类别下的不同子类别物体的图像识别任务。这一任务具有着广泛的应用价值。例如,在商品零售领域,如何智能地区分包装相似的不同品牌、类型商品;在医学影像领域,如何区分疾病的良恶性及不同亚型;在智慧城市领域,如何精准识别并统计汽车、行人;等等。与此同时,细粒度图像识别也面临诸多技术挑战。细粒度识别的对象来自于同一大类别下,辨识信息隐藏在局部区域,这需要我们对辨识性目标进行精准的定位;细粒度识别的物体区分信息十分细微,这要求特征提取必须灵敏且鲁棒;细粒度识别面向复杂应用场景,这要求模型要有抗干扰能力,同时应灵活、轻量。鉴于细粒度图像识别苛刻的任务难度以及重要的应用价值,本文围绕细粒度图像识别的关键技术开展系统性研究,主要工作列举如下:1.目标定位研究目标的精细定位可以为识别系统提供精准的输入数据,这是细粒度识别的基础。通常来说,目标定位任务可以分为两种:一种是关键点的定位,另一种是区域的定位。对于关键点定位研究,传统方法使用卷积神经网络的层层叠加提取关键点特征,这样的方法忽视了关键点之间的全局结构依赖,同时对畸形关键点定位能力差。针对此问题,本文首先提出一种基于局部区域依赖关系的检测方法,采用Faster RCNN实现畸形关键点的临近组织的定位。其次提出一种融合局部与空间依赖的分割方法。采用U-Net捕捉关键点的局部纹理特征,并设计一种轻量化的非局部模块捕捉关键点的全局结构特征。最终本文结合儿童发育性髋关节脱位诊断任务,对畸形关键点的定位取得了良好性能,继而实现了可靠的临床诊断。对于局部区域定位研究,传统方法采用目标检测实现,这样的方法需要精细且庞大的专业标注,限制了方法的可应用性。针对此问题,本文提出一种基于区域自一致性的弱监督定位方法,可以在不依赖精细标注的情况下,自主地定位关键区域。最终本文结合儿童骨龄评估任务,实现了自动的骨骼关节区域定位,继而实现了精准的骨龄评估。2.特征提取研究基于输入数据提取精细的视觉特征,是细粒度识别的关键环节。首先,本文提出了一种基于局部间约束的特征提取方法。根据区域在注意力和识别的一致性优化特征提取器,进而将全局特征与多个区分性区域特征拼接,得到精细且全面的视觉特征。第二,传统注意力机制对局部区域均采用孤立的特征提取方法,将局部特征学习任务视作孤立分类任务,此过程忽视了全局特征对局部特征的约束。针对此问题,本文设计一种全局-局部相关性约束,使用知识蒸馏方法将全局知识传递到局部,在局部特征提取的过程中引入全局知识的约束。第三,本文进一步探索了细粒度识别任务的数据增广方法。传统数据增广方法对全局图像施加噪声,然而,细粒度图像识别更注重对局部区域的特征学习。针对此问题,本文设计一种局部区域扰动的数据增广方法,对图像的若干局部区域进行信息擦除,有效地提升了网络特征提取能力和泛化能力。3.特征优化研究对提取到的特征进行优化增强,可以改进识别效果,是细粒度识别的进一步提升。特征提取器提取的原始特征是存在大量冗余和噪声干扰的,这对细粒度识别的分类器造成了困扰;同时,当前通过注意力机制优化特征的方法设计模型复杂计算量大。针对此问题,本文设计一种轻量化的软注意力方法,对区分性特征进行强化,对噪声进行抑制。为了保证注意力的区分性,本文设计基于单独注意力强化后的识别损失;为了保证注意力的多样性,本文设计注意力隐属性,使注意力具有语义歧义性,保证不同子注意力的多样性。基于区分性和多样性的视觉注意力,本文方法有效地对原特征图进行了优化,从而促进识别精度进一步提升。同时,大量的对比实验也证明了,本文方法在提升精度同时,仅仅带来微弱的计算开支,充分保证了方法的实际应用价值。最终,本文根据所提出方法,在细粒度识别的科学任务上进行了论证,并结合儿童骨科医学影像分析实际应用上进行检验。本文对细粒度识别关键技术进行了系统的、有针对性的研究,并在科学研究和实际应用上取得一定成果。