关键词:
局部特征描述符
特征表达
深度学习
图像块匹配
数字图像处理
摘要:
随着数码相机、智能移动设备、互联网等在人们生活中的广泛应用,数字图像逐渐成为人们进行信息存储和交流的重要载体。在利用这种载体进行信息交换过程中,人们希望机器或者计算机能够辅助人类进行信息的提取和转换,比如将同一场景的多幅图像拼接在一起,在图像中识别出感兴趣的目标,根据一个特定场景的不同视点的二维图像对场景进行三维重建等。这些任务在文化遗产数字化展示等方面有着重要作用。完成这些任务的基础是建立多幅图像中局部区域(图像块)的可靠的匹配关系,而匹配关系的判断一般依赖图像局部区域的特征。因此如何有效而鲁棒地把图像局部区域映射到合适的特征空间以判断他们之间的匹配关系,是数字图像处理领域的一个关键问题。近年来,围绕这个问题展开的研究大致分为两类:通过人工设计具备不变性的操作进行特征表达的方法和通过学习数据内在关系建立特征映射的方法。目前局部特征表达领域的研究给许多图像处理任务带来巨大的提升,但也存在一些问题:模型时间消耗较高难满足实时任务需求的问题以及对映射过程的约束不充分导致的误判问题。本文针对这两个问题展开研究,完成以下几个方面工作:1.三元排序模型是目前非常流行的一种提取局部图像特征的模型,针对三元排序模型仅利用三元组内部关系构建一致性约束而无法对不同三元组之间的关系进行约束的问题,本文构建了一个基于深度神经网络的四元排序模型。该方法首先提出了一个新的四元排序约束函数,在理论上使得任意相似图像对和非相似图像对都能够参与到优化过程中,保证特征衡量的匹配关系与真实情况一致;然后基于孪生网络和残差网络建立了一个深度卷积网络以完成从图像块到局部特征的映射;最后设计了一个在线采样算法对训练数据进行在线扩展以保证模型得以充分训练。该方法相比于SIFT和一些最近的工作在一些图像处理任务中的精度有明显提升。2.针对目前局部特征表达方法特别是基于深度学习的方法耗时过高的问题,本文设计了一个基于精简四分支模型的方法。该方法首先对一些典型的深度学习模型进行耗时分析,寻找影响模型效率的瓶颈因素,并根据分析结果构建了一个精简的浅层神经网络;其次,结合铰链嵌入损失函数和排序损失函数的思想构建了一个具有稳定分隔边界的排序约束函数对模型进行约束,在一定程度上缓解排序模型边界抖动问题。该方法在保持模型精度的前提下,将单个特征提取时间降低至毫秒级别,增强了对实时任务的适用性。3.针对目前特征表达方法仅利用数据个体关系建立约束条件导致的半优化问题,本文构建了一个方差收缩的模型。该方法根据数据的分布特征设计了一个联合约束函数,对相似图像和非相似图像分布的均值和方差进行约束,在统计角度保证模型的可区分性。其中均值约束要求相似图像的分布和非相似图像的分布保持合适的距离,而方差约束要求每个分布向其峰值位置收缩。该方法可以有效降低两个分布的重叠率,从而降低对图像匹配关系的误判,提升模型性能。本文通过对上述几个方面的研究,逐步建立更严格的一致性约束和更精简的模型,相比于前人的工作在性能和效率上都有比较明显的提升,在一定程度上缓解了目前局部特征表达方法存在的问题。