关键词： 弱监督物体定位   多样鲁棒部件挖掘   前景激活图   对抗Transformer   任务感知Transformer  

摘要： 物体检测和定位是计算机视觉中的经典问题,也是计算机视觉的基本和重要组成部分之一。自20世纪70年代以来,该技术吸引了研究人员的极大热情。作为学术界和工业界关注的热点话题,物体定位使用了人工智能的核心技术,为人脸识别、智能监控、自动驾驶等高级应用提供了强有力的支持。物体定位旨在提取并识别出图像中感兴趣的目标,然而,现有方法大多都是基于全监督学习范式,即使用预先定义的物体类别和边界标注来训练模型。这种训练过程需要大量精细的数据标注,严重限制了物体定位技术的实际应用。为了减轻对边界标注的依赖,提升物体定位技术的拓展性和实用性,弱监督物体定位方法应运而生。与全监督物体定位方法不同,弱监督物体定位方法只需要粗糙的图片级别标注,能够显著降低对手工标注的依赖。为了解决弱监督物体定位领域中监督信息不足的问题,本文从提供区域级监督和像素级监督两个研究粒度出发,对弱监督物体定位技术进行了系统性研究:由仅有图像级标注信息,到引入区域级监督信息,再到引入像素级伪标签,最后引入了高质量像素级伪标签。在区域级监督研究中,现有方法存在非显著性区域定位差、定位性能提升带来分类性能下降的挑战;在像素级监督研究中,现有方法存在缺乏像素级语义标注、像素级伪标签具有歧义激活值的挑战。本文针对这些核心挑战进行了深入研究,主要的研究工作和创新点如下:·提出了一种基于多样鲁棒部件挖掘的弱监督物体定位算法。针对非显著性区域定位差的挑战,本算法设计了三个学习机制以建模多样鲁棒的物体部件,包括多样性、紧凑性和重要性学习机制。多样性机制鼓励模型关注多个显著性区域,以激活非显著性区域。紧凑性机制试图学习鲁棒的特征表示,从而获得更强大的部件检测器。重要性机制建模了物体部件的重要性,使得多个部件的分类和定位结果自适应融合得到最终结果。在两个数据集上的实验结果表明,所提算法能够激活非显著性区域,提升定位完整性。·提出了一种基于前景激活图的弱监督物体定位算法。针对定位性能提升带来分类性能下降的挑战,本算法提出联合优化物体定位及分类任务,并设计了两个核心模块以达到此目标,即物体感知注意力模块和部件感知注意力模块。与上述基于多样鲁棒部件挖掘的弱监督物体定位算法在获得定位性能提升的同时带来分类性能的下降不同,本算法所提出的物体感知注意力模块可以产生类别不可知的定位图实现物体的完整性定位,部件感知注意力模块可以选择最具有判别力的部件进行精准的物体分类,同时获得了较好的定位和分类性能。在两个数据集上的大量结果表明,本算法能够取得优于现有方法的定位及分类准确率。·提出了 一种基于对抗Transformer的弱监督物体定位算法。针对缺乏像素级语义标注的挑战,本算法使用自监督学习产生像素级别伪标签,并设计了两个核心模块,即物体Transformer和部件Transformer,以高效利用伪标签引导定位模型的学习。物体Transformer被设计用来为输入图像产生定位图,部件Transformer被设计用来识别定位图和伪标签之间的细微差异。二者以对抗的方式进行训练,以获得良好的定位模型。在两个标准数据集上的大量实验结果表明,所提算法能够明显提升物体定位的准确率。·提出了 一种基于任务感知Transformer的弱监督物体定位算法。针对歧义伪标签的挑战,本算法设计了三个核心模块,即表示编码器、定位解码器以及分类解码器。表示编码器通过建模上下文信息获得更鲁棒的特征,从而有效地表示物体的外观。定位解码器采用最优传输算法产生具有二进制激活值的像素级别伪标签,指导定位模型的学习。分类解码器使用类别感知原型实现类判别力特征的增强,从而实现精准的物体分类。在两个数据集上的实验结果表明,所提算法能够显著提升定位和分类结果。整体而言,本文从区域级监督及像素级监督两个研究粒度出发,对弱监督物体定位技术进行了系统性研究。从研究方法的角度出发,针对区域级监督中存在的非显著性区域定位差和定位性能提升带来分类性能下降的挑战,本文从采用多样鲁棒的物体部件建模,联合优化物体定位及分类任务的方向展开研究;针对像素级监督中存在的缺乏像素级语义标注、歧义伪标签的挑战,进一步研究自监督学习伪标签生成方法,以及最优传输算法以提高像素级伪标签精度。

关键词： 物体检测   人体关键点定位   结构化视觉表示   注意力机制  

摘要： 物体检测与关键点定位是计算机视觉最基础的任务之一,被广泛的应用于图像检索,自动驾驶、人机交互、增强现实等任务。根据定位物体的语义不同,主要包含了物体检测、行人检测、人体关键点定位等任务。基于深度学习的检测定位算法的发展主要受到三个挑战的制约:物体定位模型中上下文信息的缺失;物体内部结构信息的欠缺;细粒度部件之间依存关系的建模不足。 在物体检测任务中,除了其本身的视觉信息,物体的上下文场景信息和内部结构信息同样可以起到辅助作用。相对于一般的物体,人体具有更明确的层次化结构,其内部关键点之间具有更强的依赖关系。结构化视觉表示对不同层次语义(场景、物体、物体的细粒度部件)之间的关系进行建模。通过结构化深度模型中的视觉表示,可以有效地增强物体检测定位模型的特征表示能力。因此,针对上述问题,本文开展了面向物体检测与关键点定位的视觉表示结构化建模研究,对物体的上下文信息进行建模,期望获取上下文信息辅助的物体特征;对物体内部的多层次结构进行建模,期望构建学习能力更强的深度模型;对部件之间的结构信息进行建模,期望获取更具有描述力的关键点特征。具体地,本文的主要研究内容分为以下四个方面: 1.对全局上下文信息建模,提出了面向物体检测的场景上下文信息建模方法。物体的上下文描述了场景的结构化信息,刻画了场景内的视觉信息与物体的关系,是一种全局到局部的关系。根据场景信息建模的精细度不同,本文设计了两种上下文信息建模方法对场景与物体之间的结构化关系建模,解决了物体检测模型中场景信息缺失的问题。首先本文提出了一个基于门控的上下文信息建模方法,使用全局池化对场景的重要性进行建模,获得粗粒度的场景信息。其次本文提出了一个基于全局共现的上下文信息建模方法,使用像素级的相关性对场景的重要性进行建模,获得精细粒度的场景信息。在VOC,MS COCO两个物体检测数据集上的实验证明了场景信息辅助的有效性。 2.对物体内部的多层次结构信息建模,提出了面向物体检测的内部隐式层次化信息建模方法。物体内部的多层次结构定义了细粒度部件与物体之间的结构化关系,描述了物体由细粒度部件组成的方式。在细粒度部件不可知的情况下,本文提出了一种基于点集整合的多层次部件建模方法,对特征聚合过程中的形状信息建模,隐式地建立了细粒度部件到物体的组成过程。同时,该方法自顶向下地整合多层次的局部形状信息,避免了只使用末端特征获取物体的形状。并且,可微的形状整合模块解决了特征聚合过程中局部形状信息的学习问题。在MS COCO数据集上的实验结果表明,多层次部件建模方法不仅是有效的物体检测算法,而且所训练的骨干模型可以提升其他检测算法的检测效果。 3.对人体内部的多层次结构信息建模,提出了面向人体关键点定位的内部显式层次化信息建模方法。人体内部的多层次结构定义了关节点、部件与人体之间的关系,明确了不同概念之间的从属关系。为了利用人体丰富的结构信息,本文提出了一个基于空间结构树的人体多层次关系建模方法,显式地建立了符合人体结构的深度模型。该方法解决了单一层次信息造成的语义表达不强和人体关键点关联匹配弱的问题。在MS COCO关键点定位数据集上的实验证明了多层次人体结构树的有效性。 4.对部件之间的结构化信息建模,提出了面向人体关键点定位的层内部件依赖关系建模方法。人体部件之间的结构化信息蕴含了对部件之间的依赖关系。本文提出了了一个基于自注意力机制的部件依赖关系建模方法,对人体关键点之间的关系建模,增强了局部特征的表示能力。该模型采用并行学习的方式融合强语义描述性的全局特征和局部细节敏感性的卷积特征,解决了特征融合过程中的相互冲突问题。在MS COCO,MPII两个关键点定位数据集上的实验验证了双路并行模型的有效性。 通过上述研究,本文深入探究了物体检测定位中结构化信息,为物体检测和人体关键点定位任务所面临的结构化信息的缺失提供了有效的解决方案。结果表明,通过引入上下文信息,可以获取更具有判别力的物体特征,从而提升物体检测的准确率;通过使用深度模型对物体内部的多层次结构建模,提升了深度模型的可解释性和学习能力,进而提升了物体的检测结果和关键点定位的准确率;通过嵌入部件之间的全局关系模块,提升了深度模型中的特征学习能力,提高了关键点的定位精度。

关键词： 弱监督物体定位   类激活图   对抗训练   香农熵   潜在扩散模型   对比语言-图像预训练  

摘要： 深度学习在各个应用中都表现出令人印象深刻的性能。然而,它往往需要大量的注释数据才能够取得好成绩。虽然最新的智能标注工具的简化了获取自然图像类标签的过程,但获取用于对象定位的边界框注释仍然耗时且成本高昂。为了解决这一挑战,相关研究提出了弱监督物体定位（Weakly Supervised Object Localization,WSOL）方法,利用弱注释来训练模型。其中,一种常见的方法是生成类激活图（Class Activation Map,CAM）来定位对象。然而,这种方法的局限性在于它只能检测到物体的一部分,而不是整个物体。 针对CAM的局限性,目前已经提出了三类主要方法。第一类是删除的策略,即删除部分图像,迫使模型检测出物体的完整范围。然而,这种方法需要使用超参数来确定擦除哪些像素,从而导致信息丢失。第二类是发散激活法,即在模型中添加多个分支或模块来改善定位效果,但其代价是改变网络结构。最后,空间关系（相关性）方法则引入了相关性约束来扩大激活区域,但其却忽略了保留结构对象信息。本论介绍了旨在克服现有WSOL方法局限性并做出了如下贡献。 第一个贡献是本文提出了分层互补学习网络（Hierarchical Complementary Learn-ing Network,HCLNet）框架。HCLNet利用互补CAM（Complementary CAM,C-CAM）生成多个检测不同物体部分的地图。C-CAM作为一种注意力地图,会突出显示除最具辨别力部分之外的所有图像像素。这种方法不需要额外的超参数,可以避免大量信息丢失。为了在排除背景的同时检测到完整的物体,本文采用了两种融合策略,即加法策略和l1-norm策略,并将各种图谱结合起来。大量实验证明,HCLNet超越了基线水准,在分类和定位任务中都达到了最优性能。此外,消融实验结果还特别说明了C-CAM和融合策略对方法整体性能的显著提高。 第二个贡献是本文利用对抗训练来提高定位精度。在训练过程中,模型同时处理纯净图像（不添加扰动）和对抗图像（添加扰动）。对于每幅图像,模型都会生成一个突出物体特征的CAM。然后合并这些CAM,生成定位整个物体的最终图像。将对抗示例作为一种数据增强形式,可以有效地为模型增加正则化。因此,对抗模型能够在不移除图像任何部分的情况下检测出完整的物体范围,从而防止信息丢失。此外,该方法还避免了在网络主干上引入额外的模块,简化了实验过程。通过对ILSVRC和Open Images数据集的实验表明,使用对抗范例作为数据增强,可以提高分类和定位性能。 第三个贡献是本文引入了熵引导对抗（Entropy Guided Adversarial model,EGA）模型,该模型在对抗模型中增加了熵损失。具体来说,香农熵适用于对抗模型生成的CAM的每个像素。通过最小化熵损失,该模型可生成高可信度的图像,重点关注对象像素,并同时排除背景像素。对单个像素的限制来保证像素之间不会相互关联。这一策略解决了第三种方法的局限性,使边界框更加精细。通过对CUB-200-2011、ILSVRC和Open Images等最先进基准实验验证,EGA模型大大提高了分类和定位性能,而无需改变网络架构。此外,消融实验表明,对抗训练和熵损失都对算法性能的提高有显著贡献。 最后,本文提出了第四个贡献是提出了对抗性对比潜在扩散模型（Adversarial Contrastive Latent Diffusion Model,AC-LDM）。该模型将潜在扩散模型（Latent Dif-fusion Model,LDM）与对抗训练（Adversarial Latent Diffusion Model,A-LDM）相结合,增强了图像中的物体特征定位功能。此外,AC-LDM还采用了对抗性对比语言-图像预训练（Adversarial Contrastive Language-Image Pre-Training,A-CLIP）模型来提高对视觉概念的理解。该框架使用两个不同的攻击者,为同一张纯净图像生成不同的对抗示例。为了更好地理解数据集的分布,这些对抗示例会分别输入LDM模型和对比语言-图像预训练（Contrastive Language-Image Pre-Training,CLIP）模型。该模型分两个阶段进行微调,以提高嵌入学习能力和对各种扰动的鲁棒性。在推理过程中,使用其中一个攻击者训练的分类器被用来预测测试图像的标签,然后利用这些预测标签为测试图像生成相应的对抗示例,作为LDM和CLIP模型的输入。对于每张测试图像,LDM都会生成能突出图像中物体的注意力图。AC-LDM显著提高了WSOL性能,为注意力图提供了优秀的定位精度。

关键词： 双目视觉   相机标定   物体识别   立体匹配   重建定位  

摘要： 随着智能制造的快速发展,对工业机器人的智能化要求日趋提高。融合机器视觉技术的工业机器人将具备感知周围环境的能力,而完成对物体的识别与定位是实现智能抓取的关键环节,当准确识别物体后,通过重建其表面关键特征点的三维信息进行更全面精确的定位,这对实现后续可靠抓取具有重要参考。本文开展基于双目视觉的物体识别与定位研究,主要研究工作如下: (1)对双目视觉系统的相机成像模型进行研究分析,并基于Matlab标定工具,同时考虑切向畸变与径向畸变影响,对张正有标定法进行改进,获得双目相机内外参数。此外,通过Bouguet算法对采集的左右图像进行极线校正处理,使得左右对应像素点均在同一直线上对准,完成双目立体校正。 (2)对采集的物体图像进行预处理,并通过主观视觉效果和客观数据评价进行验证分析,针对图像滤波方法,提出改进的各向异性扩散滤波,与空间域滤波相比,去噪效果更好;针对图像增强方法,提出同态滤波融合限制对比度自适应直方图均衡化(CLAHE)算法,与单一的同态滤波和CLAHE算法相比,图像对比度增强、清晰度更高。将遗传算法用于优化Otsu阈值分割,与Otsu法相比,图像前景物体与背景完全分离,分割效果更优,从而基于Zernike矩法的亚像素边缘检测提取完整且连续的物体轮廓。针对物体形状特点,提出傅里叶形状描述符结合轮廓Hu矩特征的模板匹配进行物体识别,实验结果表明,本文方法可以准确识别物体,且识别率较高、用时较短。 (3)针对传统立体匹配算法在边缘及重纹理弱纹理区域匹配精度较低的问题,提出一种改进的AD-Census立体匹配算法。在匹配代价计算阶段,将AD变换与Census变换的合成方式由固定权重改进为自适应权重;在代价聚合阶段,引入多尺度信息,计算多尺度下匹配代价进行十字交叉域代价聚合。通过对标准测试图像进行实验定性与定量分析,与BM、SGBM和传统AD-Census立体匹配算法相比,本文改进算法所得视差图的匹配精度更高。 (4)通过最小外接矩形法获取物体的质心像素坐标和旋转角度,完成初步定位。通过对物体表面关键特征点进行三维重建,获取空间坐标,完成精确定位,并借助标定板角点验证三维重建精度,结果表明重建精度满足系统定位要求。

关键词： 机器人抓取   物体检测   物体六维姿态估计   知识库   触觉超分辨感知  

摘要： 机器人通过机械臂稳定抓取物体是实现自主操作和智能交互的重要基础功能。目前的方法包括通过神经网络直接进行端到端训练学习的直接法和将抓取过程的关键技术环节进行拆解与建模的基于模型的方法。基于模型的方法通过视觉和触觉对物体和抓取过程进行建模,进而获取物体的位置、姿态和抓取过程的接触反馈,具备良好的可解释性。在这类方法中,抓取过程被拆解为多个技术环节,其中非常关键的三个技术环节包括:从单张图像中识别和定位物体,对物体进行六维姿态估计和物体抓取过程的接触位置估计。在物体识别和定位中,仍存在密集同类物体场景下获取高精度的物体定位信息质量不高,在物体姿态估计中,存在点云模型获取代价大、处理速度慢、类内泛化性弱等问题,而在物体最终执行抓取的过程中,存在机器人末端和物体的接触位置难以进行高精度估计,无法对物体的接触状态进行判断等问题,这些关键环节的问题影响了机器人抓取操作的速度、精度和稳定性。为了探索和解决上述问题,本文进行了深入研究,围绕机械臂抓取过程中基于单视图的物体定位精度和特征混淆问题,提出了面向密集同质物体特征的渐变池化编码方法,进一步地,本文构建了物体几何组件简图模型知识库和高速物体六维姿态估计方法;同时,为了解决物体抓取过程接触位置难以通过视觉准确估计的问题,本文引入触觉模态对抓取过程的物体与机器人末端接触位置进行了高精度超分辨建模。主要研究工作和创新包含以下三部分: 1.基于空间位置嵌入池化的物体定位方法。物体识别与定位是目标检测的核心任务,将物体检测作为多个关键点进行检测是具有较高物体定位精度的一类目标检测方法。通过角池化进行物体外接框角点的定位可以进一步提升定位精度。角池化是通过特征图在x和y轴方向上各自进行最大池化并相加从而精准定位物体边界框的角点。但在一维最大池操作中,同类密集排列物体的特征容易发生混淆和遮挡。因此,我们提出了一种渐变角池化编码方法,将特征图上各个同质物体特征之间的空间距离信息进行编码,从而有效地解决了同质物体特征的混淆问题。渐变角池化可以通过分块比较进行快速计算,其计算复杂度与传统的角池化相同。在各种基于关键点的物体检测方法中应用渐变角池化,检测精度均获得了提升。本文分别在数据集和实际场景中测试了渐变角池化算法,均取得了相较于基线的更优效果。使用渐变角池化的网络在训练过程中可以更快速地定位物体角点,使用本文提出方法替换基线模型中的对应模块,在MS-COCO数据集上的密集物体上实现了超过6.5%的平均准确度提升。同时,应用渐变角池化的物体检测器在实际场景测试中显示出更优的物体角度适应性。 2.构建物体几何组件模型和快速六维姿态推理方法。在大多数实例级或类别级六维位姿估计方法中,准确的计算机辅助设计模型或点云模型是必不可少的部分。然而,日常物体的三维模型难以获取,同时,使用精确模型的方法对于同类物体的不同实例具有较弱的泛化性且点云模型的处理速度较慢。为了解决这些问题,本文进一步提出了物体几何组件简图知识库,其中包含30个类别的270个真实世界物体简图模型。几何组件模型是根据物体的功能和结构将物体分解为几何组件,并将其转化为三种基本空间结构:棱台、圆台和球体。本文提供了一个快速的草图建模工具和流程,使用这种方法构建日常物体的简图模型的平均时间约为2分钟。此外,本文利用组件模型进行多视点投影,依据三维空间和投影空间中组件的几何信息和对应关系,构建了快速六维姿态推理框架。该方法利用组件投影的几何约束在离散六维位姿空间中检索并对有效的解进行评分,逐步约束解空间,约束求解过程具备可解释性。在真实环境中进行的大量实验表明,即使没有准确的计算机辅助设计模型或点云模型,本文提出的方法也能可靠、稳健地估计物体的六维位姿。此外,这种方法可以使用GPU进行并行计算,以每秒90帧的速度执行,并实现了最先进的性能。 3.基于时空连续性的学习的物体接触位置超分辨感知。为了获取抓取过程中准确的触觉反馈,本文提出了一种通过学习接触位置的时空连续性在交叠气囊组成的触觉传感器上增强机器人触觉位置超分辨的方法。每个交叠气囊均由软材料构造,并在内部密封气压计,以模仿人体皮肤的适应性受体。每个气压计通过超弹性密封交叠气囊中的压强传导获得接触面的全局感受野。该方法采用因果卷积来解析多个气压数据,并预测接触位置。接触位置的时空连续性有助于定位的精度和稳定性。本文仅使用四个物理感测节点在橡胶表面上(在38×26平方毫米上的平均值为0.1毫米)实现了超过2500的超分辨率因子,达到了目前最为领先的性能。本文还定量分析了因果卷积的时间序列长度对位置预测精度的影响。基于该传感器和接触位置建模方法,本文展示机器人可以通过触觉传感器实现具有挑战性的任务,如触觉轨迹跟随、自适应抓取和人机交互。本文将上述各个环节的关键算法与触觉传感器进行系统集成,实现了快速准确的机器

关键词： 自闭症   物体定位   认知训练  

摘要： 认知训练是指在特定领域内通过重复实践活动,导致目标领域内的认知和行为效率提高和改善的一种训练方式。使用认知训练方法可对认知领域,包括记忆、注意、抑制等方面进行针对训练,能够取得有效成果。认知研究是自闭症儿童发展研究中的重点内容之一,探究自闭症儿童的认知发展与教学、生活的有效连接也是一直努力的方向,因此本研究围绕认知与生活展开干预研究,选择认知训练法作为本研究的干预方式。基于多媒体技术在生活、教学中的重要性和便利性,研究选取了计算机技术作为载体,实施基于计算机的认知训练。对于研究内容的选取,物体定位是日常生活所需要的一项基本技能,需要明确目标物体及其所在位置,将物体信息和位置信息进行整合绑定,对儿童的信息整合、记忆能力和全面认识事物能力的形成和提升具有促进作用,而确定物体位置、认识物体信息也是特殊学校教育对学生的一项基本要求。基于此,本研究拟开发认知训练活动,集中于视觉和听觉领域,对自闭症谱系障碍儿童的物体定位技能进行干预研究,并探讨其维持和泛化能力。本研究选取了西安市某机构中的三名自闭症谱系障碍儿童,采用单一被试实验的跨被试多探测实验设计,对其在认知训练干预活动结束后的物体定位技能进行探测,记录物体定位任务完成准确率,以此来探究认知训练活动对自闭症儿童物体定位技能干预的有效性。基于研究内容和以往研究材料,研究者开发设计了认知训练活动以及用于干预结束后的物体定位技能探测的任务。通过视觉分析和Tau效应值的计算,研究结果发现认知训练对三名自闭症谱系障碍儿童的物体定位技能干预展现出了一定的有效性,具体表现为:(1)经过认知训练干预,三名被试独立完成物体定位任务的准确性得到了有效提升,干预效果较强。(2)认知训练干预结束后,三名被试均表现出较强的物体定位能力维持效应,能够将物体定位能力泛化到实际生活场景的物体归位中。(3)经过认知训练干预,三名被试所具备的与物体定位技能密切相关的位置记忆能力也得到了较高的干预和维持效应。

关键词： 双目测距系统   大型物体定位   立体匹配算法   FPGA  

摘要： 目前在架桥机的工件自动化落位过程中,对大型工件的自动定位精度只能达到分米级,落位前需要施工人员现场观测并进行误差调整。本文在新一代架桥机的研发过程中,将双目视觉系统与第一代架桥机定位系统相结合,实现了对大型工件厘米级精度的自动测距与定位,进一步提高了架桥机工件落位的精度与自动化程度。主要研究内容包括: (1)针对第一代架桥机测距定位精度不足的缺点,在第一代架桥机定位方案的基础上提出了将双目视觉系统与RTK定位系统相结合的工件测距定位方案,弥补了RTK定位系统精度不足与双目测距系统有效工作范围小的缺点,设计了RTK定位系统与双目测距系统在落位过程中的测距定位转接流程。 (2)对基于Census变换的双目立体匹配算法进行了优化,提出了基于双阈值判断的中心参考像素灰度值选取方法以提高算法的抗干扰能力,提出了矩形窗口叠加的十字匹配窗口以提高算法在横向与纵向深度不连续区域的匹配精度。 (3)针对双目立体匹配算法运算量大、运行速度慢的缺点,本文将双目测距定位系统中的各项算法在嵌入式平台上进行了加速,在待校正图像的存储方式、映射矩阵的获取、插值像素的存储等方面做出了优化,使双目测距系统的实时性得到了较大的提升,满足了在大型物体定位方案中对双目测距定位系统的精度与实时性要求。

关键词： 物体检测   物体定位   时空先验   轨迹预测   计算机视觉  

摘要： 物体定位是计算机视觉领域中的一个重要研究方向,它构成了许多其他计算机视觉问题的基础,如实例分割,物体追踪等。同时,物体定位在许多应用场景中具有重要的作用,如智能交通、安防监控、医学影像分析等。时空域物体定位问题不仅包含在空间域内的物体定位,同样包含在时间域内的定位问题。其中典型的任务为物体轨迹追踪以及物体运动预测。物体轨迹追踪为给定一个时序信号序列,检测出其中的物体在该时间片段中的运动轨迹。物体运动预测即为对物体在未来一段时间内的运动轨迹进行预测。物体的检测与轨迹追踪,预测组合起来构成了对给定时空域内的物体的属性(类别)及运动的刻画。在实际应用中,物体定位面临着许多挑战,如背景复杂、遮挡和运动模糊等。针对这些问题,研究者们提出了许多不同的方法,如基于视觉注意力的方法、基于时空先验的方法等。其中,基于时空先验的方法是近年来越来越受到关注。该方法主要是利用物体在时间和空间上的先验知识,来提高物体检测和定位的准确性。例如,利用物体的边界位置信息,辅助确定物体的位置和大小,进而提高检测和定位的精度。以及利用物体在时间上的持续性和运动方向等信息,来进行更加精确的定位和跟踪。本文在通用定位任务:2D目标检测中,以及在特定定位任务:自动驾驶感知中,分别对如何利用时空先验来帮助物体定位进行了研究。对于通用的2D图像物体检测,本章(第二章)提出了基于条件注意力的2D物体检测模型。该方法从物体检测中的边界位置先验信息入手,探究了基于变换器的物体检测器DETR训练难度大,收敛时间过长的问题。由于变换器相较CNN而言,拥有全图大小的感受域,导致变换器的训练难度更大,严重的提高了训练成本。可以发现,DETR的解码器中的注意力机制倾向于去寻找物体的一个边界区域。同时,本章认为物体检测器需要收集物体边缘的特征信息来进行准确的物体框预测。于是,本章提出了条件DETR的模型,引入条件空间嵌入,来使得注意力机制能够显式地定位到物体的边缘区域,缩小物体的搜索范围,加速模型训练。通过大量实验分析,条件DETR相较DETR能够达到最高10倍的训练加速。在自动驾驶场景的联合3D感知与预测任务中,本章(第三章)提出了混合运动表征学习方法。由于自动驾驶场景的特殊性,本文采用激光雷达点云数据作为输入以获得更精确的物体位置信息。本章通过利用刚体整体运动与其中内部每个点的运动先验,探索了每个物体整体的运动状态(全局运动),与物体中每个雷达扫描点的运动状态(局部运动)之间的关系。研究发现,局部运动状态和全局运动状态包含的信息具有互补的特性,如局部运动不依赖于物体检测结果,但同时运动的噪声会较大;而全局运动状态重度依赖于物体检测,但同时物体的运动状态较为鲁棒,噪声较小。基于此,本章提出了用于联合3D感知与预测的混合运动表征学习框架,该框架将局部运动状态与全局运动状态通过变换器模型联系起来,以达到使局部运动预测和全局运动预测互相受益的效果。在搭建了车载的物体检测与定位系统后,本章意识到了车载感知系统的一些局限性,如遮挡。于是,本章继续对路侧的感知系统进行了研究,希望能够通过路侧感知系统来弥补车载感知系统的先天缺陷。本章(第四章)搭建了一个多摄像头的端到端物体感知系统。该系统具有物体检测,定位,追踪及运动预测的能力。在系统搭建中,本章通过对路侧摄像头视角偏移先验信息进行分析,提出了实时的视角偏移补偿模块。同时,本章也包含了对该系统的各个模块都进行的测试。测试结果表明,该系统能够实现较为精确的车辆检测定位,并且,感知系统延迟仅有40毫秒,基本可以达到实时检测的需求。与此同时,本章还基于路侧的感知系统,构建了一个下游应用:交通冲突检测系统。本章通过这个交通冲突检测系统构建了一套半自动化收集交通冲突事件的流程,并提出了一个交通冲突数据集。该数据集能够为交通安全相关研究人员提供关于交通冲突的研究数据,帮助他们对交通事故的成因进行研究。本文主要研究物体定位在实际应用中的需求,重点研究如何在不同的实际场景中去探索时空先验来提高检测和定位性能。本文分别对通用2D物体检测,以及两个具体的应用场景:车载物体感知和路侧感知中进行了研究,对推动物体检测与定位在场景理解,自动驾驶,智能交通,增强现实等领域的应用有着重要意义。

关键词： 深度学习   目标识别   实例分割   空间定位   智能抓取  

摘要： 针对智能机械臂在自然光环境的三维空间中对目标物体的自主识别率和定位精度低的问题,提出了一种基于深度学习的视觉和光学雷达融合定位算法,实现自然光线下空间物体的高精度快速定位。首先,采集RGB图像和深度数据,利用深度学习算法对图像进行目标识别与实例分割;然后,将实例分割目标物的二维深度矩阵转换成三维空间点云;最后,用综合修正算法对位置修正,实现对目标物体在三维空间的抓取位置精准定位。通过不同光照强度下的目标物体识别和定位实验验证了该算法的有效性和实用性,获取的目标物体的三维空间坐标较为精确,单位距离的定位误差在0.5%以内,受照明亮度影响较小,对机械臂智能抓取的研究具有较为重要的意义。

关键词： 非视域成像   二次相关法   时延估计  

摘要： 非视域成像技术是对无法直接观测到的物体进行间接观测的一种技术,本文使用激光光源照射中间介质,光经过中间介质进行多次反射,再使用APD(Avalanche Photon Diode)阵列接收回波信号,最后使用二次相关法进行时间延迟估计,计算回波信号的返回时间,完成对非视域物体的定位。实验表明,该方法可以快速定位非视域物体的位置,在噪声比较大的环境下,比直接使用互相关法定位更加准确。