关键词： 认知训练   自闭症谱系障碍儿童   物体定位技能   实验设计  

摘要： 认知训练能够增强自闭症谱系障碍儿童的日常生活自理能力,改善他们的生活质量和社交功能。文章针对自闭症谱系障碍儿童物体定位技能的缺陷,采用计算机辅助的认知训练方法,基于特征绑定理论,制定个性化的训练方案。基于跨受试多探测设计,对三个自闭症谱系障碍儿童进行干预训练,并对其干预效果进行评估,结果显示,认知训练能显著提升自闭症谱系障碍儿童的物体定位技能,且效果持久,训练方案的设计充分考虑了儿童的学习特点和个体差异,注重重复性、互动性以及技能的泛化与应用,有望改善自闭症谱系障碍儿童的日常生活自理能力和社会交往能力。

关键词： 物体定位与识别   目标检测   全景分割   有限标签   弱监督设置   开集设置  

摘要： 物体定位与识别是计算机视觉领域的主要目标之一,其旨在对图像、视频等视觉场景中感兴趣的物体进行定位和分类,并在安防、医学、农业等领域有着非常广泛的应用。该方向根据物体定位的精细程度可以分为两部分,即物体框级别和像素级别。其中,前者的一个相关任务是目标检测,该任务要求使用紧贴物体的矩形框对物体进行定位。后者的一个相关任务是全景分割,该任务要求区分不同物体和背景所对应的像素区域。然而,现阶段高性能的物体定位与识别方法大多依赖于完整且有着精细标注的数据,而获取这些数据往往需要耗费大量的人力和物力,不利于这些方法在新场景下的应用。因此,基于有限标签的物体定位与识别任务得到越来越多的关注,该任务能够在大幅减少对标签完整性、精细度需求的情况下,实现对物体的定位与识别。 基于有限标签的物体定位与识别任务根据标签的完整和精细程度可以划分为多种设置,如:弱监督设置和开集设置。弱监督设置缺少精细的物体级别的标签,而开集设置缺少完整的类别标签。近年来,基于有限标签的物体定位与识别任务取得了许多可观的进展,但该任务的方法在定位与识别性能上与使用完备标签的方法还有着一定的差距。为了缩小这一差距,提升有限标签设置下的物体定位与识别性能,本文从提升伪标签质量和改进训练引导模式两个方面,以基于弱监督设置的目标检测任务和基于开集设置的全景分割任务为例,针对基于有限标签的物体定位与识别任务展开研究。 本文的研究内容和创新点主要包含以下四个方面: 首先,在提升弱监督目标检测的伪标签质量方面,本文提出了一个基于类别特征存储机制的弱监督目标检测方法。现有的弱监督目标检测框架大多把多实例检测网络作为基础检测器,并利用其结果生成伪标签训练后续的自训练网络。然而,由于只有图像级别的标签作为监督,多实例检测网络倾向于寻找同类物体间最相似的特征,而忽略了类内多样性这一特点,即同类物体往往有着不同的形态(如:姿势、形状)。针对这一问题,本文首先提出类别特征存储模块用于收集和在线更新多样性信息。基于收集到的多样性信息,本文又提出了一个特征引导的样本挖掘模块,利用多样性信息寻找图像中潜在的更完整的物体,从而提升伪标签生成质量。所提方法能在不引入额外数据的情况下获取并利用类内多样性信息,并在多个检测数据集上取得了性能提升。 其次,在提升弱监督目标检测的伪标签质量方面,本文提出了一个基于前景信息引导的弱监督目标检测方法。相较于弱监督目标检测框架中所普遍使用的多分类任务,前景-背景二分类任务能够引导网络关注所有前景物体间的相似部分,并提升模型鉴别前景和背景特征的能力,因此对前者是个有效的补充。基于这一特性,本文首先将前景-背景二分类任务引入弱监督目标检测框架,并设计了一个前景信息引导的自训练模块。此模块结合多分类信息和前景信息定位出图像中更准确的种子正样本,从而生成更高质量的伪标签。同时,此模块还使用多种子训练的策略减少噪声伪标签对自训练网络训练所产生的影响。所提方法结合了多分类任务和前景-背景二分类任务各自的优点,提升了网络的特征表达和伪标签的质量,相较于现有算法实现了明显的性能提升。 第三,在改进弱监督目标检测的训练引导模式方面,本文提出了一个基于循环引导标注的弱监督目标检测方法。受限于图像级别的训练标注,多实例检测网络的定位准确度并不理想。相对而言,使用物体级别伪标签训练的自训练网络往往有着更好的检测性能。基于这一特点,本文首先基于自训练网络建立一个性能更佳的教师模型,并使用其检测结果对多实例检测网络进行基于排序分布的知识蒸馏,引导后者在相邻候选框间生成更合理的排序分布。通过这种方式,本文将弱监督目标检测框架中原有的单向引导拓展为循环引导模式,从而提升了其性能上限。大量的实验数据和可视化结果表明,所提方法能有效缓解原有弱监督检测方法中的多个典型问题,并在多个检测数据集上达到了领先性能。 最后,在提升开集全景分割的伪标签质量方面,本文提出了一个面向现实场景的开集全景分割方法。原有的开集全景分割基准设置偏离了现实场景,且在标注数据上存在一定的缺陷。针对这一问题,本文从数据集标注扩充、类别划分等方面对开集全景分割基准设置进行改进和完善,使其更贴合现实场景且更具挑战性。进一步地,本文针对开集全景分割任务的重要影响因素进行探究,并设计了一个二阶段开集全景分割框架。本文在该框架中使用了类别无关设置和半监督的训练策略,有效提升了未知类别物体的伪标签质量,使得开集全景分割模型能够有效定位出分布广、样本少的未知类别物体。本文的大量的实验数据表明,该方法在未知类别上实现了明显的性能提升,并同时有着不错的泛化性能。

关键词： 语义信息   语义链   相似帧   置信度   遮挡免疫  

摘要： 针对语义物体被遮挡而导致语义定位失效或存在多区域多位置定位位姿的问题,提出了一种在语义地图中免疫语义物体被遮挡的定位算法。首先,利用已经建立的二维语义地图生成语义链,当有障碍物遮挡语义物体时,对当前帧与构建语义地图时保存的关键帧进行基于词袋模型相似度匹配和关键帧语义链检验,确定正确相似帧;其次,进行帧间语义向量链加权求差值,根据差值确定被遮挡的语义物体类别;最后,根据当前帧包含的语义物体种类查语义地图的语义链来确定机器人所处的区域,并依据该区域的高置信度语义信息完成语义定位。通过在搭建的移动机器人平台进行定位实验验证,能快速和精确的进行重定位,相对AMCL算法迭代收敛速度提高了60%,证明本文所提算法的真实有效性。

关键词： 弱监督物体定位   多样鲁棒部件挖掘   前景激活图   对抗Transformer   任务感知Transformer  

摘要： 物体检测和定位是计算机视觉中的经典问题,也是计算机视觉的基本和重要组成部分之一。自20世纪70年代以来,该技术吸引了研究人员的极大热情。作为学术界和工业界关注的热点话题,物体定位使用了人工智能的核心技术,为人脸识别、智能监控、自动驾驶等高级应用提供了强有力的支持。物体定位旨在提取并识别出图像中感兴趣的目标,然而,现有方法大多都是基于全监督学习范式,即使用预先定义的物体类别和边界标注来训练模型。这种训练过程需要大量精细的数据标注,严重限制了物体定位技术的实际应用。为了减轻对边界标注的依赖,提升物体定位技术的拓展性和实用性,弱监督物体定位方法应运而生。与全监督物体定位方法不同,弱监督物体定位方法只需要粗糙的图片级别标注,能够显著降低对手工标注的依赖。为了解决弱监督物体定位领域中监督信息不足的问题,本文从提供区域级监督和像素级监督两个研究粒度出发,对弱监督物体定位技术进行了系统性研究:由仅有图像级标注信息,到引入区域级监督信息,再到引入像素级伪标签,最后引入了高质量像素级伪标签。在区域级监督研究中,现有方法存在非显著性区域定位差、定位性能提升带来分类性能下降的挑战;在像素级监督研究中,现有方法存在缺乏像素级语义标注、像素级伪标签具有歧义激活值的挑战。本文针对这些核心挑战进行了深入研究,主要的研究工作和创新点如下:·提出了一种基于多样鲁棒部件挖掘的弱监督物体定位算法。针对非显著性区域定位差的挑战,本算法设计了三个学习机制以建模多样鲁棒的物体部件,包括多样性、紧凑性和重要性学习机制。多样性机制鼓励模型关注多个显著性区域,以激活非显著性区域。紧凑性机制试图学习鲁棒的特征表示,从而获得更强大的部件检测器。重要性机制建模了物体部件的重要性,使得多个部件的分类和定位结果自适应融合得到最终结果。在两个数据集上的实验结果表明,所提算法能够激活非显著性区域,提升定位完整性。·提出了一种基于前景激活图的弱监督物体定位算法。针对定位性能提升带来分类性能下降的挑战,本算法提出联合优化物体定位及分类任务,并设计了两个核心模块以达到此目标,即物体感知注意力模块和部件感知注意力模块。与上述基于多样鲁棒部件挖掘的弱监督物体定位算法在获得定位性能提升的同时带来分类性能的下降不同,本算法所提出的物体感知注意力模块可以产生类别不可知的定位图实现物体的完整性定位,部件感知注意力模块可以选择最具有判别力的部件进行精准的物体分类,同时获得了较好的定位和分类性能。在两个数据集上的大量结果表明,本算法能够取得优于现有方法的定位及分类准确率。·提出了 一种基于对抗Transformer的弱监督物体定位算法。针对缺乏像素级语义标注的挑战,本算法使用自监督学习产生像素级别伪标签,并设计了两个核心模块,即物体Transformer和部件Transformer,以高效利用伪标签引导定位模型的学习。物体Transformer被设计用来为输入图像产生定位图,部件Transformer被设计用来识别定位图和伪标签之间的细微差异。二者以对抗的方式进行训练,以获得良好的定位模型。在两个标准数据集上的大量实验结果表明,所提算法能够明显提升物体定位的准确率。·提出了 一种基于任务感知Transformer的弱监督物体定位算法。针对歧义伪标签的挑战,本算法设计了三个核心模块,即表示编码器、定位解码器以及分类解码器。表示编码器通过建模上下文信息获得更鲁棒的特征,从而有效地表示物体的外观。定位解码器采用最优传输算法产生具有二进制激活值的像素级别伪标签,指导定位模型的学习。分类解码器使用类别感知原型实现类判别力特征的增强,从而实现精准的物体分类。在两个数据集上的实验结果表明,所提算法能够显著提升定位和分类结果。整体而言,本文从区域级监督及像素级监督两个研究粒度出发,对弱监督物体定位技术进行了系统性研究。从研究方法的角度出发,针对区域级监督中存在的非显著性区域定位差和定位性能提升带来分类性能下降的挑战,本文从采用多样鲁棒的物体部件建模,联合优化物体定位及分类任务的方向展开研究;针对像素级监督中存在的缺乏像素级语义标注、歧义伪标签的挑战,进一步研究自监督学习伪标签生成方法,以及最优传输算法以提高像素级伪标签精度。

关键词： 弱监督物体定位   类激活图   对抗训练   香农熵   潜在扩散模型   对比语言-图像预训练  

摘要： 深度学习在各个应用中都表现出令人印象深刻的性能。然而,它往往需要大量的注释数据才能够取得好成绩。虽然最新的智能标注工具的简化了获取自然图像类标签的过程,但获取用于对象定位的边界框注释仍然耗时且成本高昂。为了解决这一挑战,相关研究提出了弱监督物体定位（Weakly Supervised Object Localization,WSOL）方法,利用弱注释来训练模型。其中,一种常见的方法是生成类激活图（Class Activation Map,CAM）来定位对象。然而,这种方法的局限性在于它只能检测到物体的一部分,而不是整个物体。 针对CAM的局限性,目前已经提出了三类主要方法。第一类是删除的策略,即删除部分图像,迫使模型检测出物体的完整范围。然而,这种方法需要使用超参数来确定擦除哪些像素,从而导致信息丢失。第二类是发散激活法,即在模型中添加多个分支或模块来改善定位效果,但其代价是改变网络结构。最后,空间关系（相关性）方法则引入了相关性约束来扩大激活区域,但其却忽略了保留结构对象信息。本论介绍了旨在克服现有WSOL方法局限性并做出了如下贡献。 第一个贡献是本文提出了分层互补学习网络（Hierarchical Complementary Learn-ing Network,HCLNet）框架。HCLNet利用互补CAM（Complementary CAM,C-CAM）生成多个检测不同物体部分的地图。C-CAM作为一种注意力地图,会突出显示除最具辨别力部分之外的所有图像像素。这种方法不需要额外的超参数,可以避免大量信息丢失。为了在排除背景的同时检测到完整的物体,本文采用了两种融合策略,即加法策略和l1-norm策略,并将各种图谱结合起来。大量实验证明,HCLNet超越了基线水准,在分类和定位任务中都达到了最优性能。此外,消融实验结果还特别说明了C-CAM和融合策略对方法整体性能的显著提高。 第二个贡献是本文利用对抗训练来提高定位精度。在训练过程中,模型同时处理纯净图像（不添加扰动）和对抗图像（添加扰动）。对于每幅图像,模型都会生成一个突出物体特征的CAM。然后合并这些CAM,生成定位整个物体的最终图像。将对抗示例作为一种数据增强形式,可以有效地为模型增加正则化。因此,对抗模型能够在不移除图像任何部分的情况下检测出完整的物体范围,从而防止信息丢失。此外,该方法还避免了在网络主干上引入额外的模块,简化了实验过程。通过对ILSVRC和Open Images数据集的实验表明,使用对抗范例作为数据增强,可以提高分类和定位性能。 第三个贡献是本文引入了熵引导对抗（Entropy Guided Adversarial model,EGA）模型,该模型在对抗模型中增加了熵损失。具体来说,香农熵适用于对抗模型生成的CAM的每个像素。通过最小化熵损失,该模型可生成高可信度的图像,重点关注对象像素,并同时排除背景像素。对单个像素的限制来保证像素之间不会相互关联。这一策略解决了第三种方法的局限性,使边界框更加精细。通过对CUB-200-2011、ILSVRC和Open Images等最先进基准实验验证,EGA模型大大提高了分类和定位性能,而无需改变网络架构。此外,消融实验表明,对抗训练和熵损失都对算法性能的提高有显著贡献。 最后,本文提出了第四个贡献是提出了对抗性对比潜在扩散模型（Adversarial Contrastive Latent Diffusion Model,AC-LDM）。该模型将潜在扩散模型（Latent Dif-fusion Model,LDM）与对抗训练（Adversarial Latent Diffusion Model,A-LDM）相结合,增强了图像中的物体特征定位功能。此外,AC-LDM还采用了对抗性对比语言-图像预训练（Adversarial Contrastive Language-Image Pre-Training,A-CLIP）模型来提高对视觉概念的理解。该框架使用两个不同的攻击者,为同一张纯净图像生成不同的对抗示例。为了更好地理解数据集的分布,这些对抗示例会分别输入LDM模型和对比语言-图像预训练（Contrastive Language-Image Pre-Training,CLIP）模型。该模型分两个阶段进行微调,以提高嵌入学习能力和对各种扰动的鲁棒性。在推理过程中,使用其中一个攻击者训练的分类器被用来预测测试图像的标签,然后利用这些预测标签为测试图像生成相应的对抗示例,作为LDM和CLIP模型的输入。对于每张测试图像,LDM都会生成能突出图像中物体的注意力图。AC-LDM显著提高了WSOL性能,为注意力图提供了优秀的定位精度。

关键词： 自闭症   物体定位   认知训练  

摘要： 认知训练是指在特定领域内通过重复实践活动,导致目标领域内的认知和行为效率提高和改善的一种训练方式。使用认知训练方法可对认知领域,包括记忆、注意、抑制等方面进行针对训练,能够取得有效成果。认知研究是自闭症儿童发展研究中的重点内容之一,探究自闭症儿童的认知发展与教学、生活的有效连接也是一直努力的方向,因此本研究围绕认知与生活展开干预研究,选择认知训练法作为本研究的干预方式。基于多媒体技术在生活、教学中的重要性和便利性,研究选取了计算机技术作为载体,实施基于计算机的认知训练。对于研究内容的选取,物体定位是日常生活所需要的一项基本技能,需要明确目标物体及其所在位置,将物体信息和位置信息进行整合绑定,对儿童的信息整合、记忆能力和全面认识事物能力的形成和提升具有促进作用,而确定物体位置、认识物体信息也是特殊学校教育对学生的一项基本要求。基于此,本研究拟开发认知训练活动,集中于视觉和听觉领域,对自闭症谱系障碍儿童的物体定位技能进行干预研究,并探讨其维持和泛化能力。本研究选取了西安市某机构中的三名自闭症谱系障碍儿童,采用单一被试实验的跨被试多探测实验设计,对其在认知训练干预活动结束后的物体定位技能进行探测,记录物体定位任务完成准确率,以此来探究认知训练活动对自闭症儿童物体定位技能干预的有效性。基于研究内容和以往研究材料,研究者开发设计了认知训练活动以及用于干预结束后的物体定位技能探测的任务。通过视觉分析和Tau效应值的计算,研究结果发现认知训练对三名自闭症谱系障碍儿童的物体定位技能干预展现出了一定的有效性,具体表现为:(1)经过认知训练干预,三名被试独立完成物体定位任务的准确性得到了有效提升,干预效果较强。(2)认知训练干预结束后,三名被试均表现出较强的物体定位能力维持效应,能够将物体定位能力泛化到实际生活场景的物体归位中。(3)经过认知训练干预,三名被试所具备的与物体定位技能密切相关的位置记忆能力也得到了较高的干预和维持效应。

关键词： 物体检测   物体定位   时空先验   轨迹预测   计算机视觉  

摘要： 物体定位是计算机视觉领域中的一个重要研究方向,它构成了许多其他计算机视觉问题的基础,如实例分割,物体追踪等。同时,物体定位在许多应用场景中具有重要的作用,如智能交通、安防监控、医学影像分析等。时空域物体定位问题不仅包含在空间域内的物体定位,同样包含在时间域内的定位问题。其中典型的任务为物体轨迹追踪以及物体运动预测。物体轨迹追踪为给定一个时序信号序列,检测出其中的物体在该时间片段中的运动轨迹。物体运动预测即为对物体在未来一段时间内的运动轨迹进行预测。物体的检测与轨迹追踪,预测组合起来构成了对给定时空域内的物体的属性(类别)及运动的刻画。在实际应用中,物体定位面临着许多挑战,如背景复杂、遮挡和运动模糊等。针对这些问题,研究者们提出了许多不同的方法,如基于视觉注意力的方法、基于时空先验的方法等。其中,基于时空先验的方法是近年来越来越受到关注。该方法主要是利用物体在时间和空间上的先验知识,来提高物体检测和定位的准确性。例如,利用物体的边界位置信息,辅助确定物体的位置和大小,进而提高检测和定位的精度。以及利用物体在时间上的持续性和运动方向等信息,来进行更加精确的定位和跟踪。本文在通用定位任务:2D目标检测中,以及在特定定位任务:自动驾驶感知中,分别对如何利用时空先验来帮助物体定位进行了研究。对于通用的2D图像物体检测,本章(第二章)提出了基于条件注意力的2D物体检测模型。该方法从物体检测中的边界位置先验信息入手,探究了基于变换器的物体检测器DETR训练难度大,收敛时间过长的问题。由于变换器相较CNN而言,拥有全图大小的感受域,导致变换器的训练难度更大,严重的提高了训练成本。可以发现,DETR的解码器中的注意力机制倾向于去寻找物体的一个边界区域。同时,本章认为物体检测器需要收集物体边缘的特征信息来进行准确的物体框预测。于是,本章提出了条件DETR的模型,引入条件空间嵌入,来使得注意力机制能够显式地定位到物体的边缘区域,缩小物体的搜索范围,加速模型训练。通过大量实验分析,条件DETR相较DETR能够达到最高10倍的训练加速。在自动驾驶场景的联合3D感知与预测任务中,本章(第三章)提出了混合运动表征学习方法。由于自动驾驶场景的特殊性,本文采用激光雷达点云数据作为输入以获得更精确的物体位置信息。本章通过利用刚体整体运动与其中内部每个点的运动先验,探索了每个物体整体的运动状态(全局运动),与物体中每个雷达扫描点的运动状态(局部运动)之间的关系。研究发现,局部运动状态和全局运动状态包含的信息具有互补的特性,如局部运动不依赖于物体检测结果,但同时运动的噪声会较大;而全局运动状态重度依赖于物体检测,但同时物体的运动状态较为鲁棒,噪声较小。基于此,本章提出了用于联合3D感知与预测的混合运动表征学习框架,该框架将局部运动状态与全局运动状态通过变换器模型联系起来,以达到使局部运动预测和全局运动预测互相受益的效果。在搭建了车载的物体检测与定位系统后,本章意识到了车载感知系统的一些局限性,如遮挡。于是,本章继续对路侧的感知系统进行了研究,希望能够通过路侧感知系统来弥补车载感知系统的先天缺陷。本章(第四章)搭建了一个多摄像头的端到端物体感知系统。该系统具有物体检测,定位,追踪及运动预测的能力。在系统搭建中,本章通过对路侧摄像头视角偏移先验信息进行分析,提出了实时的视角偏移补偿模块。同时,本章也包含了对该系统的各个模块都进行的测试。测试结果表明,该系统能够实现较为精确的车辆检测定位,并且,感知系统延迟仅有40毫秒,基本可以达到实时检测的需求。与此同时,本章还基于路侧的感知系统,构建了一个下游应用:交通冲突检测系统。本章通过这个交通冲突检测系统构建了一套半自动化收集交通冲突事件的流程,并提出了一个交通冲突数据集。该数据集能够为交通安全相关研究人员提供关于交通冲突的研究数据,帮助他们对交通事故的成因进行研究。本文主要研究物体定位在实际应用中的需求,重点研究如何在不同的实际场景中去探索时空先验来提高检测和定位性能。本文分别对通用2D物体检测,以及两个具体的应用场景:车载物体感知和路侧感知中进行了研究,对推动物体检测与定位在场景理解,自动驾驶,智能交通,增强现实等领域的应用有着重要意义。

关键词： 深度学习   目标识别   实例分割   空间定位   智能抓取  

摘要： 针对智能机械臂在自然光环境的三维空间中对目标物体的自主识别率和定位精度低的问题,提出了一种基于深度学习的视觉和光学雷达融合定位算法,实现自然光线下空间物体的高精度快速定位。首先,采集RGB图像和深度数据,利用深度学习算法对图像进行目标识别与实例分割;然后,将实例分割目标物的二维深度矩阵转换成三维空间点云;最后,用综合修正算法对位置修正,实现对目标物体在三维空间的抓取位置精准定位。通过不同光照强度下的目标物体识别和定位实验验证了该算法的有效性和实用性,获取的目标物体的三维空间坐标较为精确,单位距离的定位误差在0.5%以内,受照明亮度影响较小,对机械臂智能抓取的研究具有较为重要的意义。

关键词： 非视域成像   二次相关法   时延估计  

摘要： 非视域成像技术是对无法直接观测到的物体进行间接观测的一种技术,本文使用激光光源照射中间介质,光经过中间介质进行多次反射,再使用APD(Avalanche Photon Diode)阵列接收回波信号,最后使用二次相关法进行时间延迟估计,计算回波信号的返回时间,完成对非视域物体的定位。实验表明,该方法可以快速定位非视域物体的位置,在噪声比较大的环境下,比直接使用互相关法定位更加准确。