关键词： 超大尺度差异   物体识别   YOLOv3   动态交并比   深度学习  

摘要： 近年来,深度学习在物体检测方面取得了非常好的效果和突飞猛进的发展,但在某些特殊场景下,如要求同时检测尺度相差极大的目标物体(相差大于100倍)时,现有的物体识别方法的性能急剧下降。针对同一场景下超大尺度差异物体识别与定位问题,对YOLOv3框架进行了改进,结合图像金字塔技术来提取图像的多尺度特征;并在训练过程中,针对不同尺度的目标提出采用动态交并比(IoU)的策略,此策略可以更好地解决样本不均衡的问题。实验结果表明,该模型对同一场景下超大超小物体的识别能力有了明显的提升。将之应用于机场环境,取得了较好的应用效果。

关键词： 霍普金斯大学   费舍尔   番茄酱   认知神经学  

摘要： 每天我们都会花大量时间扫视一些区域,寻找我们想要的东西,比如钥匙或者番茄酱。杰森•费舍尔(Jason Fischer)是约翰•霍普金斯大学的认知神经学家,他表示,研究这个过程“有助于了解大脑如何筛选我们通过眼睛看到的信息。”

关键词： 视口   视点   投影   堆栈   人机交互  

摘要： 基于物体可视化的需求,提出了在重建过程中模型的定位、投影、堆栈操作以及人机交互等问题的实现,主要用到了OpenGL中的相关函数,分析了各种函数的使用方法和实际意义,实验结果证明借助OpenGL函数可以完成物体的重建,效果较好。

关键词： 双目视觉   目标识别   三维重建   姿态估计   手眼标定  

摘要： 为解决目标识别精度低、定位与抓取配合困难问题,通过对算法的改进研究了物体的识别定位与抓取,包括识别目标物体、对于目标物体形心的位置三维重建、对于目标物体的姿态估计、对于手眼标定后的抓取4个方面。在目标识别中,首先通过快速鲁棒特征(speeded up robust features,SURF)算法结合Grabcut算法提取出目标。在位置求解中,利用模板匹配求取目标物体形心的世界坐标。在姿态估计中,算法的流程为:利用匹配点对求取左图中物体母线斜率,再随机取斜率等于左图母线斜率的两点,通过两点的世界坐标求出目标物体的姿态。在抓取中,采用的眼在手上,先建立工件坐标系,再进行坐标转换,通过机器人参数求得逆解。研究结果表明:误差均在较小范围内且机器人可在有效工作范围实现抓取。可见算法可靠以及整体实验的正确性。

关键词： 毫米波感知   无源定位   小型物体定位追踪   背景噪声  

摘要： 由于毫米波的敏感性极强,物体的微小移动也可以被毫米波所感知,体现为频谱变化,借助此优势提出了一种基于毫米波感知的小型无源物体定位追踪方法,可以实现对目标物体的高精度定位与追踪。与传统的有源物体定位追踪相比,在无源物体定位追踪中,由于目标物体无法主动发射信号且目标物体较小,因此,需要有效的机制区分、分离目标物体的反射信号和背景环境的反射信号,采用多种方法去除背景噪声和突发噪声,实现了良好的定位追踪效果。实验结果表明,所提方法可以追踪一支笔的运动轨迹,其平均误差为0.32 cm。

关键词： 焊缝定位   三维重建   点云分割   手眼标定  

摘要： 焊接机器人是工业中较为常用的机器人,它能够帮助人类从复杂的作业环境中解放出来,提高劳动生产率,缩短生产准备周期。在焊接生产过程中,焊接的精度受到前道工序工件加工精度,待焊接工件的摆放位置以及焊接形变等因素的影响,因此焊缝的定位是极其重要的一个环节。在焊缝的定位中,一般需要完成粗定位和精定位两次定位。焊缝粗定位是机器人进行三维感知的过程,通过感知环境确定物体的大致位置,为后续的视觉引导焊缝跟踪做好准备;焊缝的精定位则是使用图像确定焊缝的具体位置。三维重建和点云分割是焊缝粗定位中三维感知重要的技术组成,前者的精度会受到累积误差的影响,而后者常用的学习方法分割网络在点云的局部特征提取上受到不均匀采样,特征提取网络不够深等问题的影响。焊缝精定位中,目前已有的特定结构光平面视觉系统引导的焊接机器人的标定方法误差较大且存在标定时需要制作高精度的标定板。为了解决上述焊缝定位的问题,本文分别对焊缝粗定位中的三维重建、点云分割以及视觉引导精定位中机器人手眼标定进行研究,主要内容如下:1.针对稠密三维重建中累计误差带来的漂移问题,引入差异系数矫正的回环检测词袋模型进行轨迹校正,提升图像相似度计算的性能。另外,提出熵约束相机姿态选取关键帧的方法,使得相机运动越剧烈的帧更加容易选取为关键帧,从而提升回环检测的质量。2.设计了 一种点云实例分割的深度学习网络,使用resblock或denseblock的结构加深网络,在层次结构中反复聚合多尺度语义,并在网络的逆密度计算上,引入点云的数量来进行核密度函数的带宽选择。另外对同一局部点云的高维特征经过插值降维变换后和低维特征进行对齐函数的学习,使其具有相似性。通过公开数据集的部件分割以及语义场景分割的实验,验证所提出来的网络的分割精度有一定的提升。3.提出一种基于结构光平面的手眼标定方法,通过数学推导得到手眼标定矩阵的计算方法,且使用bagging的方法减小了误差。该方法无需定制高精度的标定物件,并在实际的工厂进行了焊接实验,验证了在使用bagging的方法的手眼标定能够将三轴误差确保在±0.2mm之内,提升了焊接的精度和焊接的品质。

关键词： 铁磁性物体   输电网络   有限元仿真   工频电磁异常   探测定位  

摘要： 近年来,随着世界经济的快速发展,各国经济及军事发展战略的焦点逐渐向海洋领域延伸,其中水下目标/物体的探测技术备受重视。目前,关于水下巡航器、沉船、海底金属矿物、洞库等水下铁磁性物体常见的探测技术途径有声呐探测、激光/雷达探测、地磁异常探测等。其中水下目标/物体的回波因消音技术的发展而与海背景噪声非常接近,故声呐探测手段面临着严峻的挑战;由于海水对高频电磁波具有屏蔽作用,所以激光/雷达等主动发射高频电磁波的探测方式对深水层物体的探测难度较大。世界各地均架设有规模各异的大型输电网络,可向周围空间辐射稳定的50Hz/60Hz的电磁场(波),且该频率的电磁波受海水等环境介质的衰减影响极小。因此,在探测定位水下铁磁性物体方面,工频电磁场(波)探测手段将发挥重要作用。本文首先从麦克斯韦方程等基本理论入手,分析了输变电网络工频电磁场(波)的产生机理、传播特性以及铁磁性物体导致时变背景电磁场发生异常畸变的规律属性,并通过仿真实例和外场试验揭示了水下铁磁性物体工频电磁探测的可行性。以华东-华中-华南-东北-蒙西地区的输电网络为电磁辐射源,水下巡航器为探测对象,海水和空气为传输介质建立了输电网络作用下的水下铁磁性物体电磁仿真计算模型。通过对上述仿真模型的求解,分析了不同地理位置、不同观测高度条件下的水下铁磁性物体导致的工频电磁异常仿真结果,并讨论了目标特性对仿真结果的影响。基于岛基探测平台,提出了三角定位方法;基于空基探测平台,改进了前人所提出的扫描交叉定位方法。仿真分析了电网谐波、电网相位变化、海浪以及水面舰船等探测过程中的干扰因素对探测的影响,并给出相应的干扰区分/抑制方法。最后,总结了全文并给出技术发展展望。

关键词： 物体检测   实例分割   关键点检测   置信度学习  

摘要： 物体检测与分割是计算机视觉的基础研究任务,也是很多重要应用的基础,例如:自动驾驶,人脸识别,安防监控。在物体检测与分割中,训练好的模型输出的每一个结果包括物体的类别、定位、以及一个置信度(概率)。该置信度在实际应用是判断物体检测分割结果可靠程度的一个重要依据,准确估计物体检测分割结果的置信度有助于提升相关应用系统的稳健性。然而,目前置信度的估计在物体检测和分割中还存在很多问题,例如,置信度和物体定位准确性不匹配、高度重叠的物体在非最大抑制过程中被部分高置信度的物体抑制,本文则针对这些问题提出相应的解决方法。1.针对置信度和物体定位准确性不匹配的问题,本文提出一种基于候选定位评分的置信度学习方法,其中候选即为模型输出结果。目前的置信度学习方法大多只考虑物体的类别信息而没有考虑物体的定位准确性(即物体的位置是否准确),导致置信度和物体定位准确性存在不匹配的问题。本文则将两者同时考虑,提出一个定位准确性评估模型,将物体的分类信息和定位准确性进行融合,矫正原有置信度,我们的方法可以很简单地加到现有算法框架中并且可以带来明显的精度提升。2.针对重叠很高的物体在非极大抑制(NMS)过程中被抑制的问题,本文提出了一种基于候选间定位相似性的置信度学习方法。现有方法在NMS过程中使用交并比(Io U)作为候选之间的相似度,这在物体重叠很高的情况下是不合理的。本文提出一种新的相似度度量方法,给每个候选一个表征特征,充分考虑物体间的位置关系,通过表征特征来学习候选间的相似性,来决定是否抑制候选的置信度。实验表明我们的方法可以在物体重叠很高的情况下,保留更多准确物体候选,提升物体检测的精度。本文以定位置信度学习为主线,主要解决定位置信度学习存在的两个问题,实验证明我们的提出的方法可以很好解决以上问题并且精度有了明显的提升。

关键词： 物体识别   拓扑匹配   地理配准   行人检测定位   跨视频行人检测  

摘要： 跨视频行人检测是计算机视觉领域的重要分支之一,该技术在监控视频系统日益普及的今天拥有巨大的发展前景和市场价值。现有系统主要通过提取目标特征参数,采用视频检索的方法,实现跨视频目标追踪,因此国内外相关学者的研究重点主要通过寻找优化的特征参数和检索方法达到更好的追踪效果。由于该方法并未解决对行人地理位置信息描述的问题,故无法获取目标行人的运动轨迹。本文主要对基于物体识别的地理配准技术以及跨视频行人追踪相关技术进行研究,通过应用示范,建立行人轨迹仿真系统,对行人实现地理信息定位。针对监控视频系统缺少地理位置信息的问题,本文提出一种基于物体识别的视频地理配准方法,获取视频监控区域的地理位置信息。针对实时视频流多视频行人追踪方法运算量大、复杂度高、应用能力弱的缺点,采用基于运动物体检测优化的快速人头识别的方法,提高行人定位速度,并获取行人地理位置信息。在多视频联动的监控场景下,行人地理位置信息作为先验数据,可应用于跨视频行人追踪。本文主要工作包括以下几点:(1)提出一种基于物体识别和空间地物拓扑匹配的视频地理配准方法:采用多种网络公开训练集结合3D模型图片的方式优化训练集,结合地物空间数据库,计算监控视频成像平面的控制点,进而实现视频地理信息配准。(2)提出一种视频人员检测定位和跨视频行人检测的方法:针对多视频联动系统数据量大的特点,设计满足实时性要求的行人检测和定位方法。结合行人地理位置信息,跨视频获取行人定位轨迹。(3)开发了基于视频流和三维地理场景虚实融合的跨视频行人检测原型系统:系统有视频接入、视频显示、监控回放和场景漫游等功能。开发了相关算法、技术对应的功能和模块,展示相关方法应用的效果。系统可实现对行人定位方法、行人检测方法以及跨视频行人检测方法的验证。

关键词： 位姿估计   视觉定位   运动规划   碰撞检测  

摘要： 在机械臂视觉分拣任务中,机器人的视觉定位和自主避障抓取是机械臂柔性作业的保障。为了满足复杂场景中机器人的自主定位和决策要求,本文详细探究了基于散乱堆叠场景中物体快速六自由度位姿估计及机械臂自主避障抓取技术。首先,本文基于弱关联点对特征投票的3D视觉定位技术,详细探讨了视觉定位过程中的平面分割技术、点云的快速搜索策略和点云法向量的鲁棒性估计策略,改进和优化了PPF方法中的若干关键技术细节。本文直接通过对原始点云进行处理,一方面增强了机器人感知能力,另一方面增强了该方法部署的柔性,使得该技术在CPU上运行可以达到实时性,克服了该方法对于工业中结构对称件及场景中大量相似结构存在的位姿估计问题。其次,本文详细探究了基于无监督学习的三维点云分割技术和基于分割驱动的三维视觉定位技术。通过引入图像超像素的概念,对三维场景采用了基于Local K-Means的超体素分割策略。采用基于VCCS算法的原理对点云进行超体素聚类,并对超体素生成的图进行基于凹凸性分割,降低了问题的复杂程度。通过对分割好的局部物体点云进行基于SAC-IA粗配准和ICP的精配准实现堆叠场景的物体位姿估计。本文通过分割来降低混乱堆叠场景视觉定位问题的复杂度,使得配准的精度大大提高。对实际生产具有重要的参考意义。再次,文本完成了UR机械臂的运动学建模,通过基于关节角度空间的采样技术和基于工作空间的碰撞检测技术完成了机械臂的避障运动规划。本文针对多种基于RRT快速随机采样的方法进行多组对比实验,通过引入贪心策略和启发式搜索策略,降低了算法的盲目性,提高了机械臂运动路径的合理性,对于实际生产过程中的机械臂柔性作业具有重要的参考意义。最后,本文通过设计多组对比实验,针对本文的视觉定位方法进行实验验证,验证了本文所采取视觉定位技术的优越性。实验表明本文所采用的方法易于扩展、方便部署、实时性好等优点,对于机械人柔性作业中的智能感知和自主定位抓取具有重要意义。