关键词： 室内融合定位   物体检测   地理拓扑匹配   行人航迹推算   视觉里程计  

摘要： 随着社会现代化的迅速发展,城市中的大规模人口密集型建筑在城市中愈来愈普及,室内的位置服务需求也大幅增长,其意义也非比寻常。尤其是每年发生的地震、火灾等对大型的人口密集型建筑影响巨大,精准的了解大型建筑物中的人员位置信息,则是应急抢险,制定救援方案的重中之重。同时,对于待救援人员开展自救活动,准确的了解自己在大型建筑物中的位置也是遇困人员是否能顺利脱困至关重要的反馈信息。因此,实现准确便利的室内定位也日益成为公共安全新的攻坚难题。目前的室内定位方案需要在建设初期部署大量的定位参考信标,且在应对复杂信道传输环境时缺乏鲁棒性。不同于传统室内定位方法,本文提出的定位方案是从地理信息辅助定位的思路来思考实现室内定位。室内环境中可用作辅助定位的信息十分丰富。随着移动终端计算能力的增强,通过利用移动终端采集数据以及语义提取技术,使得移动终端理解环境信息,从而完成辅助定位的思路逐渐可行。本文通过检测当前移动终端周围出现的物体种类,以及测量当前移动终端距离该物体的距离可以构建出物体间的拓扑关系,结合建筑物建造时生成的建筑信息模型得到地理信息,求解基于多物体关系的定位模型得到一个基于物体检测的定位,然后利用扩展卡尔曼滤波算法将视觉里程计或者行人航迹推算与基于物体检测的定位相融合得到一个较为精准的定位。本文主要内容及创新点包括以下几个方面:1.改进了目前的物体检测室内定位方法,通过引入建筑信息建模技术,提出了基于建筑信息建模的拓扑匹配方法,解决了现行的物体检测定位方法在数据源获取难、现实环境与电子地图匹配难的问题。2.提出了基于行人航迹推算与物体检测地理匹配的室内融合定位方法,解决了在基于物体检测和地理匹配定位方法在物体拓扑稀少时误差过大的情况。3.提出了基于视觉里程计与物体检测地理匹配的室内视觉融合定位算法,解决了在基于物体检测和地理匹配定位方法在物体拓扑稀少时误差过大的情况。未来,随着智能移动终端的算力愈发强大,对室内定位技术的要求也会越来越高,同时对于高精度室内定位技术的需求也会越来越多。通过多源信息融合定位将会进一步地辅助室内定位技术提升定位精确性、鲁棒性、可用性,使得室内定位技术可以让室内生活变得更为便捷,智能。

关键词： 光栅投影   误差补偿   标定   点云分割   点云匹配   位姿估计  

摘要： 近年来,数字光栅投影体廓测量术被广泛地应用在各种领域,诸如逆向工程、尺寸测量、口内扫描、缺陷检测、机器人导航等。同其他技术相比,光栅投影体廓测量术具有成本低、测量速度快、视场大和空间分辨率高等优势,因此受到市场的青睐。作为计算机视觉领域中的基础研究,三维目标物体的识别与定位技术有着大量的应用,诸如自动装配、生物特征分析及医疗、智能监控、遥感、机器人控制等。本文主要利用基于光栅投影三维测量技术获取场景点云数据,运用点云处理算法实现自然堆叠物体的识别与定位,详细研究工作总结如下:(1)基于光栅投影三维测量原理,对相对相位、绝对相位及高度的获取方法进行了阐述;在绝对相位获取方法中,对多种时域解相方法进行了对比研究;完成相位和高度映射数学模型的建立;构建了三维测量系统,用以获取场景点云数据。(2)分析了相位误差的来源,对投影仪gamma非线性引起的相位误差进行了数学分析;研究了被动误差补偿法,对误差补偿表的生成方法进行了改进,改进后的补偿表可将相位误差减小91.37%;研究了相机和投影仪标定的数学模型,在逆向相机模型的基础之上,提出了一种改进式的投影仪标定算法,自制圆点标定板,减少了标定过程中投影仪投射图案的数量,标定操作更加简单快速,标定后系统的绝对测量精度约为0.1mm,相对测量精度可达1:5860。(3)分析了直通滤波、体素栅格化滤波、统计滤波及半径滤波算法,去除了原始点云数据中的冗余点及离群点,并降低了点云的密度;简要分析了各种点云分割算法,阐述了欧式聚类分割算法的分割原理,针对现有分割算法无法实现对各种不同位姿吊环螺栓的完整分割,提出了一种改进式的欧式聚类分割算法,实现了各种自然摆放下吊环螺栓的完整分割。(4)设计了三维目标物体识别的算法流程,分析了各种点云表面特征描述及提取算法,选择了FPFH特征对关键点进行描述,对基于SAC-IA粗匹配算法和基于ICP精匹配算法的匹配原理进行了阐述,并利用该组合算法实现了自然堆叠目标零件的识别与定位,单个目标零件的识别时间约为1.5s。

关键词： 深度相机   Mask R-CNN   物体识别与定位   机械臂  

摘要： 物体识别与定位技术是机器人智能化的核心技术之一,也是如自动驾驶等智能控制技术的基础,如何让识别更加准确、测量更加精准始终是相关领域的研究热点。现有方法在测量速度、精度等因素上尚需进一步完善,其成功将提高警用机器人在疫情、暴恐、抢险等重大公共事件中的智能化程度,是释放警力,避免伤亡的有效方法。故本文对此方向进行探索,提出了自己的物体识别和定位思路,并进行了相关的实验验证,全文主要工作如下:首先,对RGB-D相机成像模型做出介绍。对RGB-D相机获取的深度信息进行滤波的不同方法进行比较,在分析其优缺点的基础上验证一种混合滤波的方法,在深度信息的滤波实验中取得了较好的效果。其次,研究介绍了卷积神经网络的发展历程和基础网络结构及工作原理。对卷积神经网络模型中比较有代表性的网络分别就其实现的核心原理、技术创新做了分析比较。制作了相关数据集,选择Mask R-CNN网络进行了物体识别的实验,对深度相机进行预处理后,完成了本文提出的物体空间定位算法的实验。最后,在Turtlebot2移动机器人平台上配备了机械臂、微软的Kinect V2相机和英特尔的SR300相机,两种型号的RGB-D深度相机根据各自的优势分别满足移动机器人平台的自定位和机械臂抓取定位需求。完成机器人的移动定位实验和机械臂抓取定位实验,进一步验证了本文提出的物体识别与定位算法的有效性和可靠性。本文提出了一种物体识别与空间定位的方法,首先通过Mask R-CNN网络实现目标物体的像素级分割识别,然后应用深度相机获取目标物体精确的深度信息,进而根据反投影函数得出该物体的三维空间位置。通过实验对定位精度进行了误差分析,证明了思路的可行性,通过在机器人上的应用实验进一步验证了该方法的有效性。为警用机器人的视觉感知和抓取定位及其它智能控制领域提供了可借鉴的方法,具有较好的应用价值。

关键词： 实例分割   特征融合   非极大值抑制   物体定位   深度学习  

摘要： 实例分割是计算机视觉领域的一项新兴的综合型任务,这一综合性任务同时涉及了图像分类、物体检测和语义分割三个子任务。实例分割是自动驾驶、三维重建等工作的底层任务,在工业界有很好的应用前景,受到众多学者和工业界人士的关注。近年来,伴随着深度学习的发展,实例分割从无到有,逐渐发展分化为两步式方法与一步式方法。当前实例分割普遍存在分割掩膜不精细、定位检测框无法包含完整物体等问题。本文针对上述的两个关键问题,基于经典的两步式实例分割算法,从多尺度特征融合、非极大值抑制算法着手研究。本文的主要工作如下:(1)提出一种基于多尺度特征融合的实例分割算法(Mask-Refined R-CNN),解决物体细节错误分类,分割掩膜不精细的问题。传统的两步式实例分割算法在分割头部网络采用了尺度不变的全卷积网络,忽略了不同尺度感受野之间空间信息的差异。网络无法考虑对象边缘像素之间的关系,这些像素将被错误分类。本文在实例分割框架Mask R-CNN的基础上,将原有的全卷积语义分割头部网络替换为可以融合高层和低层信息的特征金字塔结构,并对应调整了ROIAlign的输出大小,最后在特征金字塔上增加横向连接来平衡前向和后向传递的信息量,最终返回与输入图像相同分辨率大小的图像。Mask-Refined R-CNN能有效地提高分割精度,在对较大尺度实例进行预测时表现很好。(2)提出一种面向实例分割的合并非极大值抑制算法(Syncretic-NMS),解决物体检测边界框无法完整包含实例的问题。物体检测的评估标准要求边界框与真实值尽量接近,但是不强调包含物体的完整性,因此边界框通常不能完整包含物体,位于边界框外的部分无法在后续的语义分割中得到正确的预测结果。针对此问题,本文提出了合并非极大值抑制算法。算法在获取传统非极大值抑制算法返回的边界框后,对每一个边界框的相邻边界框进行关联判断,将相关性强的邻框与对应边界框合并,合并框的坐标为边界框和强相关邻框的坐标极值。通过分析关联要素的影响,给出了关联判断的准则。Syncretic-NMS的计算复杂度与传统NMS相同,易于实施,不需要额外的训练,可以简单地集成到现有的实例分割框架中。(3)将提出的基于多尺度特征融合的实例分割算法和合并非极大值抑制算法在MS COCO数据集和Cityscapes数据集上进行验证,并与当前主流实例分割算法进行对比。实验表明,Mask-Refined R-CNN能有效提高分割掩膜精细度,尤其对于图像中的较大物体,掩膜质量会显著提高。Syncretic-NMS能稳定地提高实例分割精度,且算法能较好地适应场景变化。(4)将本文的两种算法融合到一个实例分割框架下进行验证,并与当前主流实例分割算法进行对比。实验表明,基于多尺度特征融合与合并非极大值抑制的实例分割取得了最高的分割精度,不仅能较为完整地包含实例,还能精确地对边界框中的实例进行分割。

关键词： 机器视觉   点云处理   位姿估计   手眼标定   机械臂抓取  

摘要： 视觉辅助的机械臂自主抓取技术是当前自动化生产领域中的研究热点之一。当前应用较为广泛的视觉辅助抓取系统一般是利用二维图像对目标物体进行识别与定位;然而由于二维图像缺乏深度信息,使得此类抓取系统一般只能应用于品类较少、摆放位姿相对固定的结构化场景中。相对于二维平面图像,包含深度信息的三维图像则可以更加有效地描述场景物体的形状与空间位置,因此可以更好地适用于物体种类多样、摆放姿态未知等情况下的非结构化场景,有效提高自动化生产效率;本文以三维视觉下的物体识别与位姿估计问题为核心,研究了机械臂自主抓取系统中各项相关技术,主要工作和研究内容如下:(1)采集场景三维点云图像,并对原始图像中包含目标物体的感兴趣区域进行提取。首先,以Kinect相机为例分析了相机内参标定的过程与原理,然后对原始点云进行了直通滤波、体素降采样、剔除支撑平面以及滤除离群点等预处理操作,实现了优化点云质量、减少无关数据的作用,为后续计算步骤打好基础。(2)提出了一种基于PPF特征投票原理的改进位姿估计算法。首先,在点云预处理阶段提出了改进的点云降采样策略,既较好地保留了点云表面形状特征,又避免了引入大量相似表面点;其次,在线识别阶段中分别提出了场景点对随机投票、分阶段投票以及屏蔽场景符合点等改进措施,减少了识别阶段的计算量、加快了整体识别速度。最后,在公开数据集和实际场景中分别进行了识别与配准实验,验证了所提算法的高效性与准确性。(3)搭建了基于Baxter机器人的视觉抓取系统。利用Baxter机械臂、Kinect深度相机以及搭载Ubuntu系统的PC机搭建了机械臂视觉抓取系统的硬件部分;以ROS(机器人操作系统)、PCL(点云库)以及Move It为基础,设计并编写了包括物体识别与六自由度位姿估计、手眼标定、机械臂抓取姿态计算以及机械臂轨迹规划等功能在内的软件系统。

关键词： 服务机器人   定位   物体识别   物体抓取  

摘要： 随着人们生活质量不断提高,社会对机器人的需求不断增加,发展和研究服务机器人相关技术已经成为重要趋势,而室内环境下的定位精度和物体识别抓取能力是衡量服务机器人稳定、高效完成任务的关键技术指标,因此本文以室内家庭环境为应用背景,进行服务机器人的总体系统设计,同时对室内环境地图构建、机器人定位技术及基于深度相机的物体抓取技术进行研究。针对服务机器人的工作场景和任务需求,设计了机器人实验平台的总体系统。针对室内环境的特点,设计并完成了两轮差速移动平台和机械臂硬件平台的搭建,分析本文实验平台机构的特点,对控制系统方案进行确定,选取所需要的硬件模块,为了便于实现机器人的控制,对控制系统的通信协议和软件系统进行设计。本文对室内地图构建及定位技术进行研究,提出了改进的蒙特卡罗定位算法。为了实现机器人的控制,建立了机器人的运动学模型;为了给地图构建提供位姿信息,建立了里程计模型。依据机械臂的结构特点,对其运动学进行分析,为物体的抓取奠定基础。通过对目前两种主要的Hector SLAM和Gmapping算法进行实验对比,选取性能较好的建图方法。针对传统的蒙特卡洛定位算法存在粒子退化问题,通过在粒子归一化后的权重中加入优化因子,调整粒子权重,改善重采样粒子的多样性。通过机器人的位姿跟踪和全局定位仿真实验,验证本文提出算法的可行性。本文对基于深度相机的抓取技术进行研究。建立了系统中各坐标系间的关系,通过张正友标定法,实现深度相机的内参标定,依据相机的安装位置,获得手眼标定参数。提出了改进的ORB（Oriented FAST and Rotated BRIEF）算法的物体识别与定位方法,利用K-D树对ORB算法进行优化,实验结果表明优化后的算法进行特征匹配后,不仅可以减少特征点对的数量,同时提高了匹配准确率,并利用特征匹配的结果,计算获得目标物体的三维坐标,利用机械臂逆运动学获得各关节的旋转角,通过控制机械臂实现物体抓取。以上述的工作为基础,完成机器人实验平台的装配和调试,完成其性能测试,实验结果表明,本文设计的机器人满足要求。然后搭建真实室内场景,进行机器人的地图构建、定位实验,并在同一场景中,完成了物体的识别和抓取实验。实验结果表明,机器人在室内场景中,能够实现准确的定位和目标物体识别、抓取任务。

关键词： 物体定位   图像处理   机器视觉坐标   机器人坐标  

摘要： 对于智能机械手,确定目标物体的位置是完成抓取任务的必要条件,位姿误差的产生对于机械手在使用中的影响是巨大的,最突出的就是无法准确抓取物体。运用图像处理算法确定出静态物体的中心坐标、各顶点坐标以及工件长度和工件宽度等像素坐标尺寸,并进一步将其转换为机器人坐标。通过D-H矩阵法分析得出的像素坐标与机器人坐标之间的转换公式,计算出机械手的位姿误差,最终通过减小位姿误差实现机械手抓取的准确定位。

关键词： 物体位置   距离   空间观念   学生   六年级   苏教版   学会   比例尺  

摘要： 【教材简解】本节课是国标本苏教版六年级下册内容。学生之前已经学会了用量角器量角、根据比例尺算图上距离和实际距离,并且学会用东、南、西、北、东北、东南、西北、西南八个方位词来描述物体的大致方向,以及学会用数对来准确确定位置。教学根据方向和距离来确定物体的位置,通过教学,使学生能够从方向和距离两个方面描述物体具体的位置,进一步丰富学生描述物体位置的经验,感受知识之间的内在联系,发展学生的空间观念。

关键词： ROSSLAM   激光雷达   三维点云图像   Gmapping   物体定位  

摘要： 考虑到ROSSLAM构建的地图只能描述环境的二维信息,三维点云图像只能描述物体独立的三维信息等特点,本文融合了ROSSLAM的Gmapping算法构建的室内二维地图与物体的三维点云图像信息,提出了一种复合坐标定位系统。首先对不同室内进行分类,进行一维坐标的标定,其次通过对Gmapping算法构建好的地图等进行二三维坐标标定,再结合空间信息构成外部坐标系φ,最后通过对采集到的物体三维点云坐标进行仿射运算获得物体基于外部坐标三维坐标,结合一维坐标,对物体进行复合四维坐标定位。整个定位实验数据表明,物体室内的位置平均测量误差只有4.2cm,其定位精度比起常见的超声波与红外线定位系统提高6.7%,比基于蓝牙角度测量的定位系统定位精度提高20%,比超宽带定位系统提高72%。物体定位误差小,定位精准。

关键词： 机械臂   物体定位   OpenCV   计算机视觉  

摘要： 为协助机械臂完成一些高度危险或人力不可达的工作,提出了一种低成本设计方案,设计了一种利用视觉定位辅助机械臂捕捉目标的系统。该系统利用开源的OpenCV视觉库,实现目标物体的识别、定位、跟踪、捕捉。经测试,在实际对象可能存在的不同使用条件下,本系统的物体定位精度均能满足机械臂捕捉需求,具备抗干扰能力。