关键词： RBG-D   遮挡堆叠   贝叶斯最近邻   主动识别   机器人抓取  

摘要： 随着RGB-D传感器和机器人技术的发展,基于立体视觉的服务机器人得到越来越多的应用。由于服务机器人所处实际环境中存在光照、遮挡、堆叠等大量不确定性因素,给机器人的视觉感知带来了不小的挑战。与传统计算机视觉不同,机器人视觉在识别物体的同时需要估计其6自由度位姿,为机器人后续的抓取等操作提供先验信息。另外,为了机器人与外界更好的交互,系统实时性也是需要重点考虑的因素之一。针对上述问题,利用机器人的可移动性,前人在研究各种单一视角识别算法的同时,提出了多视角主动识别,用以解决场景遮挡带来的问题。但是对于复杂堆叠环境,不同视角下能获取场景物体的表面信息仍然有限,而且实际应用中也往往存在着运动约束、可视约束等局限性。本文主要围绕智能机器人抓取任务,基于三维彩色点云,对遮挡、堆叠等复杂环境下如何有效识别与定位场景物体进行研究。考虑点云物体识别流程的精确性与实时性,本文设计了一种由粗到精的识别框架,在快速识别场景物体的同时,保证了物体识别和位姿计算精度。另外,在场景分割、物体识别的基础上,对输出结果进行分析与综合,通过遮挡检测与假设置信度分析,为机器人操作提供更高层次的场景信息。本文的主要研究内容如下:1.提出了一种简单快速的模型库建立方法。基于二维图像色彩纹理和三维点云几何结构定义了用于识别的广义特征向量,并对待抓取的物体各个视角进行了数据采集、特征提取与训练,构建了稀疏特征模型库。基于运动恢复结构(Structure From Motion或简称SFM)建立了每个物体的三维稠密模型,通过优化算法保证其视觉完备性。2.基于训练模型库和广义特征,提出了由粗到精(Coarse to Fine)的点云物体识别框架。采用自下而上的点云分割方法,在超体素聚类基础上,根据凹凸性与平滑性准则进行曲面合并,结合图割的思想完成场景分割。对朴素贝叶斯最近邻算法进行了改进,重写了广义特征向量,有效降低了识别算法的复杂度。在粗识别快速提供候选模型的基础上,精细识别则通过匹配点检测、几何一致性检验、模型到场景验证等多重手段,保证了物体识别与6自由度位姿计算的准确性。3.提出了高层次场景分析与主动识别的方法。基于距离图像和三维点云,给出了物体边界点的定义与分类准则,建立了场景物体之间的遮挡拓扑关系。根据场景识别流程与物体遮挡关系,从机器人抓取角度定义了物体置信度表示方法。结合场景分析信息,建立了低置信度点云的包围盒,利用机器人对环境的可操作性,对场景进行重新排布,改变物体摆放方式,进行再次识别,完成抓取任务。4.搭建了机器人识别系统的软、硬件环境,针对相关算法进行了仿真与实验。根据识别结果与三维稠密模型,基于ROS(Robot Operate System)环境的Gazebo工具包,对场景进行重构。在权威数据集和实际环境中进行了测试,实现了机器人对复杂环境物体的灵活抓取。综上,针对智能机器人抓取任务,本文提出一种结合视觉感知,机器人操作和环境信息的主动识别方法。该系统在没有人为干预的前提下,能够有效处理复杂场景,为物体抓取提供更加准确而丰富的信息。本文设计的机器人抓取系统不仅具备基本的感知能力,还具备部分高层次的环境认知能力,可以有效提高系统的灵活性与稳定性。

关键词： 卷积神经网络   物体识别   双目图像特征点匹配算法   双目视觉定位  

摘要： 随着工业自动化水平的提高和计算机视觉的进步,近年来,基于双目视觉的物体识别与定位成为人工智能领域人们研究的一个热门问题。物体识别与定位在众多领域有着广阔的应用前景和非常巨大的应用价值。此项技术可以应用于智能辅助驾驶技术、无人机、工业机器人、服务机器人、军事侦察、仿生机器人和星球探测车等领域。本文采用卷积神经网络和双目视觉相结合的方法实现物体识别与定位,论文将围绕双目视觉原理、物体识别算法、图像特征点匹配算法以及它们的改进算法进行理论研究。在现有的物体识别与定位技术中物体识别算法采用基于人工设计特征和机器学习相结合的方式,这种方法存在识别物体单一和识别准确率低等缺点,本文提出双目视觉结合卷积神经网络的方法实现物体识别与定位。该方法具有可扩展性,可以根据项目需求训练自己的数据。本文采用SSD和YOLO卷积神经网络模型,SSD网络具有检测帧率高和识别准确度高等优点。YOLO网络不依赖任何深度学习框架,检测帧率可以达到实时,因此,可以很好的迁移到嵌入式平台。实验结果表明,本文设计物体识别与定位系统具有识别精度高、识别物体种类多和物体定位精度高等优点。在实际应用过程中,双目图像之间不存在旋转和尺度变化。传统的特征点匹配算法采用图像金字塔结构、主方向计算和角点特征检测的方式,因此,算法存在计算量大和微纹理的目标检测特征点过少等问题,针对这些问题,本文提出基于边缘特征点匹配算法C-SURF,根据物体都具有边缘特征的特点,采用Canny边缘检测算法实现特征点提取。根据双目图像之间不存在旋转和尺度变化,改进SURF特征点描述算法提高算法效率。提出了多特征点融合匹配算法(Multi-feature Point Fusion Matching:MPFM),在边缘特征点基础上增加角点特征,使得特征点分布均匀,从而增加目标局部位置信息,改善了特征点分布不均匀的问题。实验结果表明,这两种改进算法很好的改善了微纹理的物体检测特征点过少、算法耗时和目标特征点分布不均等问题。实验结果表明本文设计物体识别与定位的技术思路是合理可行的,本文设计的物体识别与定位系统具有一定准确性和稳定性,该系统分别在电脑和嵌入平台上编程实现。所提出的双目图像特征点匹配算法,具有一定的理论和应用价值。

关键词： 物体定位   图像处理   边缘检测   轮廓提取   二值处理  

摘要： 本文拟研究基于图像处理静态物体定位算法,并用实际图片验证定位算法效果,通过VS2017编程工具和OpenCV开源计算机视觉库来实现,针对实际环境下拍摄图片,运用图像预处理、 二值处理、 边缘检测和轮廓提取等技术,确定出静态物体中心坐标、 工件长度和工件宽度,以便实现后续过程中机械手准确抓取.

关键词： 机器人   Kinect   图像识别   物体定位   路径规划  

摘要： 目前,机器人正从各个方面渗入到人们的日常生活、工作、学习中,在所有机器人中,需求最广泛的当属服务机器人。本文依托机器人平台,围绕机器人的视觉,以识别目标物体（水杯）为目的,从图像方面展开研究。本文首先对课题的研究背景及意义进行阐述,结合国内外研究现状对图像的采集处理所涉及的相关技术进行分析,指出课题研究的内容,并给出文章的结构框架。然后进行图像采集处理平台的总体方案设计,提出了利用Kinect与计算机作为图像处理采集的方案。对于目标物体（水杯）,进行图像数据特征分析,指出其识别方法:YOLO卷积神经网络。深入研究神经网络的基本单位神经元,神经网络的传输方式,以及激活函数sigmoid、tanh、ReLU。设计YOLO神经网络模型,详细分析其关键技术:卷积层、池化层、全连接层,对卷积层的局部感知、权值共享做详细研究。在水杯识别的基础上,从语义分割、边缘检测两方面对目标物体（水杯）进行研究,通过目标物体（水杯）四个边的像素,进而求出其中心点像素坐标;由Kinect传感器的深度图像,求出目标物体（水杯）与机器人之间的距离,结合底层惯性导航输出的航向角,将目标物体（水杯）相对于机器人的位置坐标解算出来,为路径规划提供位置信息。接着,在目标物体（水杯）相对机器人的位置基础上,从设置预估函数系数、open表更新方式以及closed列表管理方式方面对A*算法进行改进,并对改进算法进行实验仿真,验证算法的性能,进而为机器人提供算法支持,使其能够规划出合理路径,在所处的环境中无碰撞的移动到目标物体（水杯）所在位置。最后,通过LabVIEW设计基于Kinect的机器人图像采集处理系统,并完成系统的测试。

关键词： 物体定位   特征点匹配   机器学习   霍夫变换   可变形部件模型   最大稳定极值区域  

摘要： 物体定位指的是在给定的图像中找到特定某种物体的确切位置,图像中可能存在一个或多个物体,也可能不存在目标物体。在一些复杂场景下,由于背景复杂、光照不均、部分遮挡、物体形变等影响,使得物体定位存在一定的难度和挑战。在特定的复杂场景下,往往采用特定的物体定位方法效果要优于通用的定位方法。物体定位在遥感图像、医学图像、工业视觉等领域都有着广泛的应用。本文结合物体定位方法的理论研究,深入分析研究了三种典型的复杂场景:1)工业生产中罐装瓶身的标贴定位;2)手机拍摄图像中的条码定位;3)包装行业中的箱内油瓶定位。针对这三种场景,本文提出的方法如下:1、立足于图像匹配的物体定位方法,提出一种基于特征点匹配的标贴定位方法,在给出目标标贴位置的同时,也可以剔除不符合包装质量的漏标、错标、歪标,同时为后续瑕疵检测等步骤提供了便利。并通过实验证明了此方法在复杂的图像背景中,包括复杂背景干扰、光照不均、部分过曝等情况,依然有很高的检测准确率以及检测效率,完全能够达到实时检测的要求。2、结合物体分类方法,提出一种基于机器学习和霍夫变换的条码定位方法。实验证明此方法对各个旋转角度的条码以及扭曲、光照不均、部分遮挡等情况都具有良好的检测效果,同时在检测时无需任何先验信息以及人为标注;并且能够检测出条码的准确的包围盒,为接下来的解码操作提供准确的条码区域,减小解码时搜索的区域和花费,提高解码的精度。3、结合图像分割和物体检测的思想,提出一种基于可变形部件(DPM)模型的箱内油瓶定位方法。此方法通过使用最大稳定极值区域(MSER)算法准确分割出物体区域,避免了滑动窗口法的穷举搜索和多层图像金字塔的构建,极大地提高了算法的检测效率;同时通过对分割出的物体的旋转克服了可变形部件模型对旋转物体识别率不高的问题。通过实验证明了此算法在检测准确率和检测效率上都能够达到工业生产的需求。

关键词： 物体检测   位姿估计   深度网络   点云配准   机械臂辅助  

摘要： 物流仓库全自动化是电商零售行业进一步扩张的必然要求,能够有效解决零售仓库配送效率低,人力成本高,工作强度高等问题。目前订单履行中心的绝大多数业务已实现自动化,但货架商品的分拣作业仍占用了大量人力。利用机器人实现货物识别定位的分拣算法依然不够成熟,真正能够在仓库货架中投入应用产品极少,分拣自动化被认为是电商全自动化的最后一公里问题。随着电商行业的蓬勃发展,对于高效率,高质量的全自动仓库要求越来越高,迫切要求更好地解决大量货架商品的识别定位问题。本课题基于开源的ROS操作系统,深度学习框架Caffe和点云库PCL进行货架环境下货物的视觉检测与位姿估计研究,结合Jaco机械臂实现多角度检测定位,构建基于视觉传感器和机械臂的货架商品检测定位系统。考虑到仓库货架商品数量巨大,货架环境复杂,光线较差,利用深度学习算法SSD作为基础网络,借鉴Faster RCNN和YOLO9000网络算法思想,提出并实现SSD模型中预选框的优化,并利用优化模型实现更精确的位置回归,实现对货架环境的目标检测算法的进一步提高。针对货架商品的位姿估计,利用视觉测量领域主流方法实现深度传感器Xtion的外参和内参的标定,提出了结合半径近邻搜索算法,粒子滤波算法和点云配准算法的新一类位姿估计方法。为解决货架物品定位中局部视角和点云稀少问题,使用机械臂辅助移动深度传感器,实现多角度特征和点云的提取。机械臂的运动控制中使用DH法进行正运动学建模,使用牛顿迭代法求解逆运动学数值解。本课题以ROS为核心搭建货架环境下物体检测定位的算法框架,利用Jaco机械臂辅助进行货架商品的检测定位实验,成功检测并定位到模拟货架中目标商品,获得较满意的效果,完成了课题既定要求,验证了所提出的目标检测和定位方法在货架环境下的有效性和可行性。

关键词： 物体识别   卷积神经网络   立体视觉   物体定位   服务机器人  

摘要： 智能服务机器人已经走进了普通民众的生活,并将在未来扮演越来越重要的角色。在工作过程中,机器人将会面临多种多样的物体定位和识别挑战,开发实用的视觉算法和技术是服务机器人研究领域的核心研究方向之一。本文针对智能服务机器人需要完成的典型任务,提出了一套基于深度卷积神经网络的物体分类器,和一套基于多三维摄像头的物体定位与识别系统。本文主要做出了如下创新:服务机器人需要从很少量的训练数据中训练识别分类器。传统的基于手工构建的特征的方法鲁棒性不强;而在小数据集上从头训练深度卷积神经网络会发生严重的过拟合现象。为将深度学习应用在服务机器人系统中,本文结合了迁移学习和数据增强的方法,并采用了学习率规划,成功使用少量数据训练了较大规模的神经网络分类器。该分类器具有一定的鲁棒性,可以在变化的环境中工作,并在机器人上实时运行。为获得待识别物体的图片,本文还利用了三维摄像头提供的点云信息对物体图像进行了有效的自动分割。实验中,分类器的精度超过了之前的分类器。三维摄像头可以提供比二维相机更丰富的视觉信息,其中很多对于服务机器人的物体操作过程十分有用,但是在小尺度下获得物体精确而完整的三维结构并不容易。本文使用了多个预先校准好变换关系的三维摄像头从不同角度对物体进行观测,获得了较为精确和完整的物体点云。从点云出发,实现了精度较高的物体定位和特征提取。随后搭建了实验平台对定位和识别结果进行了验证实验。通过系统分析实验结果,说明了本文的方法可以在一定程度上补偿三维摄像头的系统误差。实验中机械臂对各种物体进行了成功的操作,表明此方法的精度可以满足服务机器人的要求。

关键词： 三维视觉   PCL   VFH特征描述子   识别与定位   仓采  

摘要： 随着计算机技术和机器视觉技术的发展,基于视觉系统的机器人正成为人们研究的热点。相较于传统的机器人,拥有视觉系统的机器人具备识别特定物体的能力。目前,许多配备有视觉传感器的工业机器人都能够识别出指定目标物并对其进行定位。但是,高精度的视觉传感器价格普遍较昂贵,无形中增加了生产成本,并不利于企业普及应用。此外,传统的物体识别与定位技术研究主要集中于二维领域。由于缺失了物体在高度(深度)方向上的信息,因此并不能很精准的描述物体的形状和姿态。因此,开发一套基于廉价Kinect视觉传感器的三维物体识别与定位系统有非常大的实用价值。本文以ABB IRB1200机器人以及Kinect视觉传感器为实验平台并结合点云库PCL(Point Cloud Library)和Qt-designer设计了物体识别软件和三维物体识别与定位系统。首先,本文介绍了三维物体识别与定位系统的整体研究方案,然后对研究方案中所用到的软硬件工具进行了介绍。接着对三维点云处理的常用关键技术做了阐述并介绍了Kinect的成像原理和结合PCL使用获取实时点云的方法。然后,介绍了基于全局特征描述子的物体识别和基于局部特征描述子的物体识别的区别及各自的优势。接下来,介绍了基于VFH全局特征描述子的物体识别模型库的构建过程,并阐述了物体识别匹配的原理和流程。在解决了识别的问题之后,介绍了物体的定位方法。物体定位包含两层含义:物体位置确定和物体姿态确定。关于物体位置,可以采用计算物体重心来代替物体的位置坐标。但是这种方法精度不足,本文采用自定义抓取点的方法解决物体位置问题。物体的姿态信息是物体抓取成功的决定因素,本文通过构建物体姿态矩阵模型库结合ICP校准的方法确定物体的姿态信息。最后,介绍了 ABB机器人IRB1200与IRC5C控制柜以及电动夹具与下位机Arduino、步进电机电机驱动器等的硬件连接。并利用设计的识别软件对机器人进行抓取实验测试和实验结果可视化处理。最后,对实验测试结果进行分析并总结本文的研究成果。

关键词： 三维重构   点云配准   三维物体识别   特征匹配   位姿配准  

摘要： 随着老龄化社会问题的加剧,家庭服务机器迎来了更广阔的应用前景。复杂环境下对常见物体的抓取是服务机器人不可或缺的功能,物体识别定位技术是服务机器人完成抓取任务的先决条件,物体完整三维模型是位姿计算过程重要的先验知识。本课题旨在设计一种方便用户操作的物体重构方法和复杂环境下物体识别定位的方案,从视觉系统搭建,数据预处理流程、物体模型重构技术、复杂场景下物体识别定位技术等方面展开研究。首先,采用点云数据作为环境感知的载体,搭建了Kinect点云数据采集及处理系统。根据相机成像过程,构建了测量坐标系与摄像机线性及非线性模型,采用张正友标定法求解相机内外参数矩阵并计算彩色相机与深度相机位置变换关系,最终完成了点云实时采集系统的搭建。其次,针对从环境中精准分离目标物体的应用要求,研究点云预处理算法。根据Kinect拍摄过程中产生的噪声类型,提出多重滤波算法,利用统计分析法去除点云边缘噪声,采用主成分分析法提取点云表面法线及曲率,利用改进的双边滤波算法平滑点云表面小噪声。再通过随机采样一致性算法去除支撑平面点云,并采用平滑度欧氏距离聚类法进行点云聚类,从而达到目标与环境分离的目的。再次,对三维重构技术进行研究。对传统RANSAC预拼接算法提出改进,采用3DSIFT算法检测关键点,并利用局部FPFH特征进行匹配,避免预匹配过程中的重复计算,增强拼接算法鲁棒性。采用基于邻域特征的ICP算法完成点云的精准拼接,通过曲率分析方法减少传统算法错配概率,防止了匹配陷入局部最小值或得到错误结果。通过实验验证了本文算法相较于传统算法具有更高的精度、可靠性及运算效率。最终通过两两配准的方式对多视角点云片段进行拼接,还原被测物体完整的几何外形。最后,对物体识别定位算法进行研究。针对KNN算法时间复杂度较高、无关维度影响识别精度等问题,采用聚类划分及计算各维度权值的方法减少运算量并增加识别精度。根据局部特征及全局特征的不同优势,提出了全局特征及局部特征相融合的识别定位算法。在离线阶段,构建物体坐标系,并提取模型多视角CVFH全局特征和SHOT局部特征。在线阶段,利用全局特征识别点云片段种类,并仅提取有效点云片段的局部特征,减少无效特征计算。通过将带坐标系的物体模型和有效点云片段进行局部特征匹配,获得点云片段和模型之间的六自由度位姿变换矩阵,完成物体的识别定位过程。

关键词： 物体几何特征   水下主动电场定位   探测信号死区范围   信号频率转折点  

摘要： 随着人类社会的发展,仿生学已经不是一个仅仅停留在理论研究上的全新概念了。人类通过研究、模仿我们周围自然环境中的一些生物学现象而发明出大量促进人类经济社会发展的科技产品。基于水下主动电场的探测技术就是模仿于一种深海中的弱电鱼,该种弱电鱼通过自身的放电组织建立一个探测电场,当有物体处于该探测电场中时,电场信息会由于物体的干扰而发生畸变。然后弱电鱼感知到这电场的微弱变化并将变化的电场信息传输到大脑进行信号的处理,最终实现对其周围环境中物体的定位及识别目的。本文研究的重点是水下目标物体的外在几何特征对主动电场探测信号的影响。首先,我们模拟弱电鱼的感知机制搭建一个基于水下主动电场探测的实验平台。在这一实验平台上,我们采用对目标物体进行多方位频率扫描的方式来进行实验探测,以获取物体外在不同几何特征对电场影响的畸变电场信息。实验探测中,我们通过设计多种不同材料、不同几何形状的目标物体进行大量的频率扫描实验,最终总结出物体外在不同方位几何特征对探测电场影响的一般性规律。本文通过实验研究得出的一些主要结论如下:1.探测装置中感应电极接收到畸变电场信号,将该信号进行快速傅里叶变换之后得到的信号幅值变化趋势可以看出物体几何特征对探测电场信号的影响。2.通过对多种不同材料、不同几何形状的金属物体进行多方位的频率扫描实验,我们发现从物体的不同方位探测得到的信号幅值变化趋势不同,我们可以用探测信号死区范围和信号转折频率来表征物体特定方位上的几何特征对探测信号的影响。3.综合探测电场信息数据及信息采集方位绘制在同一坐标系中,我们连接特定的数据点就可以反映物体外在不同方位的几何特征跟探测电场信息频率之间的规律。最后,我们通过对目标物体所在区域的电场特性及定位算法的工作原理进行分析,进而对水下目标物体的定位算法进行优化以提升其定位的性能。