关键词： 三维边缘提取   点对特征   投票策略   位姿估计  

摘要： 针对工业环境中板型物体(如钢板),在基于投票策略的匹配算法基础上加入了边缘点对特征,提出了一种基于边缘点对特征的三维目标识别与定位方法,并利用该算法设计实现了一个钢板识别与定位系统,已成功应用于工业机器人自动钢板打磨项目中。另外,对匹配结果使用位姿聚类以及位姿验证与优化,进一步提高了算法的准确性和鲁棒性。根据系统在工作现场的运行统计结果得出,该方法不仅定位精度在项目容忍范围之内,而且满足项目对实时性的要求。

关键词： 机器人导航   Mask   R-CNN特征匹配   物体识别   双目视觉  

摘要： 为了让机器人能识别物体类别、探测物体形状、判断物体距离,提出一种基于Mask R-CNN模型的双目视觉的物体识别和定位方法。该方法利用Mask R-CNN处理双目图像,对每张图像进行物体识别和形状分割,然后利用神经网络特征对双目图像中的相同目标进行匹配。以物体形状为依据,使用最近点搜索算法估计视差并计算距离。实验结果表明,该方法能够以准实时的速度进行物体的识别和定位,与传统的依赖计算全局视差图的方法相比,在速度和精度上都有提高。

关键词： 物体定位   仓储系统   Arduino   任意位置   控制   技术  

摘要： 1.研究背景随着技术的发展,许多领域都在应用推动物体定位技术,比如仓储系统中就运用到了推动物体定位技术,但是仓储系统的物体定位只是基于一个固定的轨迹去对物体进行推动定位,它并不能将任意位置的物体推动到一个固定位置。目前,将任意位置的物体进行一个推动定位的技术还不够成熟。因此,我希望能在这方面做出研究来为推动任意位置的物体定位技术做出贡献。

关键词： 双目视觉   物体识别   语义地图构建   动态场景建图  

摘要： 近几年，机器人技术飞速发展，极大地满足了工业、商业、医疗等各个领域的应用需求，目前在物流自动化装配行业广泛应用，未来医疗机器人、家用机器人数量会爆发式增长。目前，机器学习与深度学习等人工智能技术飞速发展，开发智能化的机器人视觉系统成为了可能。利用深度卷积神经网络在机器视觉方面高超的语义理解能力以及点云分割融合等机器人三维视觉算法在三维环境中的识别能力，我们可以设计更加智能的机器人系统，实现更现代化的机器人应用。结合实际应用需求，本文解决的问题有，目标检测、目标定位以及语义地图构建，这些技术可以应用于机器人智能导航、智能抓取、人机互动、机器人生活辅助等场景。在研究上述问题的过程中，本文结合深度学习目标检测技术、SLAM地图构建技术以及点云处理三维视觉等技术来解决以上问题。本文解决的问题有以下几点。　　1、使用深度学习神经网络来对物体进行实时检测和识别。　　2、实时目标3D定位算法。　　3、基于语义SLAM地图的目标3D定位算法。　　4、动态场景下语义地图构建。　　本文使用三组实验来对上述算法进行验证。第一组实验，深度学习目标检测结合实时点云进行3D目标定位;第二组实验，深度学习目标检测与SLAM结合进行3D目标定位;第三组实验，在动态场景下进行语义地图构建。从实验结果看，本文所提出多种机器人识别、定位和地图构建算法具有较高的实时性和抗干扰性。

关键词： HoloLens   单目视觉   物体检测   物体定位  

摘要： 随着社会的发展,人需要处理记忆的事情越来越多。对于年轻人,也经常遇到过出门忘带东西,或找不见东西的情况。而对于老年人,如果忘记一些紧急药的放置位置,则可能会造成十分严重的后果。然而针对人脑的辅助设备却鲜有研究。针对这一问题,本文设计了基于HoloLens的物体位置跟踪记忆系统,该系统可自主帮助人记忆相关物体位置,在人需要找寻时只需说出找寻指令,如“帮我找到xxx”,HoloLens便会给予人指引帮助。本文的主要工作如下:1.在HoloLens平台上开发了基于深度学习的物体检测算法。通过对样本照片进行亮度、尺度、角度变化扩充了原始训练集,提高了识别精度,减少了训练所需照片数量,降低了对用户的打扰。2.针对包含成像坐标系信息的HoloLens照片,提出了一种特征点匹配的高效算法。本算法通过成像坐标系信息快速推导出两张照片的焦点坐标系的齐次变换矩阵后,以对极几何约束为判断依据,采用聚类算法滤除离异点。最后实验结果表明,本文提出的算法不仅满足需求,而且与RANSAC相比计算速度更快,对特征点的要求更少。3.开发了HoloLens下的线性三角形定位算法,用Bundle Adjustment方法优化了定位结果,分析了定位误差。推导了HoloLens相机的投影矩阵计算公式,并使用线性三角形法成功定位了特征点三维坐标。使用Bundle Adjustment算法优化定位结果,并进行了仿真验证。分析并推导了定位误差模型,分析表明,影响定位结果的主要因素是极线方向上的成像误差。4.开发了辅助老年人的生活物品识别、定位及位置记忆系统原型,完成了系统功能测试。

关键词： 域适应   目标检测   物体定位   深度神经网络  

摘要： 随着深度学习方法的发展与大量数据集的出现,人们在目标检测任务上取得了巨大的成功。然而,实验图像数据与实际应用场景图像数据在物体外表、背景环境、光照条件及图像质量等方面存在的差异,导致在实验训练数据(源域)得到的模型在实际应用的图像检测效果大幅下降,该现象被称为域漂移。解决域漂移最直接的方法是获得目标域的标签数据,然而标签的制作极为耗费人力与时间成本。而在没有目标域标签的情况下解决域漂移,称为域适应。目前针对域适应的主要研究方向有基于实例、基于映射、基于网络和基于对抗思想四种方向,然而这些方法普遍仅针对分类任务,对于目标检测任务的域适应方法,由于其在预测物体位置上有更高的要求,不能直接把分类任务的域适应方法应用到检测任务中,因其容易产生域适应效果不好以及网络的物体定位能力不足等问题。本文针对目标检测域适应的任务,提出了一个基于定位优化的无监督域适应目标检测框架。首先,本文针对单分支卷积神经网络在不同域上的表现不足的情况,提出了二分支卷积神经网络的结构,分别负责处理源域与目标域的数据,并引入了残差模块以进一步提升网络的域适应能力。其次,本文针对当前域适应检测框架的定位能力不足的情况,提出了伪标签的策略,使用网络预测结果制作伪标签边界框并筛选,同时通过定位优化损失函数使伪标签中的监督信息能够指导网络的学习,提升目标检测框架的物体定位能力。最后,本文在三个目标检测数据集上对本文提出方法的有效性进行验证。实验结果证明本文提出的方法的表现效果明显优于其他相关的域适应检测方法,并达到了目前最佳的水平,并且能够更加精准地对物体的位置进行定位。除此之外实验还验证了本文提出的两个创新性模块对网络效果的提升分别有良好的贡献。

关键词： 计算机视觉   物体追踪   DSP优化   N点透视   位姿估计  

摘要： 计算机视觉技术在无人机智能化发展中占有重要地位,无人机在飞行中可以利用视觉传感器检测并追踪运动物体,从而引导无人机跟随运动物体运动,在此过程中无人机同时可以完成基于视觉的自定位。本文重点研究了基于视觉的无人机运动物体引导和自定位技术,其中无人机运动物体引导技术包括基于DSP(digital signal processor)的运动物体检测和追踪技术,无人机自定位技术主要研究了基于单目相机的利用点和直线信息的视觉定位技术。本文主要工作如下:(1)本文研究了适合应用在DSP平台上的运动物体检测算法,在DSP平台上对混合高斯背景建模算法进行了实验验证,利用VLIB(Vision Library)函数库完成了连通域检测以及相邻连通域的合并,最后得到运动物体的质心坐标。(2)本文研究了计算速度较快且具有部分抗遮挡性的时空间上下文算法,在原算法的基础上使用卡尔曼滤波预测物体的运动轨迹,在判断原算法追踪失败时对追踪结果进行修正,从而可以克服干扰物对追踪物体的短时完全遮挡,通过帧间图像的直方图匹配修正原算法的尺度因子,通过计算归一化互相关系数自适应地调节原算法固定不变的模板更新速率,最终提高了算法的抗遮挡性和鲁棒性。从DSP的硬件和软件层面对算法进行了优化和加速,使算法在DSP平台上的运行速率从9.8fps提升到了32.5fps,最终达到了指标要求的30fps的运行速率。(3)本文对于视觉定位中的核心问题N点透视算法,提出了基于扩展正交迭代的快速加权的相机位姿估计算法,算法可以充分利用图像中的特征点和直线信息,并根据计算初值的深度信息和重投影误差对特征点和直线信息赋予不同的权值,通过使用克罗内克运算将算法每次迭代计算的时间复杂度从O(n)降低到了O(1)。实验表明算法将旋转矩阵和平移向量的计算误差分别降低了46.20%和45.24%,将计算时间减少了52.89%。(4)本文研究了基于点和直线的无人机视觉定位算法,算法利用图像中的点和直线信息,使用对极几何初始化无人机位姿,利用基于扩展正交迭代的快速加权的相机位姿估算法计算无人机位姿,以特征点和直线的重投影误差为目标函数对无人机位姿进行优化。实验结果显示本文所使用的视觉定位算法在无人机16m短距离起飞试验中的平均误差为0.2088m,运行帧率为20.02fps,在140m的长距离平稳飞行实验中平均误差为0.4263m,运行帧率为19.80fps。

关键词： 物体检测   物体定位   RGB-D   主梯度匹配算法   移动机器人搬运  

摘要： 对于移动机器人的物体检测与定位问题,本文基于RGB-D摄像头数据,改进了现有的目标检测算法,提升了算法的鲁棒性,并在移动机器人上进行了算法测试和机械臂抓取实验,验证了算法的性能。移动机器人在工业、国防、灾险搜查和救援等领域中往往会发挥很重要的作用。本文基于RGB-D数据设计的目标检测和定位算法主要包括两个部分:改进的基于主梯度方向的模板检测算法和基于三维点云的迭代最近点(Iterative Closest Point,ICP)定位算法。物体检测算法基于深度图像的分割图像,通过提取主梯度特征进行模板匹配,并通过局部特征区域算法,提高了算法对遮挡情况的鲁棒性。对于无纹理物体以及少量样本的场景中,模板匹配算法仍然具备较好的性能。匹配得到的特征匹配信息和深度数据可以通过ICP算法实时得到物体的位置信息。最后,移动机器人可以通过RGB-D数据得到的物体的位置信息,对指定物体进行抓取搬运操作。本文搭建了载有奥比中光的ORBBECAstraRGB-D摄像头和微软的RealSense SR300 RGB-D摄像头的Turtlebot2移动机器人平台。其中ORBBEC Astra系列的摄像头用于移动机器人的视觉导航,RealSense系列的摄像头用于物体的检测与定位。机械臂选用PhantomX Pincher Robot Arm,移动机器人能够通过串口通讯实现机械臂的轨迹规划。通过实验验证了本文提出的改进的物体检测算法的性能。整体移动机器人系统能够实现陌生场景下指定物体的识别和抓取操作,具有重要的应用价值。

关键词： 深度学习   目标检测   Faster RCNN   YOLO   SSD   棋子检测  

摘要： 准确快速的实现对弈系统中象棋的检测是本文的核心。传统图像处理算法因为处理流程长容易受到环境的影响,在复杂场景下检测效果比较差。光照条件、目标尺寸、方位等等都将影响检测算法的效果。因此传统算法对环境要求比较高,需要专业级设备来解决环境带来的影响。相较于传统图像处理方法,深度学习算法对光线、目标方位、图像质量要求比较低,并且能较好地适应各种复杂环境。本文基于深度学习算法对象棋目标进行检测。在该任务中存在目标较小、数据差异小、数据容易重复等问题。这些问题导致算法结构复杂、计算速度较慢。在实际对弈过程中必须保证能快速、正确的检测到所有的目标。因为棋子数据差异较小需要更多的差异化数据帮助神经网络学习棋子特征。针对上述问题,本文通过使用不同的优化方法优化神经网络算法和标注更多差异化数据以满足对弈系统对于精度和速度的要求。本论文搭建了对弈系统的硬件平台同时标注了目标数据集。实现了包括Faster RCNN、SSD、YOLO算法,使用不同的骨干网络实现以保证算法有较好的检测效果和较快的检测速度。通过使用OpenVINO、TensorRT对CPU和GPU优化,实现包括计算图结构优化、硬件设备优化和数值量化等方法加速模型推理。最终算法克服了传统视觉处理算法中对多目标识别较差以及容易受光线、目标尺寸影响的缺点,能实现在极端黑暗条件下检测、移动目标。算法最快能在5ms左右正确的检测出所有棋子的目标。最后在本平台下测试了对于常见物品的检测,通过测试表明该软硬件平台能适用于常见物体的抓取,在实际应用中有一定的价值。

关键词： 物流仓储   机器人拣选   三维重建   位姿估计  

摘要： 随着电子商业的高速发展,在物流仓储行业中,小零件货物的订单数量日益增多,但它们的拣选往往需要大量工人手动进行。因为每天进入仓库的新货物种类数目多,外形多样,并且仓库货架环境复杂,很难使用传统的自动化分拣流水线,人工拣选更为稳定和高效。但在人力成本升高和“机器人换人”的趋势下,使用机器人完成物流拣选任务成为了新的研究热点。一般情况下,机器人拣选首先需要在场景中识别出目标物体,并获取目标物体的六自由度位姿,最后控制机器人进行抓取。但由于仓库中货物流通速度快,拣选机器人的准备时间短,所以在物体识别与定位上主要有三个难点:需要在短时间内,获取新入库物体的形状、颜色等特征;需要在短时间内,自动生成并标注新物体的数据集,以便于训练物体检测算法;需要在复杂场景下,实现对多种物体的识别与位姿估计,并降低算法复杂度和训练时间。因此,本文提出了一种面向机器人拣选的物体特征信息获取与位姿估计方法,并搭建了机器人抓取系统,主要内容包含以下几个方面:1)针对快速获取新入库物体的特征信息问题,本文搭建了一套物体快速三维重建系统。该系统使用RGBD相机,通过二维码计算相机初始位姿,使用点云-模型的配准方法优化相机位姿,然后利用TSDF方法融合各帧点云,并泊松重建连续表面,最后形成物体的彩色三维模型。在实验中,该系统可以获得各种物体的完整三维模型,并且由于使用了GPU并行计算,可以进行实时稠密建模。2)针对以往物体数据集需要人工手动标注,耗费大量时间的问题,本文设计了基于OpenGL的模型渲染方法自动生成物体标注数据。通过将物体模型导入虚拟采样球,随机改变环境光线状态,并使用采样球表面的虚拟相机获取模型各视角图像。最后,随机设置物体模型图像位置和缩放尺度,并叠加随机背景,自动生成标注物体数据集。3)针对复杂环境下的物体识别和位姿估计问题,本文提出了使用深度学习物体识别网络与传统点对特征匹配方法相结合的位姿估计算法。它使用自动生成的数据集,训练物体识别网络,并根据识别结果分割目标物体周边的场景点云。在点对特征位姿估计上,先使用物体模型生成点对特征哈希表,并在分割的场景点云上采样点对特征,通过匹配模型点对特征和场景点对特征,投票估计目标物体的位姿结果。在位姿估计实验中,相较于传统的点对特征方法,本文方法在算法用时和位姿估计稳定性上都有较大优势。最后,本文还设计了物流仓库环境下的物体抓取实验,分析了物体识别率、重复抓取率和成功抓取率,不仅验证了本文方法的拣选效果,也说明了本文方法具有一定的实际应用价值。