关键词： STC89C52   卫星定位   测速检测   ATGM332D  

摘要： 本文为提高本科生科技创新能力和项目实践能力,研究设计一种移动物体定位检测电路,硬件部分以STC89C52单片机为控制器,在控制器端口连接中科微电子的北斗卫星定位模块ATGM332D、温湿度传感器模块DHT11、液晶屏显示模块LCD1602;结果所学C语言基础,结合卫星定位及测速算法,利用KeiL5软件编译调试好所设计程序,实现了对移动物体经纬度、速度、时间等数据的检测,并在LCD显示屏上显示了出来。

关键词： 3D视觉识别   机器人   混合垛型   物体定位   拆垛算法  

摘要： 在工业制造和物流领域,通过机器人实现物料的拆垛是常见的应用之一,物料拆垛时存在将不同品规的货物(即不同尺寸、重量或纹理的商品)装在托盘上进行交付的场景。早期的机器人拆垛只适用于单一货物的卸载,且要求货物按照固定顺序排列,机器人并不具备感知能力;本文所述基于视觉引导的机器人拆垛系统,具备实时的环境感知能力以引导抓取动作,从而解决多品规物料拆垛系统的待卸载物体尺寸多变、码放不规整等问题。

关键词： 计算机视觉   三维点云   点云分割   神经网络  

摘要： 三维视觉是近几年迅速发展的一个方向,已经成为了计算机视觉领域研究的一大热点。近些年研制出的各种三维视觉传感器对自动驾驶,工业监测,虚拟现实和目标抓取等各个领域的研究与工程起到了推动作用。三维视觉数据相比平面图像包含着更丰富的信息,在将其中包含的信息应用到实际场景中之前,首先要让计算机理解三维场景。点云分割是对点云进行理解的一种常见形式,对于实现目标物体抓取,点云空间避障,路径规划,AR现实等后续研究都有着很重要的意义。然而由于点云数据的复杂性,无序性和大数据量等特性使得点云分割过程中存在着较多难点。点云场景数据量大,冗余度很高,实际有利用价值的目标物体信息量很小,在存储和计算上需要占用大量的资源,导致场景分割计算时间过长。此外点云场景中不同物体的比例不均衡,网络训练难度大,很多小型目标经常被忽视。针对以上问题,本文借助了发展时间更长,更成熟的2D图像分割技术,以点云处理和基于神经网络的方法,设计提出了一个室内场景目标物体的定位分割系统。RGBD相机并不能直接获取三维彩色点云数据,而是从深度图与RGB图像构建得到。为了解决小型物体检测效果不好的情况,本文首先利用运行速度快,对小型目标检测效果好的YOLOv5 网络,在彩色图片上框选出小型目标物体的候选区域。并将框选区域映射到三维空间当中,增强图像与点云之间的关联性,后续小型物体的分割将会单独在这些经过处理后的候选区域中进行。为了将点云区域中的目标物体与背景分离开,本文设计了两个点云分割系统,分别使用传统方法与深度学习方法对点云进行分割,进行对比。传统方法使用RANSAC拟合方法和一种加入颜色的区域生长方法,去除掉非目标点云的影响;另一种方法设计了一个神经网络,将目标物体与背景分离。该网络以PointNet网络为基础网络,进行了多处优化改进。在网络模型方面改进主要体现在以下几点:其一:为了更好的提取特征,在对全局特征进行提取时使用了一个自编码器网络来取代原方法中的全局池化,更好的编码全局特征。其二:针对本文特有的网络设计了独有的损失函数,保证了类别数据的训练平衡。其三:增加注意力模块来增强网络的特征提取能力。使用该网络在ShapeNet数据集上进行分类得到了比原始网络更好的分割精度。为了比较两种分割方法的表现,在RGB-D Scenes数据集上进行不同检测难度下结果的分析,测试验证其可行性与稳定性,确定使用深度学习的分割方法用于本文系统小型点云的分割。对于分割后的目标物体,本文使用主成分分析法计算方向包围框对其定位表示。最后在RGB-D Scenes数据集和真实室内复杂场景下进行整体试验,证明了实验的适用性与鲁棒性。

关键词： 工业机器人   机器视觉   图像识别   位姿估计   路径规划   快速扩展随机树  

摘要： 随着机器人技术的发展,一些环境危险、劳动强度大、重复性强的工作任务,可以由机器人来替代人工完成。人类通过眼睛获得外界环境的大部分信息,人工智能和计算机视觉技术则可以通过视觉传感器获取工作场景或目标物体信息。将三维视觉技术与机器人操控技术相结合,赋予机器人视觉感知能力,实时、动态地调整自身运动轨迹和末端执行器姿态,成功避障并以最短时间、沿着最优路径顺利地开展相关工作,也可以通过远程控制移动机器人和操作机械臂,适应更恶劣、更复杂的工作环境,提升机器人的智能化水平。本文以救援机器人为工作背景,通过搭建由埃夫特EFORT ER3-600型工业机器人系统、海康HIKROBOT工业相机视觉系统、不同形状颜色和尺寸的塑料储罐目标物体及控制软件组成的实验研究平台,开展视觉引导下的物体位姿准确估计和复杂场景条件下机械臂抓取路径规划研究,主要内容如下: 1.基于D-H参数法建立机械臂的运动学模型,并确定了六自由度机械臂的运动学方程,运用蒙特卡洛算法求解机器臂的运动空间,在已知目标物体位姿的情况下,通过机械臂逆运动学分析,得到各机械臂关节转角。建立目标物体-视觉系统-机械臂三者间的相对坐标位置关系,为物体识别定位和机器臂抓取奠定理论基础。 2.搭建基于双目立体视觉传感器的图像采集系统,标定系统中各坐标间的转换关系,获取相机的内外参数。通过灰度化、滤波、增强等方法对源图像进行预处理,基于SURF算法实现不同场景下目标物体特征点的提取和匹配,结合目标物体形心提取,实现了目标物体的准确定位,为机械臂抓取路径规划奠定理论和方法基础。 3.基于快速搜索随机树(RRT)算法进行机械臂抓取路径规划研究,分析了双向搜索树算法(Bi-RRT)的特点,并提出了Bi-RRT算法的节点和步长改进策略。运用MATLAB软件建立了二维和三维环境,并以距离最短、耗时最小且顺利避障为目标,开展RRT、双向Bi-RRT以及改进Bi-RRT算法抓取路径规划仿真,并对比分析了三种算法的特点和优势。 4.搭建视觉引导下的机械臂抓取实验平台,基于前期的手-眼标定、目标物体识别、位姿估计及抓取路径规划等研究成果,开展机械臂分别在无障碍和有障碍环境中抓取物体的实验验证,结果表明视觉引导下机械臂能够成功抓取到目标物体。研究过程中所积累的技术和经验成功应用于某水果采摘机器人产品的开发中。

关键词： 物体检索与定位   候选区域生成算法   RGB-D图像   先验信息  

摘要： 物体检索与定位算法作为计算机视觉领域中一个重要的任务,其出发点是为了解决目标检测算法中受限于物体类别的问题。目前的目标检测算法对于原本不存在于训练数据集中的物体类别,只有更新数据集类别并重新训练算法后才能实现检测。考虑到候选区域生成算法能够在图像中生成一系列不受类别限制的候选框,图像检索算法能够用于判断图像之间的相似性,将两种方法结合来构建物体检索与定位算法能够有效地应对上述的数据集类别受限问题,因此这一任务具有重要的研究意义。此外,作为物体检索与定位算法的组成部分,候选区域生成算法所生成的候选框质量很大程度上影响着物体检索与定位算法的性能。然而,目前候选区域生成方法仍存在未考虑三维结构信息、语义信息传播效率低、生成的多尺度特征不准确等问题;现有的物体检索与定位算法也存在物体的外观信息未充分利用和无法衡量物体尺度相似性的问题。针对上述问题,本文首先对目前的候选区域生成算法进行了改进,随后结合改进后的候选区域生成算法进一步提出了一个物体检索与定位算法,主要贡献如下: 1)提出了一种多模态和多尺度融合的候选区域生成算法。针对现有的单模态候选区域生成算法忽略了三维结构信息的问题,同时考虑目前的多模态融合方法的有效性,算法提出了一个门机制引导的多模态融合模块来减少各模态中噪声的影响并选择性地融合多模态特征。另外,算法提出了流引导的上采样特征金字塔网络,该网络利用流引导的上采样模块来获得更精确的上采样特征图,同时引入注意力机制来优化在特征聚合时不同通道的特征响应,从而有效地传播语义信息,生成更准确的多尺度特征以提高候选框的质量。本文在SUN RGB-D、NYU Depth V2和KITTI三个数据集上进行大量实验,并与多种主流方法进行对比,验证了的算法的有效性。 2)提出了一种基于先验信息的RGB-D物体检索与定位算法。在上述所提出的候选区域生成算法基础上,结合图像检索算法实现不受类别限制的RGB-D物体检索与定位算法。其中,提出了外观先验引导的候选框预处理方法,缓解了误检测问题,同时提高了算法的运行速度。另外,还提出尺度先验引导的相似度调整策略,利用框中物体与目标的尺度差异来调整相似度得分,有效地提高了算法的预测精度。为验证算法的性能,本文还提出了一个RGB-D物体检索与定位数据集,其包含多个场景下的RGB-D图像并额外提供测试反例。在该数据集上进行了充分的实验,验证了算法在精度和速度上的提升。

关键词： 室内定位   卡尔曼滤波   距离约束   磁场匹配算法  

摘要： 日常生活中,室外环境下的定位服务通常由卫星定位系统提供,美国、中国、俄罗斯、欧盟等国家和组织均自主研制了卫星导航系统。但小区里高楼密集,室内环境里水泥钢筋多,卫星信号难以穿过墙壁完成定位目标,因此基于卫星导航的定位软件仅适合在室外提供精准的定位、导航服务。由于人们对室内环境中定位服务需求的逐年增加,研究人员对室内定位技术展开了研究,并已取得诸多成果,例如基于蓝牙、超宽带、可见光等的定位方法。其中,地磁定位技术因为不依赖于其他基础设施、成本低、定位精度较高的优点,为许多研究人员研究无基础设施环境下的室内定位技术提供了方向。本文针对静态室内环境无基础设施条件下的地磁定位技术,利用磁场信号满足高斯分布这一特点,设计了基于卡尔曼滤波的磁信号降噪处理方法和关于磁场强度数值范围的磁场指纹匹配算法。论文的主要工作包括:(1)采集、分析了静态室内磁场信号的时变性质和空间分布特性,探究了地磁信号作为指纹进行定位的稳定性,以及周围环境变化对地磁指纹的影响。(2)设计了基于小波分析和传统卡尔曼滤波的磁场信号处理方法。利用小波分析在时间和频率两域对待处理信号进行细化分析,估计传感器采集磁场信号过程中的测量噪声和过程噪声;再对两种噪声信号的统计特性进行分析,将噪声信号的均值、方差带入卡尔曼滤波的方程中;最后使用卡尔曼滤波对传感器采集到的原始磁场信号进行降噪处理。仿真实验证明,该方法比小波分析方法具有更优的降噪效果。(3)设计了基于多重约束的磁场匹配算法。根据磁传感器采集到信号服从高斯分布这一特性,该参考点的磁场指纹遵循拉伊达准则,即μ-3σ≤H≤μ+3σ;将待定位的磁场分量与参考点对应磁场分量做差,三轴磁场强度差值均处于误差范围内的参考点记作匹配点。再计算所有匹配点与上一定位点或起始定位点之间的距离,通过前后待定位点间距离约束匹配位置,最终确定匹配点坐标。实验结果证明该匹配算法的定位误差随磁场数据误差范围的减小而减小,将磁场误差设置为3 σ时,约10%的点出现定位误差。

关键词： 目标识别   双目视觉   深度学习   物体定位  

摘要： 物体识别与定位是实现智能化生产的关键。如何迅速且准确识别物体的类别并得到位置信息十分重要。本文用优化的轻量型网络Mobile Net-SSD算法实现对物体快速识别,通过双目相机获取物体的位置信息和姿态信息,完成物体定位工作。主要研究工作如下:(1)对相机模型及参数获取方法研究。搭建双目相机系统,采用张正友法完成双目系统的标定,得到系统的相关参数并验证。(2)对物体快速识别方法研究。首先,利用双目相机采集的图像自制数据集,其次,用数据集对SSD网络进行模型训练并进行物体识别实验,SSD速度慢,不适用;然后,在轻量型网络Mobile Net-SSD算法的基础上提出了优化的轻量型网络Mobile Net-SSD算法,将Mobile Net中提取的前两个有效特征层融合,生成新的有效特征层同时增大特征感受野,经过训练和测试,结果表明,优化后的轻量型网络Mobile Net-SSD算法在识别精确率达到了96.7%,满足工业应用的需求。(3)对物体定位方法研究。采用半全局算法SGM得到基于左图的视差图,结合相机的参数和视差图得到深度图,进而求得物体到相机的距离,实现了对物体的定位。实验表明,该方法测得物体位置相对误差均在1%以下。

关键词： 视觉SLAM   物体检测   动态场景   几何约束  

摘要： 以视觉设备为主要传感器的同时定位与地图构建技术(SLAM,Simultaneous Localization and Mapping)是智能移动机器人系统中的关键技术之一,对其的研究也越来越深入。然而当前基于特征的视觉SLAM系统主要利用点、线和面等特征,并进行特征匹配和跟踪,实现对相机位姿的估计,往往忽略了场景中的物体信息。此外,视觉SLAM系统大多面向静态场景,环境中存在的运动物体会对算法的定位精度和鲁棒性产生影响。针对以上两个问题,本文使用单目相机完成基于物体识别的视觉SLAM定位算法及动态环境下的定位算法,旨在充分利用场景中物体的几何信息,克服动态物体对视觉SLAM系统的干扰。本文的主要研究内容如下:对场景中的物体进行识别并构建其3D几何表示是充分利用场景中物体信息的前提,传统的视觉SLAM系统大多基于点、线、面特征的提取、跟踪和匹配来估计相机位姿,而忽略了物体这一场景中的重要组成部分。针对该问题,本文先利用2D目标检测算法得到物体外接框,并结合消隐点等几何知识,采样获得一系列候选立体框,再对候选立体框误差评价函数进行改进,选取出最优的物体立体框,能够提高构建物体立体框的精度。针对诸多基于物体检测的视觉SLAM系统存在未对检测到的3D物体进行数据关联及未将其信息加入到对相机位姿优化环节的问题,本文使用基于特征点的物体关联方法,并增加物体3D立体框和特征点之间的2D平面约束,再构建相机-物体立体框-地图点之间的联合BA优化方程。使用物体提供的几何信息,提高了相机位姿的估计精度。针对场景中的动态物体对视觉SLAM系统的精度和鲁棒性产生影响的问题,先使用2D目标检测算法识别出场景中的物体,并使用光流法对提取到的特征点进行匹配跟踪,结合改进的基于极线约束的动态物体检测算法识别出其中的动态物体,减少动态物体对于系统性能的影响。为验证本文算法在真实环境中的有效性,利用样机软硬件平台,对基于3D物体检测的视觉SLAM定位及动态环境下的定位算法性能进行评估。根据实验结果可知,本文算法皆可获得较高的定位精度,能克服动态物体带来的影响。定位精度的提高,为后续建立基于物体的高精度地图以及未来基于地图进行导航规划等工作提供了坚实的基础。同时在算法中实现了对不同图像帧中物体的数据关联功能,该功能的实现对基于图像中对象的跟踪、捕获等智能功能算法的研究具有启发式的意义。

关键词： 移动机器人   目标检测   YOLO网络   SPP模块   NMS  

摘要： 目标物体识别与定位技术是在输入图像或视频中识别出目标的种类以及确定其在图像或视频中的位置,进而对空间中目标物体进行定位的研究。目标物体识别与定位技术的研究核心是目标检测技术,基于移动机器人的目标物体定位是利用目标检测技术获得的图像位置,进而进行坐标变换至相应移动机器人需要的物体空间位置。近年来关于目标物体识别与定位方面的研究持续升温,各种应用实例也是层出不穷,比如农业果蔬检测、行人检测、无人机遥感监测等。本文对目前一些典型的目标检测算法进行综合评判,选择YOLOv4模型作为解决方案。同时为了解决YOLOv4模型在目标尺度变化较大情况下的检测精度问题,以及目前目标检测的NMS算法在目标重叠、遮挡情况下容易产生误抑制,造成漏检的问题,研究了一种基于YOLOv4模型的改进目标物体识别与定位方法,该方法提高了目标检测的精度,降低了检测框的误抑制。本文主要研究内容包括:1.针对深度学习算法进行系统性研究,结合移动机器人本身的应用条件,确定本课题适合的深度学习目标检测算法。在目标检测算法的模型部分,为了解决YOLOv4算法在目标尺度变化较大情况下的检测精度问题,本文在YOLOv4模型中新引入了一层SPP层,增大感受野范围,并对SPP层及其池化核的尺度进行了修改,目的在于提高模型在多个尺度上的信息融合能力,降低前馈神经网络在网络递进过程中的信息丢失,从而提高模型的检测精度。最后将改进模型在VOC公开数据集上进行了训练与测试,并利用改进模型在基于Jetson AGX Xavier计算平台的中科深谷移动机器人上进行了实际实物测试,验证本文改进模型的可行性。2.在目标检测的非极大值抑制(NMS)算法部分,为了解决目前的NMS算法在目标重叠、遮挡情况较多时容易产生误抑制造成漏检的问题,本文根据目标检测框所包含的信息以及实时性问题引入了曼哈顿距离这一考察量,提出一种改进的NMS算法,并在COCO数据集上对改进算法进行了测试,最后也在中科深谷移动机器人实物平台上进行了测试,验证算法的有效性和实时性。3.本文将改进方法在中科深谷移动机器人实物平台上进行了实际实验。并且根据机器人应用范畴,模拟农业机器人的水果检测环境,在室内进行了相应的算法实验,在移动机器人平台验证了方法的可行性与实时性。