关键词:
Kinect传感器
数据处理
深度学习
行为识别
人机协作
摘要:
随着人工智能、芯片制造、智能控制等科学技术的发展,具备一定自主智能特性的机器人被广泛的应用于生产生活、军事作战等场景中,但是由于机器人不具备完全自主能力,因此无法完全独立自主的完成动态变化的复杂任务,因此目前的一个研究方向是结合人类对复杂环境中动态任务的分析理解、自主决策等特点,研究人机协作以完成复杂场景下的任务。人机协作是指人类和机器人共同合作完成指定任务,目前在制造业中大量的使用了工业机器人完成产品的装配工作,而人类只需要进行适当的调控即可,能够有效的解放人类双手,以使得人类去完成更多的有关设计、创造类的工作。人机协作中,机器人如何理解人类的意图是人机协作技术中重要的一个研究方向,从传统的角度来看,人类依靠操作杆及命令行指控机器人完成任务,这种操控方式使得机器人的灵活性较低,同时对于操作人员的要求较高,需要掌握各种技术指令。随着人工智能技术的发展,目前机器人理解人类意图的方式变得多种多样,包括语音识别、手势识别、行为识别等等。而现有的研究工作中,大部分学者将着眼于行为识别,对视频流中人体行为动作的进行分类识别,以推测人类的意图并完成人机协作,这种识别方式对于光照、场地等要求较高,若视频中含有较多噪声时识别准确率不高,因此为了进一步研究行为识别技术,本文中考虑基于人体骨骼数据对人体的行为动作进行分类识别,以实现对人类意图的判断,更好的完成人机协作任务。本文以人机协作装配任务为例,在实验室中建立了人机协作装配场景,具体任务是人机协作装配一把椅子,人类作为装配任务中的主导者,而机器人作为协助者为人类递送椅子配件(如椅子腿)或者组装的工具(如内六角扳手)等,通过机器人过识别人类的行为动作,预测人类下一步的组装意图并提前准备好配件或者工具。论文所做的研究工作包括以下几个方面:(1)本文中首先对人体行为动作识别技术的理论基础进行了分析,包括支持向量机、反向传播等经典的监督学习算法,并指出了这些算法的缺点及不足,然后进一步分析了基于深度学习的行为识别理论,介绍了卷积神经网络及循环神经网络基本理论,分析了基于深度学习的行为识别算法选择策略,确定了本文中基于卷积神经网络的行为识别方案。(2)然后分析了Kinect传感器的软硬件系统,利用三面标靶重建技术完成了Kinect传感器外参数标定,基于Kinect传感器采集人机协作场景中的三面标靶点信息,然后根据同名法向量及同名点计算两个Kinect传感器的外参参数矩阵,获得全局坐标系下的人体骨骼数据,然后对Kinect传感器采集到的数据进行了误差分析。(3)基于两台Kinect传感器能够有效采集人体骨骼数据,本文进一步设计了人机协作装配场景,将人机协作装配椅子的过程分成了七个步骤,即机器人需要根据人类上一步的行为动作,预测人类下一步的行为,提前准备好配件或者工具。本文利用Kinect传感器对人体行为动作数据进行了收集,并完成了数据预处理。(4)考虑到卷积神经网络在特征理解上的不足,引入了双流神经网络,并进一步设计了基于注意力机制的行为识别网络模型,利用该模型对人体骨骼数据进行分类识别实验,结果表明与CNN及LSTM等方法相比,本文所提的改进双流神经网络的准确识别率更高,表明了算法设计的有效性。