关键词： 双视线特征感知编组   多目标跟踪   粒子滤波   线特征   联合概率  

摘要： 为实现精准的图像多目标捕获与跟踪,提出基于双视线特征感知编组的多目标跟踪方法。利用自由形状线特征涵盖的丰富信息,使用双视线特征感知编组方法将线特征匹配结果当作计算条件,推算已匹配的每对线特征左右视差均值,将方位相近、左右视差均值接近的线特征视作一组,明确各组线特征作用窗口,代入时差收敛均值,实现多目标特征匹配;代入联合概率数据关联算法,构建改进粒子滤波模型,让粒子权值呈现出测量值与目标轨迹的关联概率,确保各目标跟踪轨迹持续性,并完善轨迹初始点与终点,增强跟踪时效性。仿真结果表明,所提方法能很好地处理车辆交叉引发的错误匹配问题,在交叉或遮挡等复杂情况下,依旧可以快速准确地同时对多个目标车辆进行跟踪。

关键词： 三维视线跟踪   单目   头戴式   瞳孔轮廓   映射模型  

摘要： 针对头戴式视线跟踪的三维方法获取视线方向,通常需要复杂的硬件结构或者是需要使用眼睛平均生理参数的问题,提出一种基于瞳孔轮廓的三维眼球拟合模型。在只使用单相机的条件下,根据瞳孔轮廓的运动轨迹拟合模型获取三维视线方向,并在此基础上提出了一种三维到二维的视线映射模型。避免了头戴式设备的复杂结构和对眼睛平均参数的使用。实验结果表明,该方法能够提高注视精度和简化硬件结构。

关键词： 欠驱动船舶   轨迹跟踪   积分视线法   自抗扰控制   扩张状态观测器  

摘要： 通常采用螺旋桨和舵来控制 船舶在水平面的三个自由度运动,属于欠驱动控制,其轨迹跟踪控制器的设计具有很大的难度。论文将欠驱动水面船舶的轨迹跟踪问题解耦为转首运动控制和纵向运动控制这两个子控制系统,采用积分视线法确定期望首向角和期望纵向速度,通过Lyapunov稳定性理论证明了控制系统的稳定性;采用自抗扰控制技术中的扩张状态观测器设计首向控制器和纵向运动控制器。通过静水和波浪中的直线轨迹跟踪仿真试验,验证了设计的控制器的有效性。

关键词： 基于特征   视线跟踪   二维映射模型   三维视线估计  

摘要： 针对基于特征的视线跟踪方法进行了综述.首先对视线跟踪技术的发展、相关研究工作和研究现状进行了阐述;然后将基于特征的视线跟踪方法分成了两大类:二维视线跟踪方法和三维视线跟踪方法,从硬件系统配置、误差主要来源、头部运动影响、优缺点等多个方面重点分析了这两类视线跟踪方法,对近五年现有的部分基于特征的视线跟踪方法进行了对比分析,并对二维视线跟踪系统和三维视线跟踪系统中的几个关键问题进行了探讨;此外,介绍了视线跟踪技术在人机交互、医学、军事、智能交通等多个领域的应用;最后对基于特征的视线跟踪方法的发展趋势和研究热点进行了总结与展望.

关键词： 照护需求识别   视线跟踪   视线落点估计   双目视觉系统  

摘要： 对于卧床失能/半失能老人,需要进行长期护理才能解决其生活、生存障碍,而有效护理的前提就是准确、实时地识别老人的照护需求。本文将融合眼动和头动数据的视线跟踪技术用于卧床老人的照护需求识别中,利用老人的视线落点来识别照护需求,可以弥补老人无法用语音、手势等方式表达自己需求的不足,并将该技术应用到团队自主研发的智能护理床控制系统中,为老人提供便捷、自然的一体化护理。本文主要的研究工作有:(1)眼动特征参数提取。对摄像机采集的视频图像采用Adaboost算法进行人脸检测,采用Meanshift算法跟踪人脸,获取稳定的面部区域。根据几何比例关系粗定位人眼区域,采用虹膜算子进一步定位人眼。在此基础上,采用OTSU阈值分割方法粗定位瞳孔区域,对瞳孔边缘点先后采用像素级、亚像素级提取,提高准确度;根据灰度值确定角膜反射区域,然后以反射光斑最小外接圆圆心表示普尔钦斑中心,实现普尔钦斑的准确定位。(2)头部姿态估计。在老人脸部选择三个特征点构建特征三角形表征脸平面。在双目视觉系统中,首先通过标定获得了本文所用摄像机的内参矩阵与外参矩阵,然后采用Harris角点检测算法定位特征点并计算空间坐标。计算脸平面与世界坐标系的夹角,分别为头部的上下俯仰角与左右偏航角。实验表明算法可以有效地得到头部姿态。(3)视线落点估计。融合眼动参数与头动姿态,提出了一种基于人眼3D模型的视线落点估计方法。采用瞳孔中心、光源、光源虚像计算光轴,将头动参数融合进旋转矩阵的标定过程,接着计算视轴。根据融合眼动与头动数据的视线方向计算视线落点位置,实验验证可行性。(4)照护需求识别系统应用研究。将本文研究的视线跟踪算法应用到团队自主研发的护理床控制系统中,通过Wi Fi通信模块将视线落点识别结果传输给护理床上的主控芯片,控制护理床床体姿态,响应卧床老人照护需求,为失能老人提供一种便捷、自然的交互方式。

关键词： 路径跟踪   欠驱动无人艇   视线法制导   模糊PID控制  

摘要： 无人水面艇是一种小型化、智能化的工作平台,在军事领域和民用领域上具有广泛的应用。路径跟踪是无人艇运动控制系统的基本功能,也是实现自主航行以及各项任务的关键技术之一。但是,无人水面艇一般没有横向推进器,那么在海洋或着河流当中容易被环境因素干扰,这对控制器的稳定性、高效性和鲁棒性要求较高。本文从两个方面进行路径跟踪控制器设计:一是将视线法制导算法进行了前视距离自调节设计;二是对于传统的PID控制器参数难以整定的问题,利用模糊逻辑进行在线参数调整。通过仿真实验对比,验证了前视距离自调节的优越性以及模糊自适应PID路径跟踪控制器的良好鲁棒性。建立了“启航号”无人水面艇的三自由度数学模型。引入两种坐标系描述无人艇的运动状态,并介绍了“启航号”无人艇的基本组成以及简化无人艇建模的假设条件。通过这些假设条件,推导和建立了无人艇的运动学模型、动力学模型以及简化成一阶系统的推进器模型。计算了动力学模型的质量矩阵系数、阻尼矩阵系数、推力相关的推力减小系数以及螺旋桨流量系数。将模拟的油门转速实验、回转实验与实际数据进行对比分析,并比较了模型和实船的操纵响应系数,验证无人艇模型的准确性。采用视线法制导算法计算期望航向,并介绍了直线和曲线制导算法的推导过程。针对传统恒定前视距离制导的缺点,设计了时变的前视距离公式以及分析了对系统稳定性的影响。通过对Fossen和Wan提出的时变前视距离公式分析,找出其中设定参数与最小前视距离和跟踪误差存在的函数关系。在不同船模下进行仿真,结果表明函数关系的可靠性。为了提高无人水面艇的控制操纵性能,将PID控制算法与模糊推理机制相结合,实现了PID参数的在线自整定。将时变前视距离视线法制导律与模糊自适应PID算法结合,形成模糊自适应PID路径跟踪控制器,并在“启航号”无人艇模型下进行了仿真实验。与常规PID控制相比,本文的路径跟踪控制器具有更好的动态响应以及鲁棒性。此外,结合路径规划位点设计,仿真表明对位点拟合的必要性。

关键词： 无人水面艇   路径跟踪   视线制导   动态不确定   时变大漂角  

摘要： 无人水面艇(Unmanned Surface Vessel,USV)作为一种小型的水面运动设备,在各种高新技术(如新能源、人工智能、5G通信等)的快速发展中逐渐向模块化、智能化发展。无人水面艇所涉及的各项核心技术在不断地进行迭代更新,这为其在各种复杂极端的环境下完成不同的任务提供了更加可靠的保障。由于海洋环境的复杂性,如何在复杂多变的海洋环境下实现无人水面艇精确的运动控制是其完成其他复杂任务的前提。在无人水面艇的运动控制领域的众多分支中,本文将就欠驱动无人水面艇的路径跟踪控制问题进行研究。主要的研究内容如下:首先,针对欠驱动无人水面艇在未知时变扰动下的路径跟踪问题,将视线(Line-ofsight,LOS)制导律与动力学控制律相结合设计了路径跟踪控制器。在制导系统中,自适应积分视线(Adaptive Integral Line-of-sight,AILOS)制导律利用积分项从运动学层面补偿外界环境干扰对位置跟踪误差的影响。在动力学控制系统中,应用反步法设计自适应路径跟踪控制律,并引入降阶扩张状态观测器(Extended State Observer,ESO)来估计未知的外界时变干扰,同时利用跟踪微分器(Tracking Differentiator,TD)简化了控制律的导数计算。稳定性分析和仿真实验验证了所提出的路径跟踪控制策略的有效性。其次,针对欠驱动无人水面艇在未知时变洋流干扰下的路径跟踪问题,设计基于改进的自适应积分视线(Improved Adaptive Integral Line-of-sight,IAILOS)制导律的自适应路径跟踪控制策略。在制导系统中,IAILOS制导律引入了降阶ESO来估计未知时变的洋流速度,从而在运动学层面补偿未知的时变洋流干扰。在动力学控制系统中,利用径向基(Radial basis function,RBF)神经网络良好的逼近特性解决了未知时变扰动和动态不确定问题,提高了积分滑模控制器的鲁棒性。稳定性分析以及对比仿真实验验证了所提出的基于IAILOS制导律的路径跟踪控制策略的有效性和优越性。最后,为完成高精度的路径跟踪控制,考虑当未知时变漂角不再满足慢时变和近似小角的情况,将基于ESO的视线(ESO-based Line-of-sight,ELOS)制导律和改进的RBF神经网络相结合,设计了自适应路径跟踪控制策略。在制导系统中,ELOS制导律利用降阶ESO来精确地估计未知时变漂角,从而得到更加准确的理想航向角。在动力学控制系统中,引入状态预估器对传统的RBF神经网络控制算法进行改进,基于估计误差的RBF神经网络提高了控制器的鲁棒性和暂态性能。稳定性分析和仿真对比实验验证了所提出的基于ELOS制导律的路径跟踪策略的有效性和优越性。

关键词： 视线跟踪   三维视线估计   用户标定   虹膜特征   单相机单光源  

摘要： 视线跟踪是利用机械、电子、光学等现有的各种检测手段获取受试者当前“注视方向”的技术,目前已广泛应用于人机交互、医学诊断、国防军事、交通安全、人因分析、虚拟现实等多个领域。近年来,大数据、人工智能等新一代信息技术的迅速发展,对视线跟踪技术也提出了更高的需求。而无论是从理论研究还是从实际应用的角度,视线跟踪技术都有其局限性。目前视线跟踪模型主要存在以下三个技术瓶颈:(1)往往需要先通过用户标定过程获取用户特定的特征参数。(2)对头部的自由运动有所限制。(3)对简化用户标定和允许头部运动的研究主要是以硬件系统的复杂化为代价。此外,视线跟踪技术在手机、平板电脑等移动便携式设备中的应用可以抽象成简单硬件系统配置下的视线估计,而目前基于简单的硬件系统只能实现二维视线估计,且存在用户标定复杂、限制头部运动等问题,相比较而言,三维视线估计可以简化用户标定过程,且允许头部运动。因此,深入开展基于简化硬件系统的三维视线估计方法研究,解决三维视线跟踪系统的系统配置复杂的问题,提高视线跟踪系统的可操作性和易用性,是实现简化用户标定、全自由大范围头动的基础,对于使视线跟踪技术成为真正的自然人机交互或人因分析手段,应用于手机、平板电脑等移动便携式设备,具有必要性和现实意义。本文的主要贡献包括:(1)针对已有的基于单相机单光源系统的三维视线估计方法需要预设一些眼球不变参数的问题,提出基于虹膜半径标定的单相机单光源系统三维视线估计方法。利用空间虹膜中心及其法向量的三维重建,实现了在一个相机和一个光源的系统配置下的虹膜半径标定和三维视线估计,并基于双目模型对三维视线进行了优化。该方法解决了已有三维视线估计方法需要采用单相机多光源系统或多相机多光源系统才能估计三维视线的问题,突破了已有方法对硬件系统配置的限制。(2)在简化三维视线估计所需的硬件系统配置、突破已有方法对硬件系统配置的限制的基础上,针对空间虹膜法向量的三维重建受虹膜成像特征参数误差的影响较大的问题,提出基于角膜半径标定的单相机单光源系统三维视线估计方法。在用户标定过程标定出虹膜半径后,根据光源成像模型标定了角膜曲率半径,考虑了个体差异性。在三维视线估计过程中,根据空间几何模型求解角膜中心,利用角膜中心和虹膜中心的构建眼球光轴,估计并优化三维视线,避免了虹膜法向量不准确引入的光轴误差。(3)针对两个光源与相机光心共线的这种典型的单相机双光源系统,在人眼不变参数未知的情况下,采用已有的单相机双光源系统三维视线估计方法无法估计三维视线的问题,提出基于虹膜特征的单相机双光源系统三维视线估计方法。先利用虹膜特征标定角膜曲率半径,随后基于虹膜特征或基于瞳孔特征进行三维视线估计。该方法使在这种典型的单相机双光源系统中实现三维视线估计成为了可能。

关键词： 深度学习   头部姿态估计   视线跟踪数据集标定   视线检测   算法移植  

摘要： 视线跟踪技术是一种检测人眼视线方向或注视点的技术,广泛应用于教学质量评估系统、生产线工人注意力监测、疲劳驾驶、虚拟现实、广告分析等诸多场景。但由于当前视线跟踪技术通常采用基于RGBD图像或红外图像的视线跟踪算法,通常需依赖深度相机和红外相机等外部设备,导致应用过程中使用不便,成本高,且应用场景受限。论文在分析国内外视线跟踪相关算法的基础上,提出一种基于深度学习并使用单目RGB图像为输入的视线跟踪算法,制作了算法需要的数据集,并给出算法移植到搭载安卓操作系统的嵌入式设备上运行的具体流程。论文主要研究工作如下:1.构造视线跟踪神经网络损失函数。由于视线通过视轴与三个相机坐标轴(x,y,z)的夹角α、β、γ来描述,需在神经网络中构造三条损失函数支路来评估它们的估计误差,在三条损失函数支路中,每条支路的损失函数由两个具体的损失函数成员加权组合而成,一是交叉熵,用于粗略调节网络参数,二是均方误差,用于微调网络参数。2.搭建视线跟踪多损失卷积神经网络。论文通过在Yolov2、Res Net18等基础网络上删除一些冗余的网络层,增加视线跟踪特有的层,如多损失函数层来实现视线跟踪神经网络。3.低分辨率图像头部姿态估计。对视频图像采用卷积神经网络进行人脸检测,并在Yolov、Res Net等网络后接三条损失函数支路来评估头部姿态欧拉角Yaw(偏航角)、Roll(俯仰角)、Pitch(翻滚角)的估计误差。由于低分辨率图像的头部姿态特征不明显,需对原始数据集进行上采样、下采样、图像模糊等处理,迫使网络学习不同分辨率的图像,以提高模型的预测精度。4.视线跟踪眼球数据集标定。视线作为三维空间的矢量,标定者无法直接根据RGB图像判断其在相机坐标系中的方向。论文提出一种基于3D仿真软件的数据集制作方法,通过在仿真软件中制作类似真人的眼球模型,用程序控制其模拟人眼转动同时生成数据集,来解决这一问题。5.安卓嵌入式终端算法移植。为提高模型执行效率,论文采用Android Studio对Caffe模型进行移植。嵌入式设备上使用Java实现外部图像采集程序,C++实现图像预处理和模型调用程序。

关键词： 无人武器   云台跟踪   视线驱动   眼动检测   随动跟踪   实验验证  

摘要： 人在回路的遥操作是未来相当长时期内无人武器云台的主要操控方式。针对无人武器云台手动遥操作控制方法存在的负担重、效率低等问题,提出一种视线驱动跟踪方法,通过检测眼球运动来追踪人眼视线,捕获操控人员对特定目标的注视信息,建立操控人员眼动与无人武器云台目标跟踪的随动关系,实现“看哪打哪”。给出了眼动检测、视线估计、无人武器云台运动映射模型及随动跟踪瞄准等的实现方法和流程,并进行了相关试验验证。结果表明,该方法可使无人武器云台的目标跟踪瞄准操控摆脱对肢体的需求,用视线操作代替传统的手动操作,可有效减轻手动操控负担,提高操控及时性、准确性和人机交互效率,将成为无人武器的重要操控方式。