关键词： 卷积神经网络   方向梯度直方图   梯度提升回归树   AlexNet网络   残差神经网络   人机交互  

摘要： 视线跟踪技术是计算机视觉领域中的重要课题,伴随着高性能图像采集和计算设备的出现以及图像处理分析的相关算法的不断涌现,视线跟踪技术已经逐渐走入我们日常生活中的各个领域。将视线跟踪技术用于人机交互领域中,不仅可以改变传统的人机交互模式,给用户带来全新、高效的使用体验,还可以给四肢行动存在障碍的用户带来极大的方便。然而,传统的视线跟踪技术往往要依靠眼动跟踪仪等其他的硬件设备,不仅造价昂贵,还会给使用者带来一定的不便。本课题以使用iPhone手机过程中的人机交互为例,尝试将深度学习技术应用于视线跟踪任务中,使得用户可以不借助眼动跟踪仪等其他的硬件设备,仅依靠手机前置摄像头拍摄到的用户操作手机照片的图片,利用纯软件的方式预测用户视线在手机屏幕上的聚焦位置,从而实现用眼睛代替手指进行触屏操作。首先,本文介绍了卷积神经网络的基本理论。卷积神经网络由标准神经网络演变而来,采用卷积运算实现层间连接,可以显著降低计算成本,满足信号局部特征提取的要求,在计算机视觉领域获得了广泛的应用。其次,综合考虑实时性和准确性因素,采用方向梯度直方图特征和级联的梯度提升回归树算法进行用户人脸和人眼的分割定位以及眨眼检测,完成眨眼检测、人脸检测与人眼定位模块的设计,为视线聚焦点预测提供输入信息。再次,采用深度卷积神经网络进行视线聚焦点模块的设计。本课题中,我们分别尝试了多输入基于回归的视线聚焦点预测方法,多输入基于分类的视线聚焦点预测方法和单输入端到端的视线聚焦点预测方法。网络结构方面分别采用了基于AlexNet的网络架构和带有batchNormalization的残差神经网络架构,可以比较准确、快速的预测出用户视线在手机屏幕上的聚焦位置,从而在理论上实现眼睛代替手指进行手机触屏的功能。最后,对本课题中尝试过的视线跟踪预测方法的实时性和准确性进行比较,并讨论了提升算法性能的策略。

关键词： 视线跟踪   P-CR向量   椭圆拟合   神经网络   注视点估计  

摘要： 随着计算机视觉技术的高速发展以及人工智能领域的兴起,视线跟踪(gazetracking)技术已经成为各大研究机构和高校的重点研究方向之一。视线跟踪作为一种新型的人-机交互技术,它的应用十分广泛,包括智慧医疗、辅助驾驶、心理研究、虚拟现实和军事等多个领域。极为丰富的眼动信息能够反映人类情绪的变化和行为动向,同时也是视觉任务的最直观体现,因此,当对可视对象进行选择和操控任务时,可以通过视觉通道对人-机通道进行控制,即使用者首先注视需要感兴趣物体,再引导视觉通道进行选择或操控动作。综上所述,采用眼控系统的优点在于能够更加方便、迅速地对可视对象进行控制。论文围绕着视线追踪这一主题,采用基于瞳孔-角膜反射的视线估计方法,构建了头戴式视线跟踪控制轮椅系统,该系统相对于非头戴式视线跟踪控制轮椅系统来说,具有精度高和适用场景广的优点。探讨了瞳孔定位方法、视线落点的计算和眼控轮椅的整体方案:1.研究了瞳孔和普尔钦斑点中心的提取算法。采用的是基于弧段提取的椭圆拟合算法定位瞳孔中心。为了解决非线性非高斯问题,同时提高瞳孔状态参数的提取精度,本文使用了粒子滤波和卡尔曼滤波相结合的方法来对瞳孔进行跟踪,使系统的鲁棒性明显提高。为了更为精确的提取普尔钦光斑中心,首先截取瞳孔周边的区域;接着使用最大类间法(OSTU)对图像进行二值化分割出普尔钦光斑;最后利用质心法计算出普尔钦光斑的中心。2.分析视线落点估计的原理及流程,利用真实视线落点坐标与眼动参数计算眼部图像坐标系与场景图像坐标系之间的非线性映射关系从而估计出场景图像坐标系下注视点坐标。本文采用BP神经网络去拟合该映射关系,结合15×10个样本去训练神经网络,从而确定眼部图像坐标系与场景图像坐标系的映射关系。3.构建了眼控轮椅系统。通过计算瞳孔中心坐标与参考点坐标的相对位置,将该相对位置转换为方向指令,并通过蓝牙发送给轮椅控制器,最终达到控制轮椅的运动方向的目的。实验结果表明,视线跟踪在平均误差距离不超过5个单位时,视线落点的准确率为91%,对轮椅的5种运动方式分别为前进、后退、向左、向右和停止的平均准确率为98.2%。通过调整眼动参数能够稳定控制轮椅的运动,为残疾人、渐冻人和老年人等提供了能自由活动的新型方式。

关键词： 视线跟踪   注视点估计   视线方向校准   头部运动   交比不变性  

摘要： 随着计算机科学技术与产业的飞速发展,人机交互方式取得了长足的发展。由于响应速度块、操作方便的特点,视线跟踪技术在人机交互领域得到了大量应用。基于瞳孔角膜反射的视线跟踪方法是目前最为普遍的视线跟踪方法之一,本文在国内外研究基础上,针对头部运动过程中注视点估计精度较低的问题,提出一种头部运动结合视线跟踪的视线方向校准技术,可以有效提高在头部自由运动时注视点估计精度。本文主要完成以下工作:(1)面部检测。针对单一面部检测算法检测结果不理想的问题,本文采用Adaboost算法结合ASM算法对人脸进行检测与跟踪,减少了面部检测次数,提高了检测效率,实现了高效准确的面部检测。(2)针对交比不变性注视点估计精度较差的问题,本文提出了一种多点标定的动态参数校准方法对注视点估计结果进行校准。首先,将屏幕平均分为四个矩形区域,每个区域互不干涉,计算每个区域的最优校准参数,通过最优参数与其他标记点参数结合,近似计算该注视点的校准参数。然后动态的选取注视点所在区域的校准参数计算虚拟投影点,建立投影平面,最后通过交比不变性计算注视点坐标。该方法解决了瞳孔中心与普尔钦斑不在同一个平面导致的注视点估计结果偏移问题。(3)针对交比不变性注视点估计在头部运动时检测到的注视点与实际注视点差别较大的问题,本文采用头部空间姿态补偿的方法减小头部运动对视线跟踪的影响。首先,采用POSIT算法获取头部姿态信息,然后综合头动信息和眼动信息并根据头眼运动的实际情况,确定了注视点位置。最后把实际注视点转换为屏幕坐标。该方法建立了与位置无关的视线跟踪模型,用户可以随意移动而不影响视线跟踪精度,实现了头眼协调运动的视线跟踪。本文通过对8名测试人员进行精度测试实验,分别对头部相对静止与头部自由运动情境下的注视点估计结果进行实验验证,头部相对静止时采用传统方法注视点估计结果与本文提出的动态参数校准方法的注视点估计结果对比,分析各自的平均误差;头部自由运动时通过对传统方法获取的注视点估计结果与本文的头部补偿获取的注视点结果进行比较,分析各自的平均误差。实验结果表明,头部相对静止时注视点估计精度由2.8°提高到了1.1°,误差范围缩小了35.2%,头部运动时注视点估计精度由4.1°提高到了1.7°,误差范围缩小了58.2%。通过实验结果分析,本文的视线方向校准技术提高了头部自由运动的注视点计算精度,证实了本文方法的有效性。

关键词： 欠驱动无人艇   路径跟踪   自适应控制   神经网络  

摘要： 针对欠驱动无人艇(USV)的航路点路径跟踪问题,提出了一种鲁棒自适应控制方法。设计了一个新的切换型视线(LOS)法制导律,以引导USV始终以最佳LOS圆半径趋向期望路径。与传统制导律相比,切换型LOS法制导律具有运算负载小、收敛速度快的特点。考虑到USV模型的不确定性及环境干扰未知时变性,开发了一种复合神经网络控制器来增强系统鲁棒性。通过在网络输入中增加预测误差信息,以提高网络逼近精度。同时,引入最小学习参数思想优化网络结构,对神经网络的在线自适应参数进行压缩,以减轻网络计算负担,并借助李雅普诺夫理论对系统的稳定性进行了分析。通过对比仿真实验验证了所提出控制策略的有效性。

关键词： 自主潜航器   轨迹跟踪   样条插值   视线导引   模型预测控制  

摘要： 针对AUV轨迹跟踪问题,利用3次样条插值方法将事先确定的航迹点规划成计划路径,利用视线导引法(Line of Sight,LOS),将AUV轨迹跟踪问题转换为航速控制和航迹控制问题,设计了基于增量式状态方程的MPC航向控制算法,实现了AUV轨迹跟踪控制。基于NPS AUV(Naval Postgraduate School,USA,Autonomous Underwater Vehicle)数学模型,设计了轨迹跟踪仿真案例,仿真结果表明,所提出的视线导引法与MPC(Model Predictive Control)结合的控制算法可有效解决AUV水下定深运动的轨迹跟踪控制问题,对AUV自主航行控制系统的开发具有较高的实用价值。

关键词： 视线跟踪   移动设备   人机交互  

摘要： 针对移动设备视线跟踪技术研究现状进行了综述,介绍了视线跟踪技术的发展及移动设备的资源劣势,将移动设备视线跟踪技术分为利用自身集成硬件和使用外接硬件设备两类,并分别进行了说明。最后,总结分析了移动设备视线跟踪存在的问题,并对其未来发展及研究方向进行展望。

关键词： 角膜曲率中心   非线性方程组模型   优化模型   GA-LM算法   鲁棒性  

摘要： 为了高效获取3D视线跟踪技术中的角膜曲率中心,使系统满足实时准确及稳定性需求,本文构建了两类角膜曲率中心模型及其求解方法.首先,利用光学原理及眼球特征建立了两种求解该中心的模型,即非线性方程组模型和改进的模型.其次,针对模型特点构造了一种基于遗传算法与LM算法的新型混合算法(GA-LM),以快速求解所建模型.最后,多组数值实验结果表明本文所建立的模型及GA-LM算法是有效的,其能快速准确求出3D视线跟踪系统中的角膜曲率中心.

关键词： 视线跟踪   Kinect   移动机器人  

摘要： 实现了一个基于Kinect的移动平台人脸视线追踪系统。为了解决人脸识别技术在大多数应用场景中,难以拍摄到待识别对象正面的问题,提出了先跟踪再识别的方法。利用Kinect获取到待识别对象的方位信息,由移动机器人平台搭载人脸视线追踪系统运动到待识别对象的正面,便于人脸识别系统进行进一步识别。是一种提高传统人脸识别正确率的改进方法。

关键词： 管制员   冲突解脱   兴趣区   眼动行为  

摘要： 为了系统性的探究管制员在进行冲突解脱过程中的眼动行为,利用雷达模拟机模拟天津机场在进近过程中的真实管制场景,首先将进行高度穿越的航空器标牌、航向、标牌及航向分别标为兴趣区,探究在进行高度穿越时管制员所主要关注的区域;之后将发生冲突时所有管制员所要关注的区域设为兴趣区,探究冲突相关航空器之间的眼动行为以及冲突相关航空器与其他航空器之间的眼动特征。实验结果表明管制员在指挥飞机时主要通过航空器的标牌信息进行信息获取,在解决冲突的过程中,其注意力不仅仅集中于冲突区域,还会将相当一部分注意力分配到已切四边或五边以及距离冲突区域较近的航空器。

关键词： 最速跟踪微分器   预报补偿   频率特性  

摘要： 本文讨论从被噪声污染的信号中合理提取微分信号的问题,首先分析经典微分器的数学含义及其噪声放大的根本原因,在韩京清教授提出的最速跟踪微分器理论基础上,对其相位延迟进行预报补偿,分析其频率特性,然后仿真分析最速跟踪微分器在求解视线角加速度应用中的效果。