关键词： 视线跟踪   头部运动   瞳孔   瞳孔角膜反射向量  

摘要： 本文提出一种基于单目摄像头和四红外光源的视线跟踪系统.通过四个红外光源在眼睛角膜上产生的四个光斑的中心与瞳孔中心建立新型的瞳孔角膜反射向量,该向量对头部运动具有较好的鲁棒性;此外通过设定感兴趣区域提高人眼定位速度,利用模板匹配与凸包方法精确定位瞳孔中心,并采用点匹配法正确识别光斑中心,确保了视线跟踪的实时性和精度.实验结果证明该系统较好地解决了视线跟踪精度不高和头部运动受限的问题,并且满足实时性要求.

关键词： 姿轨联合控制   计算机仿真   Lyapunov函数   数学模型   非线性动力学系统   目标   六自由度   跟踪(位置)   轨迹   视线坐标系   非合作   视线  

摘要： 研究了接近和跟踪同时存在姿态翻滚和轨道机动的非合作目标轨道姿态6-DOF联合控制问题。综合视线坐标系下相对运动动力学模型和追踪航天器姿态动力学模型,建立姿轨联合动力学模型。由于系统模型存在很强的非线性,所以对系统模型先进行预处理,将其转化成利于控制器设计的形式,采用Lyapunov最小-最大方法对同时存在姿态翻滚和轨道机动的非合作目标设计了自主接近和随动跟踪控制律。通过仿真验证了模型和控制方法的有效性。

关键词： 视线跟踪   标定方法   虹膜识别   眼角定位  

摘要： 为了简化头戴式视线跟踪系统中的标定过程,提出一种无需添加任何硬件的、基于虹膜识别的一次标定方法.使用者只需在第一次使用头戴式视线跟踪系统时进行标定,再次使用时,系统会自动进行虹膜识别,调出使用者第一次标定时的眼部图像数据来计算当前眼部图像与标定时的眼部图像的相对偏转角和偏移量,得到使用者当前的标定参数.实验结果表明,该方法可以在不影响系统原有精度的条件下,省去使用者每次使用视线跟踪系统时都需要进行的烦琐的标定过程,大大简化了系统的标定,降低了系统的使用复杂度.

关键词： 视线跟踪   θ-D控制方法   姿轨联合控制   视线坐标系   误差四元数  

摘要： 航天器在实施对空间非合作目标的近程操作任务中,需要接近目标并保持在目标附近的特定方位,对目标指定部位随动跟踪和观测。针对非合作机动目标的接近和视线跟踪的六自由度控制问题,根据视线坐标系下的相对轨道方程和体坐标系下的相对误差四元数姿态方程,建立了航天器间近距离相对运动的轨道和姿态联合控制模型。考虑模型的非线性、时变性和计算的快速性,采用θ-D控制方法进行接近和视线跟踪的轨道和姿态联合控制。为了减小跟踪同时存在轨道和姿态机动的非合作目标的控制误差,应用Lyapunov最小-最大定理设计了θ-D修正控制器,改善非合作目标同时进行姿态和轨道机动时的控制性能。仿真验证了模型的正确性和控制器良好的跟踪性能。

关键词： 头戴式   视线跟踪   目标识别   家电控制   物联网  

摘要： 文章设计实现了一种新的人机交互系统,通过视线跟踪技术和物联网技术的结合,实现对家用电器的智能控制。设计了一套头戴式视线跟踪系统,作为物联网的感知层和服务管理层,通过眼睛摄像头采集眼动信息,结合标定信息,实时计算使用者在视野中的注视点,通过场景摄像头实时获取使用者的视野图像。采用Harr特征和Adaboost算法检测识别视野图像中的家用电器。在识别并锁定目标家电的基础上,激活物联网应用层,实现目标家电的控制。本文系统实现了视线注视对三种家电的模拟开关控制,系统具有较高的稳定性。

关键词： 教学反馈   表情识别   视线跟踪  

摘要： 学习者的面部表情是教师获得教学反馈信息的重要来源之一。表情识别利用计算机识别人脸表情,了解人的心理状态;视线跟踪则根据眼睛的特征和位置来判别注视的区域。二者的结合可以较好地弥补远程学习者对学习内容的表情反馈信息缺失方面的不足。但国内尚未查到将表情识别与视线跟踪相结合作为表情反馈信息收集方法的公开文献。为此,文中提出基于表情识别和视线跟踪技术的智能教学系统结构模型;构建学习相关表情库的方案;并设计表情识别与视线跟踪相结合获取反馈信息的技术框架。

关键词： Gaze tracking with eyeglasses   Feature extraction   Pupil segmentation  

摘要： As a new approach for human-computer interaction, the non-contact gaze tracking technology is facing an increasing demand for its practical application in daily interaction. Especially in respect of users with eyeglasses, the gaze tracking that is adaptive to interference of eyeglasses is attracting more attentions. In this paper, a robust algorithm of feature extraction for non-contact gaze tracking with eyeglasses is presented. The algorithm uses a pyramidal multi-scale screening strategy to locate the pupil at first, and then utilizes knowledge of essential characteristics to distinguish the real corneal-reflections from interference of eyeglasses. On this basis, the feature extraction of gaze is more robust and accurate. An experiment has been taken to evaluate the algorithm's performance to the interferences in some different situations. Comparing to a former algorithm that has been used, the success rate of the proposed algorithm has risen significantly. Therefore, the algorithm exhibits great potential for practical applications.

关键词： 视线跟踪   系统标定   椭圆瞳孔定位   3-D视线跟踪系统  

摘要： 在过去几十年里，视线跟踪和注视点估计技术在计算机视觉、心理学领域得到了广泛的研究。但是由于人眼的独特性、形状的可变性、尺度和坐标的不确定性以及光照的差异等因素，使得视线跟踪技术仍然是一个具有挑战性的任务。视线跟踪在神经系统科学、心理学和人机交互等方面有着广泛的应用。另外，注视点估计技术在人类行为分析、人类认知分析、市场与广告分析、人机交互交口等领域有着至关重要的作用。\n 本文对基于视频图像的视线跟踪技术中的一些关键技术和难点进行了深入的探讨，并重点研究了头戴式视线跟踪系统中的标定问题和变形瞳孔的精确定位问题，并在文章最后提出了一套3-D桌面式视线跟踪系统设计构架。主要研究成果如下:\n 1.研究了目前头戴式视线跟踪系统中的标定方法，提出了一种基于虹膜识别的一次标定方法。该方法要求使用者在第一次使用头戴式视线跟踪系统时进行标定，当再次使用该系统时，系统会根据虹膜识别技术采集使用者眼部图像，自动识别使用者身份，并将当前眼部数据与标定时的眼部数据进行对比，计算出两幅图像的相对偏转角和偏移量，得到使用者当前条件下的标定参数，从而省却再次标定的复杂过程。实验表明，该方法可以在不影响系统精度和不增加任何系统硬件的情况下，极大的简化系统标定过程，降低系统使用复杂度。\n 2.研究了变形瞳孔的精确定位问题，提出一种基于改进椭圆圆周差分算子的椭圆瞳孔定位算法。该算法将瞳孔定位问题分为边缘点提取和椭圆拟合两个部分。在边缘点提取中，首先采用径向对称算法大致定位出瞳孔位置并计算分割阈值，然后分割出图像中的瞳孔区域。同时结合眼睑和光斑位置信息，提取出真实的瞳孔边缘点集。在椭圆拟合部分，首先从瞳孔边缘点集中随机选取5个点拟合出椭圆，然后利用改进的椭圆圆周差分算子评估椭圆拟合的质量，再通过迭代选取出最佳的椭圆参数。由于椭圆圆周差分算子对于睫毛、眼睑等干扰非常不敏感，所以其可以真实的评估出椭圆拟合的质量。实验证明，该算法在眼睑、睫毛、光斑等因素干扰严重的情况下，比其他常用算法具有更加快速、鲁棒、精确的定位效果。\n 3.提出了一套3-D桌面式视线跟踪系统设计方案，从硬件和软件两个方面对视线跟踪系统进行了深入的探讨。首先系统引入一点标定技术和虹膜识别技术，简化系统的标定。然后利用特殊的硬件构建，降低了角膜中心点定位时的计算复杂度。最后通过特殊的光轴线估计方法，避免了直接定位真实瞳孔中心3-D位置，减小了因角膜表面折射所引入的误差。

关键词： 头戴式视线跟踪系统   一点标定方法   神经网络   极端学习机   误差修正  

摘要： 信息时代的到来，对人机交互提出了更高的要求。视线跟踪技术作为一种新颖的交互方式，吸引许多研究人员的研究兴趣，同时，图像处理、模式识别等一些技术的发展，为基于图像的视线跟踪技术的发展提供了技术支持，一些实用性的视线跟踪产品相继在市场中出现，获得了一些积极的反响。其中，头戴式视线跟踪系统由于其便携性，在一些应用场合具有不可替代的特殊用途，因而成为视线跟踪研究领域的一个研究热点。截至目前，头戴式视线跟踪领域依然存在一些问题没有得到很好的解决。例如，标定效率问题。目前的头戴式视线跟踪系统的标定过程较复杂，时间较长，一般在20s以上，不方便用户使用。再例如，由于头盔滑动所造成的跟踪误差变大的问题，目前依然没有一个有效的、可实用化的解决方法。\n 本文对头戴式视线跟踪系统中标定和头部支架滑动问题进行了研究，主要工作和贡献如下:\n 1、制作了一套头戴式视线跟踪实验系统，系统包括眼睛摄像头、场景摄像头，红外灯和头盔。系统基于一个红外标定点、或一个可见光下的图像标定点实施一点标定。\n 2、设计了一种一点标定方法，基于一个标定点，通过头部转动采集标定样本，以计算映射模型。一点标定可将系统标定时间缩短至10s，同时避免了标定点切换带来的负面影响，提高了标定效率和方便性。同时本文对一点标定的极限效率进行了测试，在DLT、二次多项式、极端学习机三种映射模型计算方法下，一点标定在保证2°的精度前提下，可以进一步缩短标定时间至5s。\n 3、采用一种快速神经网络模型-极端学习机(ELM)计算映射模型。同时将其与BP网络、直接线性变换(DLT)、多项式等方法在一点标定和多点标定情况下的学习性能进行综合比较，实验结果验证了极端学习机算法的有效性。\n 4、采用图像匹配的方法，计算眼睛图像的平移量，对头部支架滑动带来的误差进行修正。实验表明本文采用的图像匹配法计算图像平移量，误差在3～5个像素，较此前的眼角定位方法具有更高的精度，可以修正一部分由于头部支架滑动导致的误差。

关键词： 视线跟踪   头戴式系统   瞳孔定位   眼角定位   空间映射模型   实现交互系统  

摘要： 视线跟踪在人机交互、增强现实、人类习惯学习等领域有着重要的应用，近年来在计算机视觉领域得到了越来越多的关注。在人机交互领域而言，视线跟踪系统可分成两大类:一类基于桌面式眼动数据采集，用户不佩戴任何设备;另一类基于头戴式设备获取眼动数据，用户需要佩戴一些设备己获取状态数据。随着轻便材料和加工工艺的发展，基于头戴式的视线跟踪系统的应用将会更加普及。基于头戴式系统的研究涉及图像处理、计算机视觉领域的理论和技术。在图像处理方面，需要精确、快速地定位眼部图像中的变形瞳孔中心。在计算机视觉方面，则需要准确建立眼睛状态到显示器的空间映射关系，使得用户在标定过程和使用过程中得到更舒适的用户体验。\n 本文针对上述问题开展研究，主要的工作和贡献可总结为以下几点:\n 1.探讨和实现了一个两级的瞳孔定位方法。首先根据改进的星射线法，提取瞳孔边缘并进行椭圆拟合，在不发生眼睑遮挡时，能比较准确检测出变形瞳孔的中心。基于3D眼球模型设计了一个瞳孔遮挡检测算法，可以有效判断瞳孔是否被遮挡。当检测出瞳孔被遮挡时，进行第二级定位，采用改进的椭圆模板匹配算法，依据眼球模型参数，事先获得椭圆中心对应的长短轴比例和旋转角度，将椭圆模板匹配的计算复杂度由5维降低到3维，有效提高了匹配的效率。\n 2.研究和完成了一个由粗至精的快速眼角定位算法。首先提取眼部图像边缘，再利用椭圆拟合出眼角的大致区域。在内外眼角大致区域利用阈值分割出初始的内外眼角点。在内外眼角点上划定一块小区域，利用基于SUSAN算子的加权方差投影函数(SWVPF)进行眼角的精定位，实验结果验证了该算法的有效性。\n 3.建立了一套基于3D眼球模型的空间视觉模型，解决了标定过程存在的一点标定问题、使用过程头部自由运动产生的模型失配问题和头部运动空间测量问题。引入了一个基准坐标系，建立了一个从眼球坐标系到基准坐标系再到显示器坐标系的空间变换关系。基于场景摄像机，实时计算基准坐标系到显示器坐标系间关系;基于标定过程，训练出眼球坐标系到基准坐标系关系;从而最终计算出视线在显示器平面上的投影，即凝视点。基于该空间视觉模型，利用场景摄像机，可计算出头部的运动范围和角度。\n 4.设计并实现了一套视线交互的原型系统，实现了包括软键盘输入，目标跟踪和地图导航控制等应用，展现视线跟踪技术的应用前景。