关键词： 视线跟踪   标定方法   虹膜识别   眼角定位  

摘要： 为了简化头戴式视线跟踪系统中的标定过程,提出一种无需添加任何硬件的、基于虹膜识别的一次标定方法.使用者只需在第一次使用头戴式视线跟踪系统时进行标定,再次使用时,系统会自动进行虹膜识别,调出使用者第一次标定时的眼部图像数据来计算当前眼部图像与标定时的眼部图像的相对偏转角和偏移量,得到使用者当前的标定参数.实验结果表明,该方法可以在不影响系统原有精度的条件下,省去使用者每次使用视线跟踪系统时都需要进行的烦琐的标定过程,大大简化了系统的标定,降低了系统的使用复杂度.

关键词： 视线跟踪   θ-D控制方法   姿轨联合控制   视线坐标系   误差四元数  

摘要： 航天器在实施对空间非合作目标的近程操作任务中,需要接近目标并保持在目标附近的特定方位,对目标指定部位随动跟踪和观测。针对非合作机动目标的接近和视线跟踪的六自由度控制问题,根据视线坐标系下的相对轨道方程和体坐标系下的相对误差四元数姿态方程,建立了航天器间近距离相对运动的轨道和姿态联合控制模型。考虑模型的非线性、时变性和计算的快速性,采用θ-D控制方法进行接近和视线跟踪的轨道和姿态联合控制。为了减小跟踪同时存在轨道和姿态机动的非合作目标的控制误差,应用Lyapunov最小-最大定理设计了θ-D修正控制器,改善非合作目标同时进行姿态和轨道机动时的控制性能。仿真验证了模型的正确性和控制器良好的跟踪性能。

关键词： 头戴式   视线跟踪   目标识别   家电控制   物联网  

摘要： 文章设计实现了一种新的人机交互系统,通过视线跟踪技术和物联网技术的结合,实现对家用电器的智能控制。设计了一套头戴式视线跟踪系统,作为物联网的感知层和服务管理层,通过眼睛摄像头采集眼动信息,结合标定信息,实时计算使用者在视野中的注视点,通过场景摄像头实时获取使用者的视野图像。采用Harr特征和Adaboost算法检测识别视野图像中的家用电器。在识别并锁定目标家电的基础上,激活物联网应用层,实现目标家电的控制。本文系统实现了视线注视对三种家电的模拟开关控制,系统具有较高的稳定性。

关键词： 教学反馈   表情识别   视线跟踪  

摘要： 学习者的面部表情是教师获得教学反馈信息的重要来源之一。表情识别利用计算机识别人脸表情,了解人的心理状态;视线跟踪则根据眼睛的特征和位置来判别注视的区域。二者的结合可以较好地弥补远程学习者对学习内容的表情反馈信息缺失方面的不足。但国内尚未查到将表情识别与视线跟踪相结合作为表情反馈信息收集方法的公开文献。为此,文中提出基于表情识别和视线跟踪技术的智能教学系统结构模型;构建学习相关表情库的方案;并设计表情识别与视线跟踪相结合获取反馈信息的技术框架。

关键词： 视线跟踪   系统标定   椭圆瞳孔定位   3-D视线跟踪系统  

摘要： 在过去几十年里，视线跟踪和注视点估计技术在计算机视觉、心理学领域得到了广泛的研究。但是由于人眼的独特性、形状的可变性、尺度和坐标的不确定性以及光照的差异等因素，使得视线跟踪技术仍然是一个具有挑战性的任务。视线跟踪在神经系统科学、心理学和人机交互等方面有着广泛的应用。另外，注视点估计技术在人类行为分析、人类认知分析、市场与广告分析、人机交互交口等领域有着至关重要的作用。\n 本文对基于视频图像的视线跟踪技术中的一些关键技术和难点进行了深入的探讨，并重点研究了头戴式视线跟踪系统中的标定问题和变形瞳孔的精确定位问题，并在文章最后提出了一套3-D桌面式视线跟踪系统设计构架。主要研究成果如下:\n 1.研究了目前头戴式视线跟踪系统中的标定方法，提出了一种基于虹膜识别的一次标定方法。该方法要求使用者在第一次使用头戴式视线跟踪系统时进行标定，当再次使用该系统时，系统会根据虹膜识别技术采集使用者眼部图像，自动识别使用者身份，并将当前眼部数据与标定时的眼部数据进行对比，计算出两幅图像的相对偏转角和偏移量，得到使用者当前条件下的标定参数，从而省却再次标定的复杂过程。实验表明，该方法可以在不影响系统精度和不增加任何系统硬件的情况下，极大的简化系统标定过程，降低系统使用复杂度。\n 2.研究了变形瞳孔的精确定位问题，提出一种基于改进椭圆圆周差分算子的椭圆瞳孔定位算法。该算法将瞳孔定位问题分为边缘点提取和椭圆拟合两个部分。在边缘点提取中，首先采用径向对称算法大致定位出瞳孔位置并计算分割阈值，然后分割出图像中的瞳孔区域。同时结合眼睑和光斑位置信息，提取出真实的瞳孔边缘点集。在椭圆拟合部分，首先从瞳孔边缘点集中随机选取5个点拟合出椭圆，然后利用改进的椭圆圆周差分算子评估椭圆拟合的质量，再通过迭代选取出最佳的椭圆参数。由于椭圆圆周差分算子对于睫毛、眼睑等干扰非常不敏感，所以其可以真实的评估出椭圆拟合的质量。实验证明，该算法在眼睑、睫毛、光斑等因素干扰严重的情况下，比其他常用算法具有更加快速、鲁棒、精确的定位效果。\n 3.提出了一套3-D桌面式视线跟踪系统设计方案，从硬件和软件两个方面对视线跟踪系统进行了深入的探讨。首先系统引入一点标定技术和虹膜识别技术，简化系统的标定。然后利用特殊的硬件构建，降低了角膜中心点定位时的计算复杂度。最后通过特殊的光轴线估计方法，避免了直接定位真实瞳孔中心3-D位置，减小了因角膜表面折射所引入的误差。

关键词： 头戴式视线跟踪系统   一点标定方法   神经网络   极端学习机   误差修正  

摘要： 信息时代的到来，对人机交互提出了更高的要求。视线跟踪技术作为一种新颖的交互方式，吸引许多研究人员的研究兴趣，同时，图像处理、模式识别等一些技术的发展，为基于图像的视线跟踪技术的发展提供了技术支持，一些实用性的视线跟踪产品相继在市场中出现，获得了一些积极的反响。其中，头戴式视线跟踪系统由于其便携性，在一些应用场合具有不可替代的特殊用途，因而成为视线跟踪研究领域的一个研究热点。截至目前，头戴式视线跟踪领域依然存在一些问题没有得到很好的解决。例如，标定效率问题。目前的头戴式视线跟踪系统的标定过程较复杂，时间较长，一般在20s以上，不方便用户使用。再例如，由于头盔滑动所造成的跟踪误差变大的问题，目前依然没有一个有效的、可实用化的解决方法。\n 本文对头戴式视线跟踪系统中标定和头部支架滑动问题进行了研究，主要工作和贡献如下:\n 1、制作了一套头戴式视线跟踪实验系统，系统包括眼睛摄像头、场景摄像头，红外灯和头盔。系统基于一个红外标定点、或一个可见光下的图像标定点实施一点标定。\n 2、设计了一种一点标定方法，基于一个标定点，通过头部转动采集标定样本，以计算映射模型。一点标定可将系统标定时间缩短至10s，同时避免了标定点切换带来的负面影响，提高了标定效率和方便性。同时本文对一点标定的极限效率进行了测试，在DLT、二次多项式、极端学习机三种映射模型计算方法下，一点标定在保证2°的精度前提下，可以进一步缩短标定时间至5s。\n 3、采用一种快速神经网络模型-极端学习机(ELM)计算映射模型。同时将其与BP网络、直接线性变换(DLT)、多项式等方法在一点标定和多点标定情况下的学习性能进行综合比较，实验结果验证了极端学习机算法的有效性。\n 4、采用图像匹配的方法，计算眼睛图像的平移量，对头部支架滑动带来的误差进行修正。实验表明本文采用的图像匹配法计算图像平移量，误差在3～5个像素，较此前的眼角定位方法具有更高的精度，可以修正一部分由于头部支架滑动导致的误差。

关键词： 视线跟踪   头戴式系统   瞳孔定位   眼角定位   空间映射模型   实现交互系统  

摘要： 视线跟踪在人机交互、增强现实、人类习惯学习等领域有着重要的应用，近年来在计算机视觉领域得到了越来越多的关注。在人机交互领域而言，视线跟踪系统可分成两大类:一类基于桌面式眼动数据采集，用户不佩戴任何设备;另一类基于头戴式设备获取眼动数据，用户需要佩戴一些设备己获取状态数据。随着轻便材料和加工工艺的发展，基于头戴式的视线跟踪系统的应用将会更加普及。基于头戴式系统的研究涉及图像处理、计算机视觉领域的理论和技术。在图像处理方面，需要精确、快速地定位眼部图像中的变形瞳孔中心。在计算机视觉方面，则需要准确建立眼睛状态到显示器的空间映射关系，使得用户在标定过程和使用过程中得到更舒适的用户体验。\n 本文针对上述问题开展研究，主要的工作和贡献可总结为以下几点:\n 1.探讨和实现了一个两级的瞳孔定位方法。首先根据改进的星射线法，提取瞳孔边缘并进行椭圆拟合，在不发生眼睑遮挡时，能比较准确检测出变形瞳孔的中心。基于3D眼球模型设计了一个瞳孔遮挡检测算法，可以有效判断瞳孔是否被遮挡。当检测出瞳孔被遮挡时，进行第二级定位，采用改进的椭圆模板匹配算法，依据眼球模型参数，事先获得椭圆中心对应的长短轴比例和旋转角度，将椭圆模板匹配的计算复杂度由5维降低到3维，有效提高了匹配的效率。\n 2.研究和完成了一个由粗至精的快速眼角定位算法。首先提取眼部图像边缘，再利用椭圆拟合出眼角的大致区域。在内外眼角大致区域利用阈值分割出初始的内外眼角点。在内外眼角点上划定一块小区域，利用基于SUSAN算子的加权方差投影函数(SWVPF)进行眼角的精定位，实验结果验证了该算法的有效性。\n 3.建立了一套基于3D眼球模型的空间视觉模型，解决了标定过程存在的一点标定问题、使用过程头部自由运动产生的模型失配问题和头部运动空间测量问题。引入了一个基准坐标系，建立了一个从眼球坐标系到基准坐标系再到显示器坐标系的空间变换关系。基于场景摄像机，实时计算基准坐标系到显示器坐标系间关系;基于标定过程，训练出眼球坐标系到基准坐标系关系;从而最终计算出视线在显示器平面上的投影，即凝视点。基于该空间视觉模型，利用场景摄像机，可计算出头部的运动范围和角度。\n 4.设计并实现了一套视线交互的原型系统，实现了包括软键盘输入，目标跟踪和地图导航控制等应用，展现视线跟踪技术的应用前景。

关键词： SOC   视线跟踪   片上总线   IP核复用   FPGA  

摘要： SOC（片上系统）将微处理器，数字、模拟功能单元和存储器等基本模块集成到单一芯片上，从而具有高速、低功耗和多功能等特点。因此，SOC技术及其设计方法学已成为集成电路未来发展和研究的主流，其中SOPC（System On Programmable Chip）技术，即可编程片上系统，提供了一种在性能、效率和成本上可灵活折衷的SOC解决方案。它通过片上总线和IP核（知识产权）复用的方式，将软硬件各功能模块集成到单一片上系统，实现SOC系统的集成。 本文依据片上总线和IP核复用的SOC设计方法，开展视线跟踪系统的SOC设计与验证。在分析系统需求和算法原理的基础下，比较各种可行方案，对系统进行设计和集成，并在SOPC实际系统中进行验证。本文的主要研究工作包括： （1）介绍SOC的概念、优势及其设计方法学的研究现状和视线跟踪系统的SOC研究进展，分析说明了视线跟踪SOC系统广阔的应用前景和市场前景。 （2）介绍基于普尔钦斑点法的视线跟踪技术的基本原理和工作流程，在普尔钦斑点法流程分析的基础上对SOC系统进行功能划为，确定SOC系统的框架。深入分析基于Adaboost的人眼定位算法的基本原理，对其进行数据流的分析和模块划分，提出了基于向量法的快速积分图生成器，并针对级联分类器通过率的差异设计串并混合架构的分类器。 （3）详细介绍视线向量提取的基本原理，针对瞳孔、亮斑定位算法的特点，采用软硬件协同设计的方法设计视线向量提取硬件模块。本文采用随机抽样一致性算法进行椭圆拟合以精确估计瞳孔中心，提高了系统的视线跟踪精度。通过分析随机抽样一致性拟合算法的数据流，对其进行模块划分，完成了改进型伪随机数生成器、矩阵快速逆运算和基于代数距离误差累计模块的设计和验证。 （4）对本文视线跟踪系统进行SOPC集成和验证，通过对样本集进行的测试实验说明SOC系统的运算结果与原型算法高度接近，保持了算法的原样性。同时，系统运行在50MHz的SOPC平台上，处理速度达到11帧/秒，基本达到实时性的要求。通过对SOPC系统与其他平台系统的检测精度与运行效率比较证明：SOC系统能够在保证精度的前提下，以较低的运行频率实现高性能的运算，充分体现了SOC技术及其设计方法学的先进性。

关键词： 特征提取算法   视线跟踪   非接触式   眼镜   自适应干扰   鲁棒   人机交互   跟踪技术  

摘要： As a new approach for human-computer interaction, the non-contact gaze tracking technology is facing an increasing demand for its practical application in daily interaction. Especially in respect of users with eyeglasses, the gaze tracking that is adaptive to interfer- ence of eyeglasses is attracting more attentions. In this paper, a robust algorithm of feature extraction for non- contact gaze tracking with eyeglasses is presented. The algorithm uses a pyramidal multi-scale screening strategy to locate the pupil at first, and then utilizes knowledge of essential characteristics to distinguish the real corneal- reflections from interference of eyeglasses. On this basis, the feature extraction of gaze is more robust and accurate. An experiment has been taken to evaluate the algorithm’s performance to the interferences in some different situa- tions. Comparing to a former algorithm that has been used, the success rate of the proposed algorithm has risen significantly. Therefore, the algorithm exhibits great po- tential for practical applications.

关键词： 教学反馈   表情识别   视线跟踪  

摘要： 学习者的面部表情是教师获得教学反馈信息的重要来源之一.表情识别利用计算机识别人脸表情,了解人的心理状态；视线跟踪则根据眼睛的特征和位置来判别注视的区域.二者的结合可以较好地弥补远程学习者对学习内容的表情反馈信息缺失方面的不足.但国内尚未查到将表情识别与视线跟踪相结合作为表情反馈信息收集方法的公开文献.为此,文中提出基于表情识别和视线跟踪技术的智能教学系统结构模型；构建学习相关表情库的方案；并设计表情识别与视线跟踪相结合获取反馈信息的技术框架.