关键词： 视线跟踪   角度映射   视轴   光轴  

摘要： 针对非接触式视线跟踪系统中注视点估计算法鲁棒性差的问题,提出一种基于角度映射的注视点估计算法。首先,根据人眼特性及视觉成像原理,瞳孔中心相对于角膜反射光斑的位置与注视点相对于红外光源的位置之间具有一定的角度映射关系,据此估计出注视点近似位置。然后,在眼球模型结构的基础上分析了眼球角膜曲面对注视点造成的偏差,通过弧长对误差进行补偿。最后,利用非线性多项式模型对眼球视轴和光轴之间的偏差进行拟合,得到最终的视线落点。实验证明,该系统具有较高的精度和自由度,在水平和垂直方向上最大误差均小于1 cm。

关键词： 视线跟踪   瞳孔-角膜反射   注视点估计   人机交互   虚拟现实   误差补偿   校准   神经网络  

摘要： 在回顾视线追踪技术发展历程的基础上,对该技术的研究方向和几种主要的视线跟踪方法进行了简单阐述。重点介绍了基于瞳孔-角膜反射法的视线追踪技术的原理及其硬件组成,尤其对现有视线跟踪系统中比较成熟的注视点估计算法进行了归纳总结和原理剖析。对二维和三维的注视点估计算法的精度和用户自由度进行了进一步的横向比较。最后指出了视线追踪技术存在的缺陷,并对其在人机交互、智能机器、虚拟现实等领域的应用前景进行了展望。

关键词： 计算机视觉   眼球重建   异面直线模型   双目视线跟踪   头动补偿  

摘要： 结合了传统三维重建及眼部跟踪模型,结合透视投影模型的改进型三维重建法,解决了明暗法非唯一解问题,得到了眼球必要点的三维坐标;建立头动补偿的异面直线模型,它通过眼球重建所求三维坐标点,得到异面直线模型,无须计算深度信息,直接通过建模求解与补偿机制,快速得到视线落点位置,减少了设备复杂性,并提高了算法的精度。因此,基于眼球重建异面直线模型的双目视线跟踪算法是计算机视觉跟踪方法的一种创新,为人机交互应用提供了新的思路。

关键词： 虹膜   眼睛内角点   视线跟踪   自然光  

摘要： 为解决自然光下视线跟踪系统注视点估计精度不高和头部运动受限问题,提出了一种基于虹膜和眼睛内角点特征的动态注视点眼动向量,并以虹膜面积信息对其进行标准化,以消除头部运动对眼动向量的影响.最后结合动态注视点眼动向量与多项式映射模型得到实时注视点,实现眼动向量与注视点的一一映射.采用该眼动向量可提高注视点估计精度,降低头部运动的影响.

关键词： 视线跟踪   系统标定   图像采集   特征点定位   注视点估计   红外光源  

摘要： 眼睛作为“人类心灵的窗户”，是人们获取外界信息的主要器官，人眼状态的变化可以反映内心活动及情感的变化，因此对人眼运动、视线变化的研究是了解人类内心活动、情感变化的关键。近年来，随着计算机技术及传感器技术的发展，视线跟踪技术得到了快速的发展。视线跟踪技术应用广泛，可应用于医学、军事、界面设计与评估、人机交互等诸多领域。而基于计算机图像处理的视线跟踪技术具有低干扰、高精度、实时性能好的优点，因此已成为视线跟踪研究的主流方法。\n 本文基于计算机图像处理技术，研究了一种基于瞳孔-角膜反射法的视线跟踪方法，我们搭建了相应的视线跟踪装置，并对其中的关键算法进行了深入研究。系统的硬件装置主要有两个850nm近红外光源、一个CCD相机及对应的滤光片等。主要流程包括:系统标定、图像采集、特征点定位、注视点估计等。\n 本文重点研究了瞳孔以及普尔钦亮斑的精确定位。首先通过Adaboost算法及级联分类器进行人眼检测，粗定位眼睛区域，然后在此基础上进行瞳孔及普尔钦亮斑的定位。对于瞳孔的定位，本文提出了一种自适应阈值方法，该方法能够适应不同测试者及光照条件，将瞳孔与非瞳孔部分很好地分离，然后再通过Canny边缘提取算子及椭圆拟合方法，实现了瞳孔的精准、快速定位;而对于普尔钦亮斑的定位，本文提出了一种基于K-means聚类算法及质心法的方法，通过开运算前后的差分图像得到所有亮斑点集合，然后对亮斑点集合进行K-means聚类，得到两个光斑点集合，再通过加权质心法求得其加权质心位置，从而实现了对两个普尔钦亮斑的精准定位。\n 在注视点估计（视线跟踪流程的最后一步）中，本文采用了多项式非线性回归模型，通过在屏幕设置标定点来求解多项式的系数，从而得到眼动数据到实际注视点数据的转化关系，并在提取瞳孔中心-角膜反射亮斑(PC-CR)向量后将其进行标准化，以减小头部运动带来的影响。最后我们通过Python软件平台及OpenCV视觉库进行了系统测试，验证了本文相关算法的有效性，当用户头部保持静止时，系统平均偏差为0.93度，而且，系统能较好的适应前后方向的头部运动，满足一般实用性要求。

关键词： 智能界面   视线跟踪   眼动   视觉注意分配   模糊聚类  

摘要： 针对传统用户界面难以满足普适计算发展的需求,提出一种基于视线跟踪的智能界面解决方案。首先,以视觉注意力选择机制为理论基础,对智能界面交互框架中用户、界面和系统三要素进行统一描述和说明;然后,以三要素的映射关系为研究依据,采用模糊聚类方法来计算用户对界面对象的注意程度值,并使用视觉注意分配策略来预测用户对界面对象的兴趣程度;最后,设计相关实验来验证智能界面实现机制的有效性。实验结果表明,智能界面预测用户决策意图的准确率高达85%,是一种能够主动标注用户兴趣目标的智能界面可选方案。

关键词： 视线跟踪   定标   视觉关注模型   用户使用历史   误差函数  

摘要： 随着计算机和移动电子设备的普及和应用,关于如何方便自然地进行人机交互的研究越来越受到关注。作为一种智能人机交互方式,视线跟踪技术的有关研究逐渐成为了国内外的热门研究领域,并被广泛应用到医疗诊断、心理测评、军事研究、广告评估等多个领域。虽然视线跟踪技术受到了广泛的关注,并且发展迅速,但是将视线跟踪技术应用到实际中仍然存在一些问题：系统采用的硬件设备复杂、成本高,对使用环境的适应性差；大部分精度较高的视线跟踪系统都需要用户在使用前进行定标,定标过程较为繁琐,用户人机交互的体验性差。同时,由于近年来手机、平板等移动电子设备走进人们的日常生活中,并且逐渐成为个人的必需品,因此研究出一种针对个人或固定人群使用的视线交互系统最有非常重要的意义。针对上述问题,本文以省略定标过程的视线交互技术作为主要研究内容,首先介绍了视线跟踪技术的基本知识,主要包括视线跟踪技术的研究背景、研究现状、人眼结构以及人眼注视特性等,并介绍了省略定标过程的视线交互系统整体架构；然后介绍了视觉关注建模方法,并提出了一种基于视觉关注模型的辅助校正算法；接着根据用户的注视特性和历史注视数据特性,提出了一种基于使用历史的视线校正技术,进一步提高视线跟踪系统的交互自然性；论文最后还介绍了省略定标过程的视线交互技术在移动电子设备中的潜在应用。论文的主要创新点如下：1、提出一种视觉关注建模辅助校正算法,利用视觉关注模型计算得到人眼注视图像的显著图,并根据显著图与人眼注视特性的关系,对视线估计结果进行辅助校正,从而省略定标过程,得到注视点的大致位置。2、对用户在不同注视位置下的定标点估计数据进行采集和分析,得出定标点与基准定标点间的误差函数关系,为视线跟踪系统的校正技术提供了理论依据。3、针对上述分析提出的用户历史定标点估计数据的误差函数关系,提出了基于使用历史的视线校正技术,用户在某一未知位置只需注视基准定标点的情况下,根据用户历史定标数据的函数关系,可以直接得到对应于当前注视位置的所有定标信息,将定标信息用于视线跟踪系统校正,得到较为准确的视线估计结果。4、介绍了省略定标的视线交互技术在移动电子设备中的应用,根据移动电子设备的使用对象相对固定,并且使用距离较为稳定的特性,提出了固定人群用户和特定用户利用视线跟踪系统操控移动电子设备的情况,推动了视线跟踪技术在移动电子设备中的应用。

关键词： 眼动跟踪   视线检测   人机交互  

摘要： 视线跟踪技术是机器视觉的一个重要分支,主要研究人眼特征的检测和识别,并根据检测结果定位人眼的注视点。在神经科学、心理学、人机交互学、人机工程学以及临床诊断等领域,视线跟踪技术有着广阔的应用前景。视线跟踪系统采用的方法原理决定了其性能指标。本课题采用基于梯度值和圆特性的改进Hough变换方法,结合图像处理技术等设计实现了非接触式的视线跟踪目的。根据系统需求,本文提出了系统的设计方案,并从硬件、软件两方面开展系统设计。系统以个人电脑为主要硬件平台,硬件设计包括摄像头选取,便携式佩戴载具的设计等。软件设计的核心是图像处理。首先通过预处理对眼图进行二值化处理和图像平滑(中值滤波),去除噪点。接着采用阈值分割、边缘检测、圆拟合等一系列算法提取瞳孔图像并获得瞳孔中心位置。之后,通过基于二阶模型的标准标定方法校准确定瞳孔中心和屏幕坐标系的映射函数关系。最终,根据映射函数关系,计算人眼注视点,并叠加在显示器上,为人机交互打下了基础。最后,对基于视线姿态的人机交互进行了实际实验测试。借鉴鼠标-手势算法,运用改进的视线姿态算法,通过三个独立测试任务,对测试者自然状态和特定工作状态下视线点的运动模式进行了分析,获得了九个基本视线姿态的测试数据,并最终取得了一个理想适用的视线姿态候选项用执行交互动作。本文设计的基于视线跟踪的人机交互系统系统结构简单,成本低,视线点定位精度较高,在人机交互领域有较大前景。

关键词： 视线跟踪   瞳孔提取   人机交互   增强现实   头盔显示  

摘要： 眼睛作为人体的视觉器官,是人类感知外界信息和向外界表达内心世界的重要工具,大脑中约80%的信息是通过视觉获取的。视线是指人眼的注视方向,通过对人眼视线的跟踪与定位可以获得人类对外界信息的感知及意图。利用计算机对人的视觉过程进行精确追踪的视线跟踪技术一直是研究的热点。随着对视线跟踪技术的深入研究,视线跟踪的应用也日益广泛,其应用领域涵盖发展心理学、医学诊断、商业广告测评、娱乐、交通、军事、人机交互等,具有非常好的应用前景。本论文针对视线跟踪技术存在的问题,提出了一种头盔式视线跟踪系统的设计方案。该系统硬件结构简单,允许头部自由运动,并具有很好的跟踪效果。同时对系统的软件算法进行研究和优化,主要算法包括：瞳孔提取算法、角膜反射亮斑提取算法、标定算法和跟踪算法。该系统的创新点主要体现在以下几个方面：1.改进了传统视线跟踪系统对人的限制：将眼部摄像机、场景摄像机和和红外光源集成到头盔上,三者保持相对静止,因此头部的转动不会影响场景图片与眼部图片的映射关系,即不影响跟踪精度。2.提高了算法精度：眼部摄像机获取清晰眼部图像,利用二值化、Canny算子、椭圆拟合等图像处理过程精确定位瞳孔中心和角膜反射亮斑中心。3.提高了算法运算效率,满足实时性要求：算法采用非迭代方法,无需提前移除角膜反射亮斑,不对图像作任何前期处理工作,同时对于角膜反射亮斑的提取,只对部分区域做处理,提高了运算速度。本论文还对头盔式视线跟踪系统的误差进行计算,并分析各种因素对视线跟踪精度的影响,最后通过实验对视线跟踪的误差进行估计与计算。本文提出的头盔式视线跟踪系统在X方向和Y方向的平均误差都在0.4。左右,处理速度23帧/s,满足视线跟踪系统的要求。最后针对视线跟踪在增强现实显示领域的应用,我们将视线跟踪系统与头盔显示系统相结合,设计了一套集成系统。该系统可以利用视线跟踪系统为头盔显示系统提供用户的视线方向和用户在场景中的感兴趣区域,头盔显示系统可以根据视线跟踪系统提供的用户信息,将相关的增强现实信息注册到用户的注视点,实现增强现实显示系统的三维注册、实时交互和虚实融合。并针对该应用对头盔显示器的光学系统进行设计,提出了一套设计方案,但是该方案还处于初步阶段,还需要更进一步的研究和论证。

关键词： 自然光   视线跟踪   投影映射校正   视线落点补偿  

摘要： 随着计算机技术的发展,人机交互技术的理论和技术得到越来越多的关注和重视。其中,基于摄像的视线跟踪技术直接感知眼睛视线,在推动人机交互技术变革以及相关机器视觉、心理学研究等方面均具有重大意义。自然光下基于单目摄像头的视线跟踪技术无需主动红外光源辅助和复杂的硬件标定,更有利于视线跟踪技术的推广应用。然而,该领域仍然有许多基础理论问题没得到很好的解决,主要为自然光下眼睛特征信息的精确提取以及如何提高注视点映射模型的头部运动容忍能力。因此,本文对这两个方面进行深入研究,提出一种在自然光下能满足头部自由运动的视线跟踪算法。主要工作内容如下:(1)自然光下的眼动特征提取。针对光照变化和头部运动对特征提取带来的影响,首先采用基于形状回归的人脸初定位方法确定各特征点的感兴趣区域,其次依据不同角点特征的具体生理形状分别进行定位,通过角点分值计算筛选方法得到眼睛内角点和嘴角点定位,并采用曲线拟合方法定位眼睛外角点。对于虹膜特征,提出一种基于滑动窗口检测的方法进行虹膜边缘提取和虹膜中心定位。(2)满足头部自由运动的注视点映射模型构建。首先,根据虹膜中心与眼睛内外角点构建基于双眼数据的眼动向量。其次,根据头部自由运动时眼睛特征点在图像上的位置变化关系,提出一种基于投影映射校正的方法进行眼动向量校正,降低头部运动对眼动向量的影响。最后,通过支持向量回归模型得到头部运动与视线落点偏差的关系,对视线估计结果进行补偿,从而构建满足头部自由运动的注视点映射模型。本文的眼动特征提取方法在自然光下能有效定位到眼睛内外角点及嘴角点特征,虹膜特征检测方法在不同眼睛姿态和头部姿势下定位准确率达到95.6%;结合眼动向量校正和视线落点补偿模型在头部自由运动下的视线估计约为2.67°。实验结果证明本文的视线跟踪算法能较好的解决自然光下基于单目摄像头的视线跟踪所遇到的问题。