关键词： 视线跟踪   人脸检测   CUDA   人机交互   实时性   并行性  

摘要： 利用机械、电子、光学等各种检测手段获取视线注视方向的视线跟踪技术越来越广泛地应用于人机交互、助老助残、车辆辅助驾驶、虚拟现实、军事等领域。本文提出了一种以数字视频分析以及图像处理为技术手段，以单摄像头设备为主要视频输入通道的视线跟踪技术，以此为基础构建了基于CPU+GPU平台的视线跟踪系统。本系统通过实时定位人眼特征点──主要包括瞳孔中心及内眼角点位置信息，将特征点数据代入视线估计模型进行估计，计算得到视线注视点并实时显示在屏幕上。 本文所构建的系统主要包括人眼参数初始化和实时视线估计跟踪两个阶段。在人眼参数初始化阶段，通过分别截取用户注视屏幕上九个不同方位点时的视频图像，对其进行图像检测以得到人眼特征点信息，从而对该用户人眼的基本参数进行初始化，为视线估计提供基础；在实时视线估计跟踪阶段，连续处理每帧采集到的视频图像，检测图像进行人脸定位以及人眼特征点定位以得到人眼特征点坐标信息，随后将每一组有效的特征点信息代入视线估计模型计算得到屏幕上人眼注视点坐标，经滤波处理后实时且连续地显示在显示器上，从而完成视线跟踪。 为了在桌面系统上实现视线跟踪实时性，整个系统在CPU+GPU平台上进行构建，根据系统任务特征提出了一种合理的任务划分与调度策略。由CPU负责系统构建、任务调度以及串行计算，将图像检测过程中计算量较大的人脸检测以及部分人眼特征点检测算法在GPU上并行实现。为此，本文深入研究并挖掘了人脸检测以及人眼特征点检测算法的并行性，基于GPU并行架构特点有针对性地设计了并行算法。通过实验验证，算法取得了较高的特征点检测精度并达到了系统的实时性要求，从而，有效地实现了实时视线估计与跟踪系统。

关键词： 视线跟踪   头盔式眼动仪   注视点标定   眼动仪标定算法  

摘要： 视线跟踪技术指的是通过对人眼运动过程中一些特性的检测，完成对人眼视线变化过程准确追踪的技术。 作为视线跟踪技术最成熟的产物之一的眼动仪，就是通过检测并记录眼睛观察外界过程中一些参数的变化，从而实现对人眼视线跟踪的仪器。本文中主要讨论头盔式眼动仪系统，在进行墙面的标定过后将标定结果转换到计算机屏幕上，完成眼动仪系统的设计与实现，。 本文首先对眼动仪系统整个框架进行了构建，并对构成眼动仪系统的各个部分包括硬件方面、软件方面进行了介绍。 硬件方面主要包括头盔、PC机。图像显示卡以及DM6446EVM开发板，软件方面包括了图像处理模块、标定模块以及坐标转换模块。这三部分分别采用了改进星射线算法、去均值归一化相关法（NNPROD）、瞳孔—角膜反射光斑差值拟合算法和直接线性（DLT）变换算法，后两种算法的求解依赖的是矩阵分解算法。 随后搭建了头盔式眼动仪系统，图像处理模块和标定模块集成在DM6446EVM平台中，这部分完成对眼图的处理以及墙面注视点标定工作，坐标转换模块集成在装有图像采集卡的PC机中，主要完成最后计算机屏幕注视点的标定工作。 最后利用整个头盔式眼动仪系统完成了视线跟踪实验，并对系统的性能以及误差进行分析，根据实验经验提出了对系统的一些改进措施。

关键词： 视线跟踪   灰度差   超分辨   相似三角形   二次定标  

摘要： 视线跟踪技术是近年来在多媒体以及人机交互领域内的热门研究课题,它可以通过捕获人眼的运动轨迹来获取人眼的视线方向或注视点的位置。由于其直接性、灵活性和自然性等特点,在计算机控制、密码输入、广告测评、医学诊断及虚拟现实等领域具有广泛的应用前景。 然而,尽管视线跟踪技术的应用存在着诱人的前景并且近年来也取得了较快的发展,但由于各方面技术的不成熟、人眼运动本身的特性以及过高的成本,使得目前的视线跟踪技术尚不能广泛应用于实际生产,仍然有许多问题需要解决：进一步提高视线跟踪系统的精度及鲁棒性；提高系统的自由度,降低对用户头动的限制以及定标过程的复杂度；降低算法的复杂度以保证系统的实时性；降低系统的成本。 针对上述问题,本文以基于近红外光源的非接触式视线跟踪系统为研究平台,分别对图像预处理、注视点估计以及系统定标等环节进行了深入研究并提出自己新的思想和算法,以便进一步提高现有视线跟踪系统的精度、自由度,降低系统的成本,推动视线跟踪系统实用化的进程。论文的主要创新性研究如下： 1、提出基于灰度差的视线跟踪预处理方法,利用人脸、角膜反射点以及瞳孔之间的灰度差来定位人眼,并针对瞳孔及反射点本身在形状、面积、空间位置上的特点,通过腐蚀膨胀、桥接、筛选等图像处理手段消除眼镜、配饰等外界干扰因素对人眼定位的影响,以进一步提高视线跟踪系统的精度及鲁棒性。 2、将超分辨技术应用于视线跟踪系统,对拍摄图像的局部区域,如提取出的大致瞳孔区域,使用超分辨技术,获得具有较高分辨率的图像,以便更为精确地提取人眼特征参数,进而提高视线估计结果的精度。 3、提出一种基于空间相似三角形的双光源注视点估计算法,利用人眼图像中瞳孔中心与两反射点构成的三角形和屏幕上注视点及两个红外光源构成的三角形为近似相似三角形来确定屏幕上注视点的大致位置。 4、在上述基于空间相似三角形的双光源视线估计算法的基础上,对算法中产生的误差进行在三维空间中的定量分析,并得出误差的区域特性,为系统的标定和进一步提高视线估计结果的精度提供理论依据。 5、提出基于二次定标的视线跟踪系统标定方法,根据估计误差的区域特性,屏幕被分为五个区域并将定标点分两次使用,不同区域的注视点利用不同定标点来定标,得到较为精确的注视点估计结果。 6、根据误差产生的原理,通过利用人眼在三维空间中的位置关系,对注视点估计的结果进行较为精确地误差补偿,进一步提高视线跟踪系统的精度及自由度。 7、提出一些视线跟踪技术的潜在应用,进一步扩展视线跟踪技术的应用范围。

关键词： 视线跟踪   人机交互   视线分辨参数   光源位置  

摘要： 为实现红外电视法视线跟踪人机交互系统工作参数自适应标定,通过对人机交互空间各组成部分相互关系的分析,提出一种视线分辨角和方向角检测视线方向的方法,并建立起系统模型。利用建立的模型和提出的方法进行了仿真实验,重点研究了眼睛注视交互界面上不同目标时,视线分辨参数在光源不同位置情况下的变化规律。试验结果表明,光源在交互界面中下方时视线分辨率较高,有利于检测视线方向,提出的方法为研究视线分辨参数与其它因素间的关系提供了新思路。

关键词： Assistive technology   capacitive facial movement detection   gaze tracking   human-computer interaction   multimodal interaction  

摘要： A light-weight, wearable, wireless gaze tracker with integrated selection command source for human-computer interaction is introduced. The prototype system combines head-mounted, video-based gaze tracking with capacitive facial movement detection that enable multimodal interaction by gaze pointing and making selections with facial gestures. The system is targeted mainly to disabled people with limited mobility over their hands. The hardware was made wireless to remove the need to take off the device when moving away from the computer, and to allow future use in more mobile contexts. The algorithms responsible for determining the eye and head orientations to map gaze direction to on-screen coordinates are presented together with the one to detect movements from the measured capacitance signal. Point-and-click experiments were conducted to assess the performance of the multimodal system. The results show decent performance in laboratory and office conditions. The overall point-and-click accuracy in the multimodal experiments is comparable to the errors in previous research on head-mounted, single modality gaze tracking that does not compensate for changes in head orientation.

关键词： 视线跟踪   人机交互   视线方向  

摘要： 视线跟踪技术由于其直接性、自然性和双向性的特点,已成为人机交互中的研究热点。本文介绍了视线跟踪的基本原理、方法,对视线跟踪作为人机交互通道所具有的特点进行了讨论,并指出了其在人机交互领域中的应用及前景。

关键词： 视线跟踪   注视点估计   头戴式视线跟踪系统   标记点检测  

摘要： 传统的头戴式视线跟踪系统需要借助额外的头部位置跟踪器或其他辅助设备才能定位视线方向。针对该问题,提出一种基于标记点检测的注视点估计方法。该方法通过计算机视觉的方法检测标记点,建立场景图像与真实场景中计算机屏幕之间的空间关系,将场景图像中的注视点坐标映射到计算机屏幕中。实验结果表明,该方法简单易行,可以较好地估计出用户在真实场景中的注视点坐标。

关键词： 视线跟踪   混合特征   表观特征   模型特征   支持向量回归(SVR)  

摘要： 提出了一种基于混合特征的注视方向判别方法。混合特征由模型特征和表观特征组成。模型特征是提取的特征点间的几何向量，表观特征是从眼睛图像提取的方向二值模式（DBP）。将两种特征通过支持向量回归（SVR）算法融合起来，将组合特征一一对应于某一确定的头部姿态下的一个确定的注视方向。非特定人实验所用数据库有11个采集人，共计4089个样本。所用的样本在采集时保持头部正面面向摄像机，仅双眼注视预定的方向。实时测试时仅用一个单摄像机，输入是单帧人脸图像，输出为以摄像机坐标系计量的欧拉角度值。实验验证了混合特征的有效性，实验结果为3°的测试误差。

关键词： 光斑检测   光斑定位   视线跟踪   径向对称变换  

摘要： 光斑的检测和定位是视线跟踪系统中的一个重要环节,其定位精度直接影响视线跟踪系统的精度.目前常用的基于灰度二值化的光斑检测方法,容易受到光斑亮度变化和镜面反光等因素的影响.径向对称变换(RST)是一种有效的圆形目标检测技术,对上述干扰具有较好的鲁棒性,但计算代价偏高.为此提出了一种改进的径向对称变换(IRST),有效降低了算法的计算代价.在引入IRST实现光斑检测之后,再结合自适应二值化和重心法实现光斑的精确定位.实验结果表明,IRST算法的光斑检测鲁棒性明显高于基于灰度二值化的方法,而计算代价明显低于基于经典RST的光斑检测算法,最终的定位精度也优于其他同类算法.

关键词： 视线跟踪技术   网络学习   网络课程   界面设计   教育软件  

摘要： 教育软件人机交互的自然性将直接影响学习者的学习体验和学习参与度,如何进行有效的教育软件人机界面设计,使设计出来的教育软件能够激发学习者的学习兴趣和动机,并能够使学习者发生沉浸性学习是一个很值得探讨的问题。本文通过视线跟踪技术在网络课程原型界面设计中的可用性测试个案,探讨了如何利用视线跟踪技术的方法和策略优化软件开发流程中阶段产品的可用性水平。研究结果表明,无学习者参与的教育软件设计是不完善的,虽然学习者不如设计者和开发者具有丰富的经验,但他们会从自身的需求、兴趣和使用感受出发提出一些设计者所注意不到的问题,这使得设计出来的产品更能符合绝大多数人的使用习惯。较之传统的问卷调查和访谈等方法,视线跟踪技术可以更好地帮助设计者和开发者理解使用者是如何在界面上搜寻他们要找的目标链接或信息的,借此更好地了解用户期望和感受,为界面设计提供质的和量的改进依据。