关键词： 视线跟踪   瞳孔定位   RANSAC   标定算法  

摘要： 随着人机交互技术研究的兴起，关于眼视线跟踪的技术也日益成熟。眼视线跟踪系统中关键的问题就是关于用户头动问题和精度问题。 本文首先阐述了眼视线跟踪技术的研究背景，介绍了侵入式和非侵入式眼动跟踪技术的特点及其发展。接下来，分别介绍眼视线跟踪系统中的标定算法，精度问题以及头动解决方法。随后，详细论述了眼视线跟踪关键技术，主要包括眼图处理模块和标定模块的设计，着重论述眼图处理模块中，瞳孔参数的提取算法的优化，使用的是基于3点的随机采样一致性（RANSAC）的瞳孔提取算法，并从定位准确率方面详细分析了该算法的性能。 最后，对眼视线跟踪系统中鲁棒性标定方法进行了研究。首先，分析标定过程中由于眨眼、视线游移等原因造成的干扰点对对系统性能的影响。随后提出了基于RANSAC（随机采样一致性）的标定算法，并详细介绍了将RANSAC算法用于眼视线跟踪系统中的标定过程的步骤和注意事项。最后进行对5个测试者的17组实验数据进行研究分析，得出几点相关结论，其中当标定过程中出现标定点错误的情况时，基于RANSAC的标定算法的性能好于基于瞬时值的标定算法，说明了RANSAC算法的鲁棒性。

关键词： 视线跟踪   人机交互   眼动交互   人机界面   自适应性  

摘要： 视线交互通道是一种自然、直接与双向性的人机交互效应通道，具有非常广泛的应用前景包括人机交互、游戏娱乐、助老助残、车辆辅助驾驶、虚拟现实等领域。因此，视线跟踪技术是极具发展潜力的新型人机交互手段之一；其中，基于图像处理的视线跟踪技术以其非接触式、非侵入式的优点成为重要的研究热点，近年来取得了较快的发展。但在人机交互领域，由于视线跟踪技术还未完全成熟，其使用群体还主要局限于肢体行动不便的老年人和残疾人，能够在老年人/残疾人功能辅助和智能控制系统中给予他们帮助和方便。目前的多数视线跟踪系统普遍存在如下问题：系统标定过程繁杂；对用户头部运动具有限制，很多视线跟踪系统都严格要求用户保持头部位置固定不动；系统可靠性低，如视线跟踪精度易受头部运动、光照环境等影响；帧频低，无法满足使用实时性。因此，针对上述问题，本文提出了一种自适应的视线跟踪人机交互系统方案，主要内容包括： （1）提出了一种基于特征检测与跟踪相结合的眼部特征定位方法。采取基于瞳孔-角膜反射原理的视线跟踪技术，分析红外眼部图像的特征，提出了一种眼部特征检测与定位的方法；为了解决检测与定位耗时长、实时性低的问题，采取基于光流法对眼部特征进行跟踪和定位。通过检测过程与跟踪方法相结合，提高了眼部特征检测的可靠性与实时性。 （2）提出了一种基于多初始状态参考值的自适应标定机制。针对视线估计的多项式线性回归模型，分析头部运动引起视线分辨参数的关系；以多初始位置处工作参数的标定结果作为参考值，即作为头部运动后工作参数自动修正的计算依据；避免了头部运动引起系统重新进行多点标定的繁杂过程。 （3）基于光流法建立了视线跟踪的状态空间模型。基于多参考值的自适应标定机制在初始时依然需要多次的标定过程；每次标定过程实际上是对多项式线性回归模型的求解过程，解的存在与否直接影响标定的成功与否；故该方法存在可靠性和稳定性问题。因此，本文基于状态空间法分析了内、外系统状态变化引起视线估计变化的机理，建立了基于光流法建立视线跟踪的状态空间模型，使系统标定需要的标定点数少，标定过程简单而且速度快；且系统工作参数能够根据系统状态变化自动调节，使用户在摄像机视场范围内头部移动后，可迅速地回归正常工作状态。 （4）对自适应的人机交互工作机制进行了研究。讨论了视线跟踪过程中对用户意识状态检测与判别方法及人机界面设计与响应机制；为完善视线跟踪人机交互系统，实现系统自适应性提供了思路。

摘要： A novel gaze tracking system for controlling home appliances in 3D space is proposed in this study. Our research is novel in the following four ways. First, we propose a nonwearable gaze tracking system containing frontal viewing and eye tracking cameras. Second, our system includes three modes: navigation (for moving the wheelchair depending on the direction of gaze movement), selection (for selecting a specific appliance by gaze estimation), and manipulation (for controlling the selected appliance by gazing at the control panel). The modes can be changed by closing eyes during a specific time period or gazing. Third, in the navigation mode, the signal for moving the wheelchair can be triggered according to the direction of gaze movement. Fourth, after a specific home appliance is selected by gazing at it for more than predetermined time period, a control panel with 3 x 2 menu is displayed on laptop computer below the gaze tracking system for manipulation. The user gazes at one of the menu options for a specific time period, which can be manually adjusted according to the user, and the signal for controlling the home appliance can be triggered. The proposed method is shown to have high detection accuracy through a series of experiments.

关键词： 视线跟踪   人眼定位   注视点   瞳孔   光斑  

摘要： 由于人眼获取信息具有自然、直接、双向和高效等优点，基于人眼信息捕获的视线跟踪技术在人机交互、医学、心理学、军事等领域有着广泛的应用前景和商业价值，引起了众多研究者的深入探索，已成为计算机视觉领域的研究热点。 本文研究了基于瞳孔-角膜反射原理的视线跟踪相关算法，主要内容如下： ①人眼检测定位算法：实现了视频图像中人眼目标的检测和定位，避免了后续注视点提取时的盲目搜索，主要包括人脸检测、人眼定位、人眼跟踪三个环节。在人脸检测过程中，本文通过算法对比，选择了基于Adaboost的人脸检测算法来实现视频图像中人脸区域的检测定位。在人眼定位过程中，本文采用了一种将人脸先验知识、人眼灰度分布以及内眼角三种特征相结合的人眼定位方案：首先利用“三庭五眼”的先验知识进行人眼粗定位，再采用灰度积分投影的方法进行眉眼分离，最后采用Harris角点检测算法进行内眼角提取，实现了人眼区域的精确定位。在人眼跟踪过程中，本文采用了卡尔曼滤波预测算法进行内眼角跟踪，实现了在头部运动的情况下对人眼位置的实时跟踪。在跟踪成功时，算法只需要对局部图像进行少许处理就能完成人眼定位，达到了10帧/秒的处理速度。 ②注视点检测定位算法：实现了眼部子图中瞳孔光斑相对偏移量的获取，并通过偏移量映射提取了出真实场景中的人眼注视点位置，主要包括瞳孔中心定位、光斑中心定位以及校准三个环节。在瞳孔中心定位过程中，本文采用了瞳孔分割、瞳孔粗定位、边缘提取、边缘拟合的算法方案：首先采用了改进的最大类间阈值选择法进行瞳孔分割，然后采用质心法进行瞳孔粗定位，接着采用一维算子径向扫描的方式计算瞳孔梯度图，提取出瞳孔边缘点，最后采用边缘点几何形状拟合的方式准确地定位出了瞳孔中心位置。在光斑中心定位的过程中，本文研究了基于高斯拟合的定位算法，算法达到了误差小于0.1像素的高精度。在校准环节中，本文研究了多种校准模型，并采用最小二乘法建立了一个6参映射函数模型，它能够准确地根据瞳孔光斑相对偏移量计算出真实场景中的人眼注视点，达到视线跟踪的目的。 本文主要通过Matlab软件平台仿真实验和实际系统测试实验，验证了本文研究算法方案的可行性、准确性和实时性。

关键词： EYE tracking   HYBRID systems   KALMAN filtering   PARAMETER estimation   FEASIBILITY studies  

摘要： A novel pupil tracking method is proposed by combining particle filtering and Kalman filtering for the fast and accurate detection of pupil target in an active infrared source gaze tracking system. Firstly, we utilize particle filtering to track pupil in synthesis triple-channel color map (STCCM) for the fast detection and develop a comprehensive pupil motion model to conduct and analyze the randomness of pupil motion. Moreover, we built a pupil observational model based on the similarity measurement with generated histogram to improve the credibility of particle weights. Particle filtering can detect pupil region in adjacent frames rapidly. Secondly, we adopted Kalman filtering to estimate the pupil parameters more precisely. The state transitional equation of the Kalman filtering is determined by the particle filtering estimation, and the observation of the Kalman filtering is dependent on the detected pupil parameters in the corresponding region of difference images estimated by particle filtering. Tracking results of Kalman filtering are the final pupil target parameters. Experimental results demonstrated the effectiveness and feasibility of this method.

关键词： 多视点视频增强   立体电视   帧率提升   虚拟视点合成   视线跟踪  

摘要： 数字多媒体是当前最活跃的研究领域之一。随着人们对服务质量和视觉体验要求的不断提高,数字多媒体处理技术和设备都在不停的更新换代。作为一种新兴的可视媒介形式,立体电视(Three Dimensional Television,3DTV)能够为用户提供很强的立体感和沉浸感,因而引起广泛关注并取得一系列成果。与传统二维(2D)电视相比,立体电视需要向用户提供多个视点的视频,所以传输数据量巨大,成为制约立体电视技术发展的瓶颈。 在立体电视系统中,多视点视频(Multi-view Video, MVV)的空间分辨率、帧率(frame rate)、视点的数量等对视觉效果有着很大的影响。多视点视频帧率越高,特别对于大尺寸液晶显示设备(Liquid Crystal Display, LCD),电视画面就会越流畅；视点数量越多,用户的观看范围越大,立体感也就越强。然而,随着传输视频帧率的提高、视点数量的增多,传输的数据量必然急剧增加。虽然当前提出了有效的多视点视频编码技术,但立体电视传输中多视点视频的帧率、视点数量仍然不能满足实际要求。另外,在交互式立体电视系统中,通常需要对用户视线或者头部进行跟踪,依此确定视点的播放与切换。 针对上述立体电视系统中存在的问题,本文着重对立体电视系统中多视点视频增强和视线跟踪方法进行了研究。其中,多视点视频增强包含立体视频帧率提升和视点合成两个方面。从发送端来看,利用帧率提升和视点合成可以减少数据传输量,节省带宽；从接收端来进行分析,帧率提升使单路视频看起来更流畅,减少了由于视频帧率过低造成的运动模糊和抖动,而通过视点合成增加了虚拟相机的数量,扩大了可视范围,使用户能够获得更好的立体视觉体验。另外,本论文对交互式立体电视中的人机交互技术进行了研究,提出了一种基于灰度分布视频处理的非接触式视线跟踪系统。 论文在以下几个方面的研究取得重要进展： 1、提出了一种彩色+深度格式(video plus depth)的立体视频帧率提升算法。首先,根据深度信息将运动向量(Motion Vector, MV)分成深度连续运动向量和深度不连续运动向量。在深度连续运动向量场(Motion Vector Field, MVF)中,利用深度层次约束的运动向量优化方法对错误运动向量进行检测和校正,提高运动向量的准确度；对于深度不连续运动向量场,则采用了一种基于前景匹配的运动向量优化方法,保持了运动补偿过程中前景运动物体边缘的完整性。 2、提出了一种基于深度的适应性运动补偿和图像块分割方案。根据视频场景中深度信息和运动向量的关系,适应性选择前向运动补偿与后向运动补偿,同时,利用基于深度和α-matting的图像分割方法对深度不连续图像块进行分割,相对于传统帧率提升算法,减少了运动补偿后遮挡区域和非遮挡区域出现的模糊和伪影的现象,可以有效提升立体视频的视觉质量。 3、提出了一种基于非对称图像修复的虚拟视点重建算法。在提出的算法中利用左右两路的彩色视频和深度视频对中间的任意虚拟视点的视频进行生成,利用虚拟视点与左右参考视点之间的空间位置关系确定主要参考视点和辅助参考视点。首先,利用三维图像变换技术将主要参考视点和辅助参考视点图像投影到虚拟视点。其次,通过图像处理技术去除虚拟视点图像中的裂纹和错误点,提高图像质量。然后,通过辅助虚拟视点图像对主要虚拟视点图像中的遮挡区域进行填充,.并且为了实现视点间视频色彩的统一,对左右参考视点图像进行亮度调整。最后,利用深度辅助的非对称图像修复方法对剩余的空洞区域进行填充。 4、提出了一种基于灰度分布视频处理的非接触式视线跟踪系统,该系统可以作为交互式立体电视系统中的人机交互设备。首先,在近红外光源照射条件下采集使用者头动视频,然后根据视频帧的灰度分布特征,依次进行面部区域、眼睛区域、瞳孔区域的检测与提取,最终计算出瞳孔角膜点反射坐标和瞳孔中心坐标；根据特征参数,采用基于交比不变性质的视线跟踪算法进行注视点位置的计算,实现视线跟踪；另外,针对视线跟踪过程中眼球视轴和光轴的不重合,提出了一种简单有效的五点定标算法。实验结果表明,针对佩戴眼镜和裸眼使用者,该系统均能够达到较高的精度,能够满足实际需要。

关键词： 头戴式   视线跟踪   瞳孔定位   头部运动   cross-ratio   参考平面  

摘要： 视线相比于传统的鼠标和键盘显得更加直接自然,在人机交互领域有着广阔的应用前景。基于视觉的视线跟踪系统通过摄像机捕捉人眼的运动信息来估算凝视点位置。随着Google Glass等轻便型可穿戴装置的出现,头戴式系统的应用前景变得更加明确。本文研究支持头部运动的头戴式视线跟踪系统,包括瞳孔中心的快速定位, 系统标定,支持头部运动的空间映射模型等关键技术,主要工作和成果如下： 1.基于本文的硬件环境,对星射线方法进行改进,以实现椭圆瞳孔的快速定位。具体包括：采用预设定的阈值进行瞳孔区域分割,降采样和二次定位瞳孔大致中心,椭圆拟合误差的简单估计以及迭代筛选去噪。 2.采用平面分区域映射等方法,实现眼动数据与参考平面上凝视点之间的鲁棒标定。实验结果验证了方法的有效性。同时给出标定时头部微小运动的处理办法,提升标定过程的舒适度。 3.建立一套基于cross-ratio的头部运动情况下的空间映射模型。利用屏幕四角红外标记灯在场景图像中的位置变化情况,结合投影空间不变量实现凝视点由参考屏幕向当前实际屏幕的变换。分析了场景摄像机与人眼之间的距离与凝视点计算误差之间的关系,并在摄像机坐标系下实现凝视点误差补偿。 4.设计实现了一套视线跟踪演示系统,模拟基于视线的多种交互操作,如屏幕软键盘输入,飞机跟踪和地图导航控制等,展现视线跟踪技术的应用前景。

关键词： 视线跟踪   支持向量回归   图像纹理特征   局部二进制模式   特征融合  

摘要： 眼睛是外界信息进入人脑的主要通道，对其活动情况的研究有助于理解人类对信息加工的过程。随着计算机科学与生物医学的飞速发展，在无干扰的环境下，利用计算机对人的视觉过程进行精确追踪的眼动跟踪技术开始成为智能人机交互方式的研究热点之一。 本文首先阐述课题研究背景，介绍了国内外视线跟踪技术的现状、发展趋势以及今后应用中视线跟踪系统应满足的要求，并结合视线跟踪技术在多个领域的应用现状，论述了视线跟踪技术所需要解决的问题。 接下来从眼球的生理结构入手，介绍了现有视线跟踪注视点估计方法以及基于三维眼球模型的标定和基于二维回归的标定。针对视线跟踪标定函数的建模，对基于瞳孔—角膜矢量的回归方程进行了研究，采用不同方程分别对视线注视点的横坐标与纵坐标进行回归拟合。最后基于标定函数的求解实际上是一个小样本、非线性回归问题的理论基础上，应用了基于瞳孔—角膜矢量的支持向量机回归算法，估计用户的注视方向。 基于图像纹理特征的理论，对眼图采用不同的LBP进行直方图统计，仿真结果可以看出LBP统计直方图表示图像局部的纹理信息，可以表征不同注视点眼图的差异，以表达用户注视方向的信息。在此基础上，为了降低纹理特征向量的维数并且能够提取更丰富的纹理特征，将基于多级CS-LBP特征提取得到的直方图特征向量作为支持向量回归机的输入，估计用户的注视方向。 最后基于信息融合的理论，提出了基于特征融合的视线跟踪注视点估计的算法。在讨论了眼睛图像模型特征和纹理特征的选取后，将瞳孔—角膜矢量与多级CS-LBP直方图特征向量融合成特征向量，以此作为支持向量回归的输入，进行视线注视点估计。最后，通过实验验证了融合特征用于视线估计的可行性，并且与基于单独特征的SVR视线估计比较，实验的结果表明融合特征的方法在均方误差、平方相关系数以及精度方面，比任何一个单独特征作为支持向量回归输入的方法具有明显优势。

关键词： 视线跟踪   头部运动   瞳孔   瞳孔角膜反射向量  

摘要： 本文提出一种基于单目摄像头和四红外光源的视线跟踪系统.通过四个红外光源在眼睛角膜上产生的四个光斑的中心与瞳孔中心建立新型的瞳孔角膜反射向量,该向量对头部运动具有较好的鲁棒性;此外通过设定感兴趣区域提高人眼定位速度,利用模板匹配与凸包方法精确定位瞳孔中心,并采用点匹配法正确识别光斑中心,确保了视线跟踪的实时性和精度.实验结果证明该系统较好地解决了视线跟踪精度不高和头部运动受限的问题,并且满足实时性要求.

关键词： 姿轨联合控制   计算机仿真   Lyapunov函数   数学模型   非线性动力学系统   目标   六自由度   跟踪(位置)   轨迹   视线坐标系   非合作   视线  

摘要： 研究了接近和跟踪同时存在姿态翻滚和轨道机动的非合作目标轨道姿态6-DOF联合控制问题。综合视线坐标系下相对运动动力学模型和追踪航天器姿态动力学模型,建立姿轨联合动力学模型。由于系统模型存在很强的非线性,所以对系统模型先进行预处理,将其转化成利于控制器设计的形式,采用Lyapunov最小-最大方法对同时存在姿态翻滚和轨道机动的非合作目标设计了自主接近和随动跟踪控制律。通过仿真验证了模型和控制方法的有效性。