关键词： 视线跟踪   角膜反射   瞳孔边缘拟合   交比  

摘要： 针对现有的视线跟踪技术设备复杂、对姿势限制过多、要头部佩戴专用设备等方面的不足,提出一种实现视线跟踪技术的新方法,采用5个近红外光灯作为角膜反射的光源。该方法不需要带任何头戴设备,并且能适应头部的自然运动,设计的算法计算出来的视线位置精度较高。提出一种新的瞳孔边缘拟合方案,循环拟合剔除假点,最终得到精确的瞳孔中心,提高了映射的精度。利用图像的灰度进行人眼的初定位,快速而准确。利用交比不变原理进行坐标映射,精确计算出注视坐标。

关键词： 视线跟踪   瞳孔定位   遮挡瞳孔   粒子群优化   椭圆周差分  

摘要： 基于视线跟踪的人机交互技术具有便捷性和快速性,可实现视线与计算机交互的目的。基于头戴式头盔视线跟踪系统,提出了一种分级瞳孔定位方法。为消除各种干扰因素对瞳孔定位的影响,首先利用图像二值化方法获取瞳孔区域,并进行最小外接椭圆的计算,然后利用瞳孔区域与最小外接椭圆的交叠区域与瞳孔区域的面积比值,判断是否为完整瞳孔。如果是不完整的瞳孔,则利用粒子群优化(PSO)算法和椭圆周差分算子在图像中搜寻最优椭圆位置,将其作为最终的瞳孔轮廓。基于视线跟踪系统的实验结果表明,该方法兼顾了速度和精度,是实现复杂环境下瞳孔定位的一个有效策略。

关键词： 视线跟踪   人机交互   认知交互语义   工作状态辨识   米达斯接触  

摘要： 为实现视线跟踪人机交互系统中人-机可靠有效的会话,本文提出结合人类认知思维和交互任务执行情况的系统工作状态辨识方法。根据认知交互语义设计交互任务,对交互任务执行状况进行判断并统计执行结果,依据视线跟踪人机交互系统历史交互信息设计系统工作状态辨识算法和系统工作状态判断阈值,实现对系统工作状态的辨识。最后在建立的实验平台下进行了实验,实验结果表明:基于认知交互任务的系统工作状态辨识方法可以较准确的对系统当前工作状态做出判断,有效避免了米达斯接触问题等引起的误判。

关键词： 机器视觉   视线跟踪   立体视觉   个人参数标定   摄像机标定  

摘要： 针对使用主动红外光的视线跟踪系统存在的限制,构建了在自然光条件下允许头部自然移动的视线跟踪系统,该系统通过双目立体视觉系统获取眼睛特征参数,在三维空间中重构眼睛视线向量来估计眼睛的视线。通过头戴式标定板来估计头部姿态,减少了视线跟踪过程中头部移动带来的误差影响;提出了一种视线跟踪系统中个人参数的标定方法,该方法先假定眼睛视轴与光轴重合,由此计算出眼球的中心、半径、眼睛视轴与光轴的夹角的初始估计值,用非线性优化算法对这些初始值进行优化。通过实验表明,提出的视线跟踪算法对使用者限制较少,同时具有较高的视线估计精度,能满足很多视线跟踪应用场合的需要。

关键词： 眼睛状态检测   Harris算子   角点量  

摘要： 眼睛睁闭检测在视线跟踪系统中具有重要意义。为提高检测的准确性,提出了一种基于Harris算子的检测方法。该方法首先利用Harris算子计算图像的角点量,然后搜索图像中角点量最大的位置,以该位置为中心,设置一个区域,统计该区域内角点量总和占整幅图像角点量总和的比例,通过将该比例与阈值相比较来确定眼睛的状态。实验结果表明,本算法具有较高的鲁棒性和准确率,并能满足实时性要求。

关键词： 精度测量   眼动仪   九点定标   视线指示  

摘要： 针对市面上眼动仪没有详细的精度测试方案和测试结果的现状,本文探讨了一种基于视频记录法的瞳孔跟踪系统进行详细的精度测试的方法,在自主研发的眼球图像跟踪及视线指示系统(眼动系统)上进行测试,测试内容包括空间分辨率、最小分辨率和注视准确度,其中注视准确度采用九点定标法测量分析.实验数据显示,系统空间分辨率为0.003°,系统最小分辨率小于0.02°;注视准确度结果为0.3°。结果表明该眼动仪具有较高的检测精度,能够达到系统所需的要求。

关键词： 双目立体视觉   视线跟踪系统   虹膜定位   眼睛检测   个体标定  

摘要： 视线跟踪是判断使用者视线方向的技术，在人机交互，车辆安全驾驶，疾病诊断等许多领域有着广泛的应用。其中基于眼睛视频图像分析的视线跟踪技术是当前的热点研究方向，本文通过双目立体视觉系统获取眼睛特征和头部姿态参数，在三维空间中重构眼睛视线向量来估计眼睛的视线，针对视线跟踪系统中的眼睛定位与系统标定两个主要方向的难点，提出了两种在自然光条件下的眼睛虹膜定位的算法和一种视线跟踪系统中个人参数的标定方法，其中主要工作如下：\n 1.提出了一种基于改进的圆周差分法的眼睛定位算法。该方法在获得眼睛图像的基础上，首先用迭代阈值法得到二值眼睛图像，其次在二值图像的连通域内，先通过用一个半径逐渐增大的圆来拟合圆的方法来快速粗定位虹膜，然后用圆周差分法来精确定位虹膜。该算法采用粗定位与精定位相结合的方式，解决圆周差分法在眼睛定位过程比较耗时的问题，同时提高了虹膜定位的精度与鲁棒性。\n 2.提出了一种自然光条件下的虹膜中心定位算法。该方法首先通过计算虹膜边缘曲线的曲率得到曲线拐点，并用拐点对虹膜边缘曲线进行标记，然后通过射线搜索得到有效虹膜边缘点，最后对得到虹膜边缘点用最小二乘法拟合椭圆来定位人眼。该方法在求取有效虹膜边缘点的过程中避免了多参数迭代求解，克服了自然光下定位眼睛存在遮挡和光斑反射等问题，能够在提高眼睛虹膜定位精度的同时缩短定位时间。\n 3.提出一种在自然光条件下，头部自然移动的视线跟踪系统中的个人参数标定方法。该方法先假定三维空间中的眼睛视轴与光轴重合，可以计算出眼球的中心、半径，然后计算出眼轴与视轴的夹角，最后把得到的这些初始估计值用Levenberg-Marquart非线性优化算法迭代求取最优的个人参数。\n 基于上述的虹膜中心定位算法和个人参数标定算法，本课题在双目立体视觉系统下，构建了一种能在自然光条件下，允许头部自由移动的视线跟踪系统，并在Matlab平台下进行仿真实验。实验结果表明，视线估计值具有较高的测量精度，为自然光条件下视线跟踪系统的发展提供了有力支持。

关键词： 视线跟踪   眼睛状念检测   瞳孔定位   椭圆瞳孔定位   3D视线跟踪  

摘要： 人眼独特的几何、光学和运动特性将为人脸检测、识别和人面部表情的理解提供重要的视觉线索。对于人机交互、更精致的人机界面和了解人类的情感状态等的发展，鲁棒的并且具有非侵入性的人眼检测和跟踪具有很重要的作用。视线跟踪技术是机器视觉领域的新课题，在人机交互、人眼疾病诊断和人类行为学习等都有着广泛的发展前景。\n 本文针对视线跟踪中的一些关键技术及难点展开研究，首先对于视线跟踪中的人眼检测，本文实现了基于Adaboost算法的人眼状态检测方法；然后针对桌面式视线跟踪系统中的圆形瞳孔定位和头戴式视线跟踪系统中的椭圆瞳孔定位，本文分别提出了新颖的定位算法；最后在深入调研现有主要视线跟踪技术的基础上，提出了一种3D桌面式视线跟踪系统的设计。主要研究成果如下：\n 1、人眼检测作为对视线跟踪中拍摄到的眼部图像预处理的一个关键步骤，包括对检测眼睛的睁闭状态和判断拍摄到图像中是否有眼睛，有效的人眼检测和定位能够提高视线跟踪的最终精度。本文实现了一种基于Adaboost算法的视线跟踪中对人眼状态进行检测和定位的方法，AdaBoost学习方法根据选取的训练样本集训练出一个弱分类器，然后把在不同训练样本集上训练好的弱分类器按照一定的规则结合起来，构成一个强分类器，最后将许多强分类器级联构成一个有效的人眼检测分类器。在标准人脸库和实际视线跟踪系统中的人眼检测实验结果表明，本文实现的方法能够实时准确地对人眼进行状态检测和定位。\n 2、瞳孔的定位是视线跟踪中非常重要的一个环节，之前的研究表明，当图像质量比较好时，瞳孔定位算法会有比较好的表现，然而，当瞳孔图像受到眼睑、睫毛和光斑等干扰严重时，算法的鲁棒性和准确性会显著下降。本文提出了一种基于改进的径向对称和改进的圆周差分算子的新颖的瞳孔定位算法：首先，一种改进的径向对称变换可以得到瞳孔区域的粗略位置；然后，一种增强的圆周差分算子能够得到瞳孔的精确定位。实验结果表明，与之前的瞳孔定位算法相比，本文提出的算法对于眼睑、睫毛和光斑等的干扰具有更好的准确性和鲁棒性，而且由于采取了这种由粗到精的瞳孔定位策略，算法能够具有很好的实时性。\n 3、在视线跟踪过程中，瞳孔经常会呈现出椭圆形，导致传统的圆周定位算法失效，并且现有的瞳孔定位算法精度很容易受到眼睑、睫毛和光斑的干扰。基于此，本文在之前工作的基础上提出一种基于改进的椭圆差分(ED)和粒子群算法(PSO)的瞳孔定位算法，并利用头戴式视线跟踪系统标定信息来限定PSO算法的参数边界范围。椭圆差分能有效的避免睫毛、眼睑等的干扰，同时为了提高椭圆差分算子的速度，引入了粒子群算法进行瞳孔定位，并利用标定过程得到的先验信息来限定椭圆参数的边界范围，满足快速实时定位瞳孔的要求。实验证明，该算法应用于头戴式视线跟踪系统中对椭圆瞳孔定位效果很好，尤其是在眼部图像受到光斑、睫毛、眼睑等干扰严重时，算法仍然具有较强的鲁棒性和准确性，并且算法具有较快的瞳孔定位速度，可以满足视线跟踪的实时要求。\n 4、本文提出一种3D桌面式视线跟踪系统的设计方案，从硬件架构到软件设计上使得提高视线跟踪系统具有更好的复杂性和友好性。

关键词： 瞳孔提取算法   视觉注意模型   视线跟踪   图像分析  

摘要： 大脑中约有80％到90％的知识和记忆都是通过眼睛获取的，对眼睛运动进行测量和跟踪一直是研究者关注的热点。随着视线跟踪技术的发展，视线跟踪的应用从传统的心理学、行为学分析等推广到商业、军事、娱乐、日常生活、人机交互等各个领域，应用前景十分广阔。基于此背景，本文将针对头戴式视线跟踪系统做深入研究。论文首先论述了视线跟踪技术的发展状况和前景，讨论和比较了目前已有的各种视线跟踪技术，在此基础上提出了一种新型头戴式视线跟踪系统的构架方案，即基于视频图像的视线跟踪方法。本文创新性地采用两幅图像中瞳孔中心位置的偏移来判断视线方向，然后根据头部位置对注视点坐标进行修正。该方法可提高头部转动情况下视线方向检测的准确性。在此基础上，为了在满足实时性要求的同时更精确地提取瞳孔中心点坐标，本文提出了一种改进的瞳孔提取算法。该算法主要分为三步：特征点检测、杂点消除、椭圆拟合。与Starburst算法相比，该算法不采用任何迭代方法，并且不需要提前移除角膜反射亮斑，在拍摄图像清晰度不高时仍有较好的瞳孔提取效果。采用以上系统构架和算法，在仿真实验环境下，本文提出的视线跟踪方法具有良好的跟踪效果，准确性较高。\n 在视频图像分析领域，视线跟踪技术可实时跟踪并获取人眼注视点。人眼注视点也可不采用任何设备而是通过图像分析方法直接提取，即通过对视觉注意机制建模估算人眼在观看图像或视频时的注视点或注视区域。视线跟踪技术对人眼视觉注意机制建模具有重要的指导意义，可用来检验视觉注意模型提取的注视点或注视区域的准确性。本文在研究视线跟踪技术的基础上，同时开展了对视觉注意机制及其模型的研究。\n 视觉注意机制建模在视频图像处理、压缩编码、质量评估、目标跟踪、机器视觉等研究领域具有重要意义。视觉注意机制可分为两类：数据驱动的视觉注意及任务驱动的视觉注意。本文首先在数据驱动及任务驱动的实验中采用视线跟踪系统记录实验对象的眼睛注视点，并提出一种三维数据相关性度量方法，分析了两种视觉注意机制之间的差异。结果显示任务和视频内容会显著影响人眼注视点的选择。基于以上成果，本文对Itti的模型进行了改进使之适用于视频图像。比较结果显示，改进模型提取的人眼注视区域与视线跟踪实验获取的注视区域基本吻合，而Itti的模型由于缺乏运动特征，与实际注视区域差异较大。这说明改进Itti模型后视频图像人眼注视区域的估算准确度较高。

关键词： 人机交互   视线跟踪   眼动交互界面   EyeHUD   可用性评估  

摘要： 近年来,随着人机交互技术的发展,拥有自然交互方式的产品受到越来越多人的青睐,下一代人机界面正朝着利用触觉、听觉或视觉的方向发展。其中,视觉是人类获取信息最重要的途径,国内外学者一直对视线的研究有着浓厚的兴趣,但目前多集中在眼动的测量和视线数据的处理上,把截取到的视线作为交互通道是近几年才发展起来的应用研究,前景非常广阔。 本课题在分析了现有眼动交互系统的优缺点之后,根据以用户为中心的设计原则,从可用性和用户体验的角度提出了眼动交互的设计原则,系统框架和状态转移模型。整个系统简化视线测量过程,重点关注快速的跟踪校验和准确的眼动识别,同时利用上下文信息减少交互时间,并结合按键输入有效消除视线指向的歧义性。 基于本文提出的眼动交互系统模型,我们开发了一个应用于开车环境的眼动交互实例EyeHUD。该系统主要包括视线预设置界面,视线控制界面和汽车虚拟场景。驾驶员在开车之前利用视线预设置界面完成对自身视线的跟踪和校验,并根据交互需求选择一次眨眼“放大”或者两次眨眼“点击”等交互功能。驾驶员在开车途中只需按下方向盘按键开启视线控制界面就可完全使用视线操作功能按键,也可以选择注视+按键的方式点击功能按钮。 最后,本课题从客观可用性和主观满意度的角度对眼动交互实例进行了软件测试和有用户参与的评估。评估结果表明：EyeHUD能成功完成所有预设功能,且界面友好,被试不需要长时间的学习就能理解系统所提供的信息。相比“注视+按键”的交互方式,“完全眼动控制”的识别成功率没有明显的差别,且用户对眼动在汽车电子上的应用非常感兴趣。