关键词： 眼动   视线跟踪   红外光   回归   精度分析  

摘要： 眼睛是人类赖以生存的重要器官之一。人眼不仅给人类提供外界信息,同时眼睛的活动也反应了人类的一些心理状态。人们很早就展开了针对人眼的视线跟踪研究。视线跟踪技术应用领域广泛,包括心理学分析、医疗、军事和娱乐等。因此,视线跟踪的研究受到了国内外广大研究人员的关注。本文提出了一种基于回归算法的单摄像机单红外光源的视线跟踪方法,并搭建系统对该方法进行实验,分析了系统精度的影响因素。首先介绍了视线跟踪技术的研究背景、发展以及现状,综述了视线跟踪的方法和原理。分析比较后,发现基于视频图像的视线跟踪方法更加方便和精确,是视线跟踪发展的主要趋势。基于回归的视线跟踪方法,本文提出了一种基于单摄像机单红外光源的视线跟踪方法。采用红外光源、红外滤光片、CCD摄像机、显示屏、光学支架及头部支架等设备,搭建了视线跟踪系统。同时设计优化了系统的软件算法。系统软件部分主要包括瞳孔提取算法、标定算法以及注视点计算三个部分。本文提出的瞳孔提取算法不需要对眼部图像做预处理便可提取出瞳孔轮廓,具有较高的运算效率。最后,本文针对该视线跟踪系统进行实验,测量其注视点估算精度。实验分系统外界因素与系统内部因素,分别讨论了这些因素对系统精度的影响。系统外界因素包括人眼的不随意微小运动及环境灯光亮度等因素；系统内部因素包括眼部图像清晰度、图像处理算法以及回归函数选取等因素。研究发现,对于外界因素,在注视状态下,人眼的不随意微小运动对系统精度的影响不明显,室内照明灯光亮度的改变无法对系统精度产生显著性影响；对于系统内部因素,在硬件方面,提高系统眼部图像拍摄清晰度有助于改善系统精度,从软件算法方面分析,利用亚像素边缘检测技术也能在一定程度上提高系统的精度,标定过程中回归函数的选取也会影响系统精度,采用9参数回归函数的系统精度优于采用6参数回归函数的系统。此外,对比研究了SMI两款不同类型的眼动仪,进行了视线跟踪实验。一般视线跟踪系统X、Y方向的精度误差范围要求为0.5～2度,综合分析本系统的实验结果,发现本系统满足该要求,可以较为准确的估算出注视点。

关键词： 人眼视觉信息检测   人眼检测   虹膜中心定位   视线跟踪   注视辨识   视线姿势   人-机器人交互  

摘要： 眼睛是人类最主要的感觉器官,相对于嘴、鼻子,人脸面部区域中眼睛具有显著特征。研究眼睛及其运动是了解人类视觉信息的重要手段。本文针对人眼视觉信息检测的关键技术,研究了人眼检测、虹膜中心定位、视线跟踪、视线注视辨识与人-机器人交互中视线姿势内容,具体研究内容如下:1.针对目前人眼检测方法没有充分考虑人脸佩戴眼镜、不同人眼状态(半闭合、闭合和眯眼等)、面部旋转和不同亮度条件下的人眼检测问题,提出了一种混合人眼检测方法。利用人眼区域灰度变化比人脸其他区域灰度变化明显的特征,采用图像二阶矩表征图像灰度的变化,建立人眼方差滤波器(EVF),用于获取人眼候选图像。然后利用建立的支持向量机人眼分类器确定人眼位置,训练SVM过程中,使用主成分分析法(PCA)对人眼图像中的特征进行降维和提取,提高了SVM分类器的性能,为了有效确定SVM分类器的参数,使用遗传算法进行参数寻优。所提出的人眼检测方法对IMM、BioID和FERET人脸数据库进行了人眼检测测试,取得了97.0%的平均人眼检测正确率。2.针对目前虹膜中心检测法没有充分考虑虹膜在人眼区域内左和右位置状态,导致虹膜中心定位精度下降的问题,提出了一种主动预测虹膜中心定位方法。研究了采用投影函数粗略定位虹膜中心,局部二值化和十级量化法定位左右眼角位置,依据粗虹膜中心与眼角位置关系建立虹膜边界选择模型。算法采用主动虹膜边界点检测算法,提取虹膜边界点,能够有效去除因睫毛和眼皮在检测虹膜边界点时产生的噪音。当虹膜处于左或右眼角位置时,采用虹膜边界点预测算法,解决了使用单侧虹膜边界点椭圆拟合失真的问题。所提出的算法分别对虹膜不同位置状态的人眼图像进行了虹膜中心定位测试,结果表明,虹膜中心定位平均精度为94.3%。3.设计了一种基于可见光源非接触式单摄像机视线跟踪系统,该系统包括三部分:实时人眼检测、特征提取和视线估计。实时人眼检测采用特征与外貌混合检测方法。首先,利用双阈值二值化、耀点形状和位置滤波算法提取潜在人眼位置。然后,采用独立成分分析法(ICA)确定人眼区域。该方法有效的解决了实时人眼检测过程中人脸面部旋转、环境光照强度变化、佩戴眼睛、头部大范围运动问题。实验结果表明,在连续的3200帧图像中进行人眼检测,帧正确率为98.63%。视线估计采用不依赖于硬件和眼球生理参数的2D视线估计法,通过一种插值方法解决了由于头部运动所导致的估计精度下降问题。为了补偿光轴与视轴之间的偏差,设计了一种5点视线校准法,有效的提高了视线跟踪精度。针对视线注视点的抖动的现象,采用基于速度和数据离散度实时视线点注视辨识算法,有效的去除了视线点抖动。对头部不动和头部运动两种情况进行测试,该系统分别获得了0.54°和0.69°的平均视线角度误差。4.针对如何从眼动数据中获取视线注视信息的问题,提出了一种空间-时间轨迹聚类算法。该算法包括两个参数:注视时间周期阈值和离散度阈值。注视时间周期阈值依据任务类型确定。离散度阈值采用所提出的基于‘Gap Statistics’理论建立的最优离散度阈值寻优方法确定。所提出的算法与其他人眼注视辨识算法进行了比较,结果显示,注视辨识性能等同或优于其他算法。5.对采用视线作为人-机器人机交互方式进行了远程操作智能体研究。针对目前任务选择策略问题,例如:Midas触碰,提出了视线姿势作为任务选择策略应用于远程操作智能体,为了验证方法的可行性,给出了基于视线姿势的Drone命令设计和任务设计。实验结果表明,视线姿势能够很好的完成实验任务,且视线姿势对人的精神压力与键盘对人的精神压力没有明显的差异,视线姿势策略在人-机器人交互中具有较大潜在应用价值。

关键词： 角膜曲率中心   瞳孔中心   非线性方程组   GALM算法   鲁棒性  

摘要： 视线跟踪技术是通过采集实时眼动信息来实现对用户眼睛注视方向的估计,进而得到其视线落点的一种方法。随着科学技术的不断发展,视线跟踪系统作为一种新型的人机交互设备,广泛应用于生物工程、道路交通、广告设计、心理分析等领域。目前,3D桌面式视线跟踪系统具有不需要用户佩戴任何设备且允许用户有较大的头动范围等优点而受到广泛关注,成为视线跟踪技术中的一个主要研究方向。3D视线跟踪技术虽然发展迅速,但还有许多尚未解决的问题,本文主要对3D视线跟踪系统中的数学模型与算法进行了研究,具体工作如下:1.求解角膜曲率中心的混合智能算法。本文首先将角膜曲率中心的非线性方程组模型转化为无约束优化模型(CCCUO)及改进的优化模型(MCCCUO),然后结合遗传算法和LM算法,提出了一种混合智能算法(GALM算法),即先用遗传算法进行全局搜索求出一个近似解,再将此解作为初始值,用LM算法进一步求得更高精度的解。运用GALM算法分别求解两种优化模型,并与遗传算法进行了比较。实验结果表明了GALM算法优于遗传算法,提高了解的精度,减少了计算时间。2.瞳孔中心非线性方程组模型的求解。首先求出角膜表面折射点的坐标,然后针对瞳孔中心的非线性方程组模型对解的约束不强导致存在4个解的缺陷问题,对模型进行了改进,增加了两个不等式约束条件,最后根据瞳孔中心和角膜曲率中心的位置关系设置初始值,运用LM算法求出瞳孔中心的准确位置。3.角膜曲率中心模型的鲁棒性分析。首先将其非线性方程组线性化,通过近似线性方程组的条件数来衡量病态性,结果表明非线性方程组模型对参数变化非常敏感。然后对角膜曲率中心模型的两种优化模型采用相同的参数扰动进行测试。数值实验表明无约束优化模型(CCCUO)鲁棒性差,而改进的优化模型(MCCCUO)受参数扰动的影响较小,鲁棒性较好。

关键词： 视线跟踪   相机标定   牛顿迭代  

摘要： 视线跟踪技术近年来得到了飞速的发展,并在心理学研究和商业领域得到了广泛的应用。越来越多不同领域的人投入到这项研究工作中来。在未来它会成为最重要的人机交互方式之一。本文首先介绍了视线跟踪技术的研究背景和发展历程,归纳了国内外有关眼动跟踪的研究方法。然后本文介绍了在PC机上实现了基于桌面式视线跟踪系统的过程。在相机标定过程中本文介绍了使用Matlab进行相机标定的过程,使整个标定过程更加方便。在眼图处理中本文采用了亮暗瞳技术,使得瞳孔的提取更加精确,同时采用OpenCV图像库使得处理一帧图像的时间在5ms左右,满足整个系统实时性的要求。在跟系统跟踪的过程中考虑到各种误差的影响,本文采用了四点校正的算法,使得整个系统的平均精度在0.7°左右。由于采用了3D模型,系统可以允许使用者在一定的范围内自由头动。最后本文介绍了牛顿迭代法求解模型过程中的多解问题。本文从几何上分析了模型解的数量,以及这些解之间的几何关系。从而找到正确解的约束条件,同时也能确定比较合理的初始迭代值。这样整个系统不但可以在1ms左右的时间内完成模型的求解,而且在自由头动的情况下系统都能求解出正确的解。本文还分析了系统的误差,结果表明眼睛的参数的误差对系统精度的影响不大,但是系统的实时输入量的误差影响非常大。通过设置光源的三维位置可以大大减少输入量误差的影响。

关键词： 视线跟踪   双光斑   头部运动修正   头戴式  

摘要： 近年来,视线跟踪技术一直是学术研究领域的热门课题,通过对捕获的眼图进行信息提取和加工分析,获得眼睛的注视信息。该技术在心理学研究、人机交互技术研究、航空驾驶以及商业应用等各种领域都有广泛的应用。视线跟踪技术发展至今已有一定程度的研究成果,存在的问题也在不断地得到解决。本文先是介绍了视线跟踪技术的研究背景和意义,并对其发展历程、国内外研究现状以及存在的问题进行简单的阐述,之后对视线跟踪技术中涉及到的各部分以及各部分的关键技术进行综述,最后主要就视线跟踪技术中的两个问题提出新的算法,并设计实验仿真进行验证。本文针对传统视线跟踪系统中角膜反射丢失或者失真导致系统可靠性下降的问题,本文提出一种双光源视线跟踪算法,利用两个光源为光斑丢失提供冗余,提高系统的可靠性;同时利用这两个光斑中心和一个瞳孔中心设计不同瞳孔角膜反射组合特征作为视线跟踪系统的输入,来提高系统的精度。实验结果证明:双光源系统的可靠性要高于单光源;另外,与单光斑特征相比,双光斑特征对应的估计结果在精度上提高0.02°左右;双光斑特征使得屏幕上49点的误差分布较为均衡,减少了误差较大的估计点个数,从整体上提高的系统的稳定性和精度。另外,本文参考几种头部运动补偿方法,提出一种基于二维多项式映射模型的头部运动补偿模型,该模型主要针对头戴式系统中,头部上下俯仰和左右摇摆运动的自然头部运动进行补偿。本文通过研究仿真模拟软件,模拟头部运动后的眼睛信息对该算法进行验证,结果表明该算法对在一定运动角度范围内的头部运动能有效地进行补偿,头动的范围越小,补偿后的误差越小,在20°以内的头部运动范围内,与头动方向一致的测试点部分平均误差在0.3°左右。

关键词： 视线跟踪   特征提取   头动范围   传感器  

摘要： 视线跟踪一直是一个热门的研究方向,其应用也越来越广泛,已应用到心理学、商业、人机交互、军事等众多领域。随着视线跟踪技术的不断发展,近几年研究关键主要集中在系统精度提高和允许用户大范围头动的问题。本文首先介绍了视线跟踪技术的研究背景、发展及其应用,随后对视线跟踪技术的关键方法进行了简单的介绍,并总结了桌面式和头戴式视线跟踪系统中头动问题的解决方法。桌面式视线跟踪系统中的头动问题主要表现在大头动范围下瞳孔特征参数不能准确提取,本文详细论述了基于亮暗瞳技术的瞳孔特征参数提取算法,该算法适用于用户头部在前后20cm范围内运动的情况。算法中提出的剔除伪边缘点的方法解决了瞳孔有遮挡的问题,利用相邻两帧图像之间的对应关系解决了用户戴眼镜时瞳孔不易定位的问题,并且给出了一种稳定的光斑分割算法。实验统计结果表明该算法提取准确率可以达到90%以上,使系统具有较高的稳定性。头戴式视线跟踪系统中用户头动范围较小,本文研究了一种基于三维眼球模型的头戴式视线跟踪系统,为了增大用户的头动范围,系统中使用了6D姿态传感器来跟踪用户的头部运动。首先介绍了系统的整个标定过程,利用标定过的相机与传感器之间的位置关系,可以实时获取相机在世界坐标系中的外参,然后建立一个简化的三维双眼眼球模型,根据光学和几何学原理求解出光轴方向,并利用单点标定将其转化到视轴进而求出注视点,最后采用模拟数据分析了传感器的误差和瞳孔特征参数提取误差对系统精度的影响,验证了系统的可行性。

关键词： 视线跟踪   标定   转换矩阵   平滑跟随   RANSAC  

摘要： 作为一种新颖的人机交互方式,视线跟踪技术受到了越来越多的关注,吸引了不同领域的研究者积极投入到这项工作中来,目前,该技术在体育、军事、心理等方面得到了非常广泛的应用。围绕视线跟踪这个主题,本文主要对标定问题进行了探讨,取得的成果为：1、对简化标定过程进行了研究。采用一点标定的方法,通过提取当前和首次标定时人眼图像中内眼角坐标和角膜反射光斑中心坐标,计算出眼图坐标系之间的转换矩阵。之后,利用该转换矩阵将实时跟踪过程中的P-CR矢量由当前坐标系转换到第一次标定时的眼图坐标系,并根据第一次标定时建立的P-CR矢量与计算机屏幕之间的映射函数,估计出用户当前的注视点,在保证精度的同时,避免了视线跟踪系统的重复标定,简化了标定过程。2、对视线跟踪系统中的标定方法进行了研究。提出了一种基于平滑跟随的标定算法,用户眼睛跟随一个沿着某一路径运动的目标,在该过程中,眼摄像机记录人眼图像,并利用图像处理算法求得P-CR矢量,与此同时,计算机同步记录目标运动轨迹坐标,此处,P-CR矢量与同一时刻计算机屏幕上的目标运动轨迹坐标可以构成一组点对,之后,使用斯皮尔曼相关公式对获得的点对进行筛选,剔除干扰点,利用余下的点对计算P-CR矢量与计算机屏幕坐标的映射关系。实验表明该方法缩短了标定时间,同时不需要为用户标定设置严格的开始和结束时刻,即使标定过程被打断,也可继续进行,不会影响系统精度,从而更好地实现人机交互。3、对如何有效剔除平滑跟随过程中的干扰点进行了研究。提出使用RANSAC算法代替斯皮尔曼相关公式对点对进行筛选,实验表明RANSAC算法可以有效删除局外点,提高系统精度。

关键词： 视线跟踪   单点标定   双眼   实时标定  

摘要： 随着科学技术的快速发展,视线跟踪技术也成为科学研究领域中的热门方向,通过对采集的眼图进行提取,得到相应的眼图特征,并利用其进行视线估计。该技术在人机交互研究、心理学研究、商业应用以及安全与执法等各种领域都有很广泛的应用。本文首先介绍了视线跟踪技术的研究背景及意义,接着介绍了两种现存的视线跟踪技术,分别是基于2D的头戴式和基于3D的桌面式的视线跟踪技术,然后针对这两种视线跟踪技术中涉及到的关键标定技术中存在的问题研究实现相关算法,并通过设计实验进行仿真验证。1.基于2D头戴式单点标定算法:针对视线跟踪技术中的传统9点标定方法标定过程过于复杂的问题,本文研究一种单点标定算法,用户在注视一个标定点的过程中,通过运动头部获得大量的标定点对来建立眼图和场景图之间的映射关系,简化标定过程;同时利用局部点对取代全局点对建立眼图和场景图之间的映射关系,提高系统精度。实验结果表明:单点局部标定方法精度优于单点全局标定方法,与传统9点标定方法精度相近,但它简化了标定过程,而且允许自由头动,因此本文研究的单点局部标定方法优于传统9点标定方法。2.基于3D双眼实时标定算法:本文研究了一种基于3D的双眼实时标定算法,该算法通过最小化双眼视轴与被视平面间的交点之间距离来实时估计出视线点。本文利用眼动仪数据模拟软件框架进行实验仿真,实验结果表明本文算法允许头部在一定范围内运动,另外,利用本文算法求解眼睛注视随机出现的100个注视点时的视线估计精度,验证了该算法的有效性。实际系统中,该算法视线估计精度为1.8°左右。实时标定算法视线估计精度不高,需要进一步提高视线估计的精度,但它免去了标定过程,提高了系统实时性,因此本文研究的算法具有非常大的意义。

关键词： 眼球跟踪   非接触式   虹膜中心定位   卷积   视线估计  

摘要： 眼睛不仅是人们观察、了解外部世界的一个重要器官,更是人们心灵的窗口。稳定的眼球跟踪与视线估计系统已经在心理学、军事、市场调研和广告测试、计算机视觉、医学等领域有了初步应用。基于视线控制人机交互系统也在给传统的人机交互方式带来巨大挑战。近年来,基于图像法的非接触式眼球跟踪与视线估计受到越来越多的关注。本文总结了国内外关于眼球跟踪与视线估计的研究现状,提出了一种新的快速准确的虹膜中心定位方法,并在该定位算法基础上实现了对眼球的跟踪。本文还提出了一种可以允许头部大范围转动的视线估计方法。主要工作内容与成果如下:1.为了提高虹膜中心定位的精度与速度,本文提出了一种快速准确的虹膜中心定位算法。首先检测图片中的人脸并确定初步的眼部区域,然后设计不同卷积核与眼部区域图像进行卷积,将卷积后的图像对应相除获取卷积商矩阵。通过计算商矩阵最大值处对应的位置及卷积核的半径来获得人眼的中心和半径。卷积核的设计时考虑了虹膜中心处的位置、灰度值及虹膜巩膜边界灰度值的变化规律,并加入傅立叶变换计算卷积,从而实现快速、准确的定位虹膜中心及半径,并且在公开的人脸数据集BioID上与现有的虹膜中心定位方法进行精度与速度的对比。最后在该定位算法的基础上利用视频序列上下帧之间的关系实现了眼球跟踪。2.针对现有的视线估计系统要求的高分辨率图像,红外光源,头部转动等要求,本文提出了一种可以利用普通网络摄像头的并且是无光源的可以允许头部转动视线估计方法。在该算法中,利用监督下降的优化方法(Supervised Descent Method,SDM)对人脸图像计算人脸特征点,再利用POSIT算法确定头部朝向。然后将人眼的眼角,虹膜中心及眼皮上的点作为人眼特征点,定义人眼特征向量,建立人眼特征向量与视线角度的匹配模型。通过校准屏幕上的点来获取人眼的训练数据,再利用自适应线性回归的的方法来确定模型参数,从而计算头部静止时的视线相对头部运动的三个偏移角度,最后通过结合人头部朝向与视线偏移角度来确定视线方向,从而实现了可以允许头部转动的视线估计系统。3.最后,在分析总结上述研究方法的理论基础与实验结果之后,本文对后续的研究方向进行了展望。

关键词： 头戴式   视线跟踪   一点标定   神经网络   极端学习机   随机采样一致性  

摘要： 标定方法是视线跟踪技术中的关键环节,直接影响跟踪精度和用户体验。目前头戴式跟踪系统所使用标定方法,需要多个标定点进行标定。为更快、更方便地进行标定,提出一种方法,只需一个标定点,便可提取足够的标定信息完成标定过程。该方法可适用于目前的多种映射方法,如DLT方法、多项式方法、神经网络方法等,标定时间仅需10 s,精度可达1°,与多点标定相比,效率显著提高,而精度无明显差异。此外,使用一种新的神经网络模型:ELM(极端学习机)实现了神经网络标定方法,ELM的快速学习性能,显著缩短了神经网络训练时间。