关键词： 视线跟踪   瞳孔中心   定位算法   椭圆拟合  

摘要： 为了实现临床上精准视线跟踪的要求,提出了一种基于最小二乘法椭圆拟合的孔中心定位算法。首先在红外光源条件下,用摄像机捕获人眼图像,预处理后得到二值化图像,并提取图像轮廓,利用组成轮廓的像素点数100~300,对瞳孔进行粗过滤。对得到的系列轮廓随机选择6个点进行椭圆拟合,计算椭圆中心与边缘距离的方差,方差最小的为瞳孔中心。算法具有对存在白斑干扰及半闭眼状态时的瞳孔中心准确识别的优点。实验表明,该算法能够准确地定位瞳孔中心,且满足实时性要求。

关键词： 抬头显示系统   眼控   视线跟踪   眨眼识别   触屏模拟  

摘要： 随着汽车的普及和人工智能的快速发展,人与汽车的交互在驾驶过程中越来越频繁。目前,人与汽车的交互主要以触控和声控为核心,然而由于方言的局限性,声控识别无法普及,同时,声控具有一定的延迟性,难以应用在汽车系统上;在驾驶过程中驾驶员需实时掌控方向盘,然而,在触控交互方式下,人的手会离开方向盘,致使产生一定的驾驶安全隐患。眼控技术的出现,既没有方言的局限性,同时解放了人的双手,在一定程度上避免了驾驶过程中触控交互所产生的安全问题。本文将眼控技术引入到车载抬头显示器(HUD)中,可以为HUD提供更好的交互能力。眼控方式采用三维视线跟踪算法和动态眨眼识别来获取人的眼部动作,将获取的视线落点模拟成触屏点击位置,两次连续有意识地眨眼模拟成触屏的点击进入,凝视模拟成选中目标并结合视线落点移动,再次眨眼表示释放目标。利用透明显示器,将处理结果显示在汽车的前方玻璃上,以保证人的视线不离开前方,进而设计一个人与汽车交互的车载HUD系统。在眼控HUD系统中,重点需要解决的技术问题有两个:视线跟踪和眨眼识别。在视线跟踪模块中,本文提出了一种基于Intel Realsense 3D摄像头提供的立体环境下三维视线估计方法,解决因头部移动而影响视线估计的问题。视线估计中,首先,用两条视线标定斑点,通过计算Intel Realsense SDK提供的人脸的标志点与斑点的距离对斑点进行跟踪;然后,通过瞳孔识别算法,找到瞳孔的世界坐标,用斑点位置和瞳孔位置来估计视线;最后,对视线估计算法的结果与实际测量的结果进行对比与分析。在眨眼识别模块中,本文提出利用人眼的两个眼角距离与上下眼睑距离的比值变化来判断是否眨眼。这种动态识别方法通过实时跟踪眼睛状态来识别眨眼,识别稳定性较高。识别过程中采用灰度化、二值化、投影等图片处理算法采集数据,并设计适合光照变化的改进二值化算法,根据人的特征进行像素个数和浓度值来提取图片特征。最后对去噪算法和识别方法进行测试和分析。结果显示该算法在一定程度上能适应光照变化,保留眨眼识别所需的眼部信息。

关键词： 视线跟踪   逆二值化   系统实现   实时性  

摘要： 本文首先介绍了研究、应用视线跟踪技术的背景和必要性,回顾了视线跟踪技术在国内外的发展历程,同时简要叙述了目前主要的视线跟踪技术及其原理,并比较了这些技术的优缺点。然后由于准确定位和跟踪瞳孔是视线跟踪系统能够稳定工作非常关键的一步,因此本文特别针对戴眼镜时定位瞳孔困难的特点,提出了一种强鲁棒性的瞳孔实时检测和跟踪算法。该算法基于亮暗瞳技术,首先通过采集得到亮瞳和暗瞳图像,然后将这两幅图像分别逆二值化。接着过滤掉暗瞳逆二值化图像中不可能为瞳孔的区域,再将逆二值化后的暗瞳和亮瞳图像差分,最后在二值化的差分图像中对瞳孔进行粗定位。之后根据粗定位的瞳孔中心在暗瞳中选取感兴趣区域,然后在感兴趣区域中进行椭圆拟合和计算瞳孔中心以及光斑中心。此外,图像二值化阈值选取的好坏直接影响着后面目标特征的提取,而传统的图像二值化方法非常容易受阈值的影响,从而使得应用范围受到限制。因此,本文基于opencv中的自适应阈值分割方法,统计了图像中脸部眼睛周围区域的灰度均值和该函数最后一个参数的关系。最后每次分割暗瞳图像时,自适应阈值二值化函数的最后一个参数能够随着眼睛周围的平均灰度大小不同而改变。通过大量实验证明,该算法不仅在理想情况下运行稳定,而且在复杂的情况下,比如戴上眼镜后即使镜片镜架上存在类瞳孔的光斑以及改变光照或者改变人脸部距离相机距离,该算法依然能够很好的检测和跟踪瞳孔。最后在PC机中进行系统实现与性能测试。系统包括硬件平台和软件实现两个部分。其中硬件平台主要由USB3.0双路图像采集卡、相机、红外光源以及PC机组成。软件部分分为采集模块和应用程序模块,主要完成图像特征点提取和求解视线落点功能。通过实验,得出实验室单相机单光源系统的误差为0.8度左右。

关键词： 视线跟踪   立体视觉   系统标定   人眼特征提取  

摘要： 视线跟踪技术是智能眼动操作系统的关键性技术,是未来智能人机接口的关键性技术之一。视线跟踪技术发展初期,测量手段简易、贫乏,对使用者有很大的影响。机器视觉和图像处理技术在近些年来有了很大的发展,基于计算机视觉的光学记录法以其安全性,准确性成为当前研究的热点。基于计算机视觉的光学记录法又可分为单摄像机无光源系统,单摄像机多光源系统和多摄像机多光源系统。单摄像机无光源系统,主要依靠摄像机捕获人眼,利用图像处理算法对人眼特征进行检测,结构简单但算法复杂;单摄像机多光源系统和多摄像机多光源系统一般基于瞳孔-角膜反射向量法跟踪人眼视线,这类系统需要搭建复杂的硬件结构,标定过程繁琐,成本较高。针对以上问题,本文基于双目立体视觉原理,搭建了一个头戴式小型视线跟踪系统,该系统结构简单,成本低,可较准确地跟踪人眼视线。本文所搭建的头戴式小型双目立体视线跟踪系统主要由一个近红外面光源,一组双目相机,一个场景相机和一块反射镜构成:双目相机借助反射镜拍摄人眼图像,场景相机借助反射镜拍摄场景图像,通过对双目相机和场景相机的标定将人眼图像和场景图像统一到同一个坐标系中。由于场景相机与双目相机位置特殊,本文提出了一种无公共视场的相机标定方法,通过两轴转台关联相机视场,解决了系统标定问题。视线信息获取为整个视线跟踪系统的核心和关键,本文根据定义“瞳孔边界所成平面的中心法线方向为视线间接估计方向”提取人眼视线。首先,在眼睛红外图像中进行瞳孔亚像素边缘检测和瞳孔中心定位;然后,根据瞳孔位置大致确定眼角区域,并根据该区域图像像素灰度值累加图特点,对图像进行二值化处理,精确确定眼角位置;最后,根据瞳孔及眼角特征确定瞳孔边缘同名点,结合相机标定结果,拟合瞳孔所在空间平面,确定视线方向。本文所设计的基于双目立体视觉的小型头戴式视线跟踪系统,可以清晰稳定地采集人眼图像,借助后续图像处理算法可以较准确地完成视线方向跟踪工作,解决了现有视线跟踪系统结构复杂,标定过程繁琐的问题。

关键词： 人机交互   视线跟踪   SoC   立体视觉   嵌入式开发  

摘要： 视线跟踪技术是计算机视觉领域的热门课题,基于视线跟踪技术的人机交互方式是目前多通道自然交互领域中备受关注的研究方向。将视觉跟踪技术应用于人机交互,可以改善传统人机交互模式,给用户带来全新、自然和高效的交互体验,此外还可以帮助上肢行动障碍人士像正常人一样平等、自然地与计算机进行交流,因此课题具有一定的学术价值和社会意义。论文研究了典型的视线跟踪技术,并在此基础上结合立体视觉技术设计了一款基于视线跟踪技术的人机交互系统。系统硬件设计主要工作有:设计图像采集模块实现对用户面部图像的获取;设计光标控制模块实现与计算机的交互;设计图像显示模块完成视频图像地实时显示;利用SoC技术将ARM硬核处理器、图像采集模块、图像显示模块和光标控制模块进行集成完成系统的整体硬件设计。系统的嵌入式软件设计主要工作有:在平台上移植嵌入式Linux操作系统实现多任务处理;移植Qt图形库设计开发显示界面;移植OpenCV计算机视觉库帮助实现部分图像处理算法;开发上层应用程序,检测与视线方向相关的特征,计算用户头部姿态,完成对用户视线注视点的定位,最后对计算机光标进行相应控制,实现人机交互功能。论文的主要的贡献有:(1)提出以立体视觉技术计算人脸朝向的视线跟踪方法,此方法允许用户头部在一定范围内运动,并对用户视线进行准确跟踪;(2)针对自然光照下低分辨率人眼图像虹膜定位困难的问题设计了圆算子结合边界法的虹膜定位算法;(3)利用SoC技术进行嵌入式产品的原型开发,增强了可扩展性,便于后续的功能升级和快速产品化。经测试验证,在用户看显示器的过程中,系统能对用户的视线进行跟踪,且可以根据跟踪结果对计算机光标进行相应控制,通过视线实现人机交互的功能。

关键词： 摄像机标定   立体视觉距   人脸检测   特征检测   视线跟踪  

摘要： 人机交互技术,主要含有所视部分的跟踪,声音的识别,手势的识别等等的各种技术融合在一起的一种技术。其中,所视部分的跟踪是这个领域中最新出现的技术引起了国内外研究者的浓厚兴趣,这项新技术的出现,吸引了人们的目光,也是此领域向前发展的项目之一。当前,所视部分的追踪设备多是基于红外光源来定位视线位置或者让被观察者戴着特别的头盔来检测眼部运动,对被观察者都有干扰。本文围绕着视线跟踪这个主题,提出了基于非红外光学摄像机的视线追踪技术。主要探讨了立体视觉标定、测距和人脸检测、特征点检测、视线方向的计算等等与此有关的话题。第一,简单的概括了一下人机交互技术的发展历程,和计算机视觉的相关理论形成的过程。其次,还简单的概括了一下所视部分的追踪技术的概念,和怎样运用这项技术,分析他的研究的成果,和未来的发展走向。与此同时,告诉大家本文为何研究此内容和怎样研究此内容。第二,探索了双目CCD立体视觉测标定及测距理论和摄像机的数学模型,总结了常用的摄像机标定方法,并对双目CCD系统测距建立数学模型,分析其系统误差。在此基础上,应用基于BP的双目CCD标定算法,作为测距系统的数学模型。再次,研究了人脸及人脸特征检测技术。首先利用人脸肤色模型,把人脸与背景区分开来,利用人脸的几何特征,排除与肤色相近的非人脸区域,得到人脸区域,在人脸区域内进行眼睛的粗定位。然后将图像灰度化,用Sobel算子求出灰度图像的梯度信息,再利用基于圆检测的梯度Hough变换快速定位出人眼,内眼角和嘴角的提取则采用SUSAN算子。最后,提出了视线方向计算方法。借助眼球的数学模型以及双目CCD测距技术,根据两内眼角和两嘴角建立人脸平面,并根据历史实验数据计算出眼球中心在人脸平面坐标系中的坐标,再计算出被观察着照片中人眼中心的坐标,那么眼球中心与人眼中心连线的方向就是所要求的视线方向。实验结果表明,平均的视线偏差角度为7.65°。

关键词： 立体视觉   自然光   视线跟踪   头部姿态   注视点  

摘要： 视线跟踪是一种极具发展潜力的新型人机交互技术,相对于传统方式具有更加自然、直接、人性化等优点,在游戏娱乐、助老助残、虚拟现实、智能家居、广告分析等领域都有着广泛的应用前景。目前的视线跟踪系统大多对用户的头部运动有所限制,需要借助红外光源等辅助设备来保证跟踪精度,系统搭建繁杂,成本昂贵。论文对自然光下能克服头动限制的视线跟踪技术进行研究,提出了一种基于双目立体视觉的视线跟踪算法方案,在自然光下提取眼动特征信息,并结合头部姿态进行校正得到注视点位置,实现对视线的实时准确跟踪。论文的主要研究工作如下:(1)自然光下的眼动信息提取。首先对视频图像进行人脸检测及跟踪,结合五官分布特征及人眼区域灰度特点,采用先粗后精的方法分割人眼区域。针对自然光下人眼区域图像的低对比度及光照不均匀的特点,提出了一种基于圆算子和灰度投影的虹膜中心定位算法,然后在进行像素预选后,采用Harris角点检测算法来提取内眼角点,实现了对眼动特征点的实时准确定位。(2)头部姿态估计。构建了以左右内眼角点、左右嘴角点中点为特征点的头部姿态模型,提出了一种基于特征点三维信息的头部姿态计算方法。首先结合边缘检测和Harris角点检测算法定位左右嘴角点,然后根据立体视觉原理和双目相机标定得到的参数计算特征点的三维坐标,最后根据三个特征点在三维空间中的几何关系确定头部的上下俯仰、左右偏转角度,获取头部姿态。(3)注视点定位。首先根据内眼角点与虹膜中心构成的眼动向量与注视点的位置关系建立注视点映射模型,通过校准得到该模型的相关参数,然后根据检测到的眼动向量初步计算出注视点位置。考虑到头部运动对注视点的影响,提出了一种注视点映射模型结合头动补偿的注视点定位方法,根据头部的左右偏转及上下俯仰角度对注视点位置进行校正补偿。论文在VS2010平台上对提出的视线跟踪算法方案进行了验证,验证结果表明,头部在一定范围内活动时,该方案仍能保证注视点的定位精度。后续课题组对论文提出的算法方案在嵌入式平台进行了实现,结果显示,该方案能够满足视线跟踪系统对准确性、实时性以及可行性方面的要求。

关键词： 差分进化算法   狼群算法   混合蛙跳算法   Nelder-Mead单纯形法   视线跟踪技术  

摘要： 视线跟踪技术是通过采集实时眼动信息,建立人眼和目标区域之间的关系,有着广泛的应用。视线跟踪技术中数学模型较为复杂,如三维角膜曲率中心和二维瞳孔中心模型都是非线性数学模型,直接求解比较困难。由于系统对实时、准确及稳定性要求高,经典算法往往不能达到满意的效果,而一些智能算法,如差分进化(DE)算法和混合蛙跳算法(SFLA),由于易发生“早熟”现象使它们在求解精度方面不能满足要求。因此,本文主要研究差分进化混合算法并用于解决视线跟踪中的两个数学问题。主要工作如下:1.提出了基于DE与Nelder-Mead单纯形法(NMSM)的混合蛙跳算法。针对差分进化算法易陷入局部最优的不足,本文以DE为核心,结合NMSM及SFLA的算法优势,提出了一种新型混合算法,即DE-NM-SFL算法。利用无穷乘积理论,证明了DE-NM-SFL算法的收敛性,通过10个Benchmark标准测试函数数值实验,将DE-NM-SFL算法与DE、NMSM、SFLA及DE-SFL四种算法进行比较和分析,验证了DE-NM-SFL算法在精度和鲁棒性方面的优势。2.提出了一种狼群动态差分进化算法。本文对动态差分(DDE)策略进行了改进,并结合新型自适应狼群(WP)游走算子,提出了一种新的差分进化混合算法,即WPS-DDE算法。利用随机泛函原理对该算法的渐进收敛性进行了证明,并通过10个Benchmark标准测试函数的数值实验,将算法WPS-DDE与DE、WPS、DE-WPA、DDE四种算法进行比较和分析,验证了WPS-DDE算法不仅具有更快的收敛速度和更强的鲁棒性能,其在运行速率方面也得到了较大改善。3.视线跟踪技术中的应用。一是将非线性角膜曲率中心求解模型转化成无约束优化模型,分别使用DE-NM-SFL算法、经典算法及其他四种智能优化算法对其进行求解、比较与分析,结果表明了DE-NM-SFL具有更高的精度和较好的鲁棒性能;二是结合图像处理方法将二维瞳孔中心坐标的求解问题转化成二次曲线拟合问题,然后分别采用WPS-DDE算法与其他三种方法进行求解,结果显示了WPS-DDE具有较高的求解精度和运行速度。

关键词： 瞳孔定位   人机交互   眼控鼠标   视线跟踪   椭圆拟合   滤波去噪  

摘要： 眼控技术是人机交互的一个重要研究领域,广泛应用于用户研究、医疗事业、户外广告分析、电梯广告分析、虚拟现实等领域,有非常重要的应用研究价值。本文章首先针对眼球在正常转动中会发生着眼睑遮挡瞳孔而导致影响着瞳孔定位的精度和稳定性的问题,提出了一种新的基于眼球模型的瞳孔定位算法。然后,基于所提出的瞳孔定位算法开发了一个眼控鼠标软件并进行实验评估。主要的研究内容如下:(1)提出了一种新的瞳孔定位算法,首先采用改进的星射线法提取瞳孔边缘轮廓,接着根据眼球模型和瞳孔位置判断是否存在眼睑遮挡情况,如果不存在,则定位结束。如果存在,提出了一种改进的椭圆拟合算法进行第二次定位,并实现对瞳孔参数的修正。从而在保证效率的同时,对眼睑遮挡情况进行精确瞳孔定位。实验表明,所提出的算法有良好的定位效果。(2)基于新的瞳孔定位算法和视线跟踪技术的理论基础,开发了一款眼控鼠标应用软件。由该应用软件和the eye tribe眼动仪组成的新型人机交互系统可以代替传统鼠标,用户可通过特征点(人的注视点)运动来控制光标的移动并且能够进行眨眼检测。测试结果表明系统的鲁棒性和视线跟踪性能良好,所开发的软件有一定实际意义和应用价值。

关键词： 瞳孔中心定位   眼动估计   头动估计   视线跟踪  

摘要： 视线是指人眼的注视方向,反映了人关注的焦点。视线跟踪广泛应用于心理学、图形学、软件工程、模式识别、人机交互、医学、广告心理学、军事等诸多领域,具有很强的实用价值,因此近年来视线跟踪成为了计算机视觉和模式识别领域的热门课题。本文在分析了国内外视线跟踪的研究现状和相关算法的基础上,提出结合头动信息和眼动信息进行视线实时跟踪的方法。本文所做主要工作如下:(1)综合分析了各种瞳孔中心定位算法,提出基于选择性阈值取反和径向对称的瞳孔中心定位方法,此方法可以应用于各种光照环境下,且可以最大限度的避免把眼角或者镜框错定位成瞳孔中心的情况。选择左右眼角作为特征点,左右眼角的中点作为基准点,利用瞳孔中心与基准点之间的偏差进行眼动估计。(2)建立以相机为原点的三维坐标,获得人脸旋转的四元数并转换为头部的旋转角,进行头动估计;建立了与位置无关的视线跟踪模型,受试者位置可以任意移动而不局限于某一特定位置,使测试环境更加舒适。(3)综合了头动信息和眼动信息并根据眼动与头动的实际情况,确定了感兴趣区域(在一定距离下人所能观察到的最大范围);把实际注视点转换为屏幕坐标,对跟踪精度进行检测并定量地分析了跟踪误差。