关键词： 视线跟踪   立体视觉   系统标定   人眼特征提取  

摘要： 视线跟踪技术是智能眼动操作系统的关键性技术,是未来智能人机接口的关键性技术之一。视线跟踪技术发展初期,测量手段简易、贫乏,对使用者有很大的影响。机器视觉和图像处理技术在近些年来有了很大的发展,基于计算机视觉的光学记录法以其安全性,准确性成为当前研究的热点。基于计算机视觉的光学记录法又可分为单摄像机无光源系统,单摄像机多光源系统和多摄像机多光源系统。单摄像机无光源系统,主要依靠摄像机捕获人眼,利用图像处理算法对人眼特征进行检测,结构简单但算法复杂;单摄像机多光源系统和多摄像机多光源系统一般基于瞳孔-角膜反射向量法跟踪人眼视线,这类系统需要搭建复杂的硬件结构,标定过程繁琐,成本较高。针对以上问题,本文基于双目立体视觉原理,搭建了一个头戴式小型视线跟踪系统,该系统结构简单,成本低,可较准确地跟踪人眼视线。本文所搭建的头戴式小型双目立体视线跟踪系统主要由一个近红外面光源,一组双目相机,一个场景相机和一块反射镜构成:双目相机借助反射镜拍摄人眼图像,场景相机借助反射镜拍摄场景图像,通过对双目相机和场景相机的标定将人眼图像和场景图像统一到同一个坐标系中。由于场景相机与双目相机位置特殊,本文提出了一种无公共视场的相机标定方法,通过两轴转台关联相机视场,解决了系统标定问题。视线信息获取为整个视线跟踪系统的核心和关键,本文根据定义“瞳孔边界所成平面的中心法线方向为视线间接估计方向”提取人眼视线。首先,在眼睛红外图像中进行瞳孔亚像素边缘检测和瞳孔中心定位;然后,根据瞳孔位置大致确定眼角区域,并根据该区域图像像素灰度值累加图特点,对图像进行二值化处理,精确确定眼角位置;最后,根据瞳孔及眼角特征确定瞳孔边缘同名点,结合相机标定结果,拟合瞳孔所在空间平面,确定视线方向。本文所设计的基于双目立体视觉的小型头戴式视线跟踪系统,可以清晰稳定地采集人眼图像,借助后续图像处理算法可以较准确地完成视线方向跟踪工作,解决了现有视线跟踪系统结构复杂,标定过程繁琐的问题。

关键词： 人机交互   视线跟踪   SoC   立体视觉   嵌入式开发  

摘要： 视线跟踪技术是计算机视觉领域的热门课题,基于视线跟踪技术的人机交互方式是目前多通道自然交互领域中备受关注的研究方向。将视觉跟踪技术应用于人机交互,可以改善传统人机交互模式,给用户带来全新、自然和高效的交互体验,此外还可以帮助上肢行动障碍人士像正常人一样平等、自然地与计算机进行交流,因此课题具有一定的学术价值和社会意义。论文研究了典型的视线跟踪技术,并在此基础上结合立体视觉技术设计了一款基于视线跟踪技术的人机交互系统。系统硬件设计主要工作有:设计图像采集模块实现对用户面部图像的获取;设计光标控制模块实现与计算机的交互;设计图像显示模块完成视频图像地实时显示;利用SoC技术将ARM硬核处理器、图像采集模块、图像显示模块和光标控制模块进行集成完成系统的整体硬件设计。系统的嵌入式软件设计主要工作有:在平台上移植嵌入式Linux操作系统实现多任务处理;移植Qt图形库设计开发显示界面;移植OpenCV计算机视觉库帮助实现部分图像处理算法;开发上层应用程序,检测与视线方向相关的特征,计算用户头部姿态,完成对用户视线注视点的定位,最后对计算机光标进行相应控制,实现人机交互功能。论文的主要的贡献有:(1)提出以立体视觉技术计算人脸朝向的视线跟踪方法,此方法允许用户头部在一定范围内运动,并对用户视线进行准确跟踪;(2)针对自然光照下低分辨率人眼图像虹膜定位困难的问题设计了圆算子结合边界法的虹膜定位算法;(3)利用SoC技术进行嵌入式产品的原型开发,增强了可扩展性,便于后续的功能升级和快速产品化。经测试验证,在用户看显示器的过程中,系统能对用户的视线进行跟踪,且可以根据跟踪结果对计算机光标进行相应控制,通过视线实现人机交互的功能。

关键词： 摄像机标定   立体视觉距   人脸检测   特征检测   视线跟踪  

摘要： 人机交互技术,主要含有所视部分的跟踪,声音的识别,手势的识别等等的各种技术融合在一起的一种技术。其中,所视部分的跟踪是这个领域中最新出现的技术引起了国内外研究者的浓厚兴趣,这项新技术的出现,吸引了人们的目光,也是此领域向前发展的项目之一。当前,所视部分的追踪设备多是基于红外光源来定位视线位置或者让被观察者戴着特别的头盔来检测眼部运动,对被观察者都有干扰。本文围绕着视线跟踪这个主题,提出了基于非红外光学摄像机的视线追踪技术。主要探讨了立体视觉标定、测距和人脸检测、特征点检测、视线方向的计算等等与此有关的话题。第一,简单的概括了一下人机交互技术的发展历程,和计算机视觉的相关理论形成的过程。其次,还简单的概括了一下所视部分的追踪技术的概念,和怎样运用这项技术,分析他的研究的成果,和未来的发展走向。与此同时,告诉大家本文为何研究此内容和怎样研究此内容。第二,探索了双目CCD立体视觉测标定及测距理论和摄像机的数学模型,总结了常用的摄像机标定方法,并对双目CCD系统测距建立数学模型,分析其系统误差。在此基础上,应用基于BP的双目CCD标定算法,作为测距系统的数学模型。再次,研究了人脸及人脸特征检测技术。首先利用人脸肤色模型,把人脸与背景区分开来,利用人脸的几何特征,排除与肤色相近的非人脸区域,得到人脸区域,在人脸区域内进行眼睛的粗定位。然后将图像灰度化,用Sobel算子求出灰度图像的梯度信息,再利用基于圆检测的梯度Hough变换快速定位出人眼,内眼角和嘴角的提取则采用SUSAN算子。最后,提出了视线方向计算方法。借助眼球的数学模型以及双目CCD测距技术,根据两内眼角和两嘴角建立人脸平面,并根据历史实验数据计算出眼球中心在人脸平面坐标系中的坐标,再计算出被观察着照片中人眼中心的坐标,那么眼球中心与人眼中心连线的方向就是所要求的视线方向。实验结果表明,平均的视线偏差角度为7.65°。

关键词： 立体视觉   自然光   视线跟踪   头部姿态   注视点  

摘要： 视线跟踪是一种极具发展潜力的新型人机交互技术,相对于传统方式具有更加自然、直接、人性化等优点,在游戏娱乐、助老助残、虚拟现实、智能家居、广告分析等领域都有着广泛的应用前景。目前的视线跟踪系统大多对用户的头部运动有所限制,需要借助红外光源等辅助设备来保证跟踪精度,系统搭建繁杂,成本昂贵。论文对自然光下能克服头动限制的视线跟踪技术进行研究,提出了一种基于双目立体视觉的视线跟踪算法方案,在自然光下提取眼动特征信息,并结合头部姿态进行校正得到注视点位置,实现对视线的实时准确跟踪。论文的主要研究工作如下:(1)自然光下的眼动信息提取。首先对视频图像进行人脸检测及跟踪,结合五官分布特征及人眼区域灰度特点,采用先粗后精的方法分割人眼区域。针对自然光下人眼区域图像的低对比度及光照不均匀的特点,提出了一种基于圆算子和灰度投影的虹膜中心定位算法,然后在进行像素预选后,采用Harris角点检测算法来提取内眼角点,实现了对眼动特征点的实时准确定位。(2)头部姿态估计。构建了以左右内眼角点、左右嘴角点中点为特征点的头部姿态模型,提出了一种基于特征点三维信息的头部姿态计算方法。首先结合边缘检测和Harris角点检测算法定位左右嘴角点,然后根据立体视觉原理和双目相机标定得到的参数计算特征点的三维坐标,最后根据三个特征点在三维空间中的几何关系确定头部的上下俯仰、左右偏转角度,获取头部姿态。(3)注视点定位。首先根据内眼角点与虹膜中心构成的眼动向量与注视点的位置关系建立注视点映射模型,通过校准得到该模型的相关参数,然后根据检测到的眼动向量初步计算出注视点位置。考虑到头部运动对注视点的影响,提出了一种注视点映射模型结合头动补偿的注视点定位方法,根据头部的左右偏转及上下俯仰角度对注视点位置进行校正补偿。论文在VS2010平台上对提出的视线跟踪算法方案进行了验证,验证结果表明,头部在一定范围内活动时,该方案仍能保证注视点的定位精度。后续课题组对论文提出的算法方案在嵌入式平台进行了实现,结果显示,该方案能够满足视线跟踪系统对准确性、实时性以及可行性方面的要求。

关键词： 差分进化算法   狼群算法   混合蛙跳算法   Nelder-Mead单纯形法   视线跟踪技术  

摘要： 视线跟踪技术是通过采集实时眼动信息,建立人眼和目标区域之间的关系,有着广泛的应用。视线跟踪技术中数学模型较为复杂,如三维角膜曲率中心和二维瞳孔中心模型都是非线性数学模型,直接求解比较困难。由于系统对实时、准确及稳定性要求高,经典算法往往不能达到满意的效果,而一些智能算法,如差分进化(DE)算法和混合蛙跳算法(SFLA),由于易发生“早熟”现象使它们在求解精度方面不能满足要求。因此,本文主要研究差分进化混合算法并用于解决视线跟踪中的两个数学问题。主要工作如下:1.提出了基于DE与Nelder-Mead单纯形法(NMSM)的混合蛙跳算法。针对差分进化算法易陷入局部最优的不足,本文以DE为核心,结合NMSM及SFLA的算法优势,提出了一种新型混合算法,即DE-NM-SFL算法。利用无穷乘积理论,证明了DE-NM-SFL算法的收敛性,通过10个Benchmark标准测试函数数值实验,将DE-NM-SFL算法与DE、NMSM、SFLA及DE-SFL四种算法进行比较和分析,验证了DE-NM-SFL算法在精度和鲁棒性方面的优势。2.提出了一种狼群动态差分进化算法。本文对动态差分(DDE)策略进行了改进,并结合新型自适应狼群(WP)游走算子,提出了一种新的差分进化混合算法,即WPS-DDE算法。利用随机泛函原理对该算法的渐进收敛性进行了证明,并通过10个Benchmark标准测试函数的数值实验,将算法WPS-DDE与DE、WPS、DE-WPA、DDE四种算法进行比较和分析,验证了WPS-DDE算法不仅具有更快的收敛速度和更强的鲁棒性能,其在运行速率方面也得到了较大改善。3.视线跟踪技术中的应用。一是将非线性角膜曲率中心求解模型转化成无约束优化模型,分别使用DE-NM-SFL算法、经典算法及其他四种智能优化算法对其进行求解、比较与分析,结果表明了DE-NM-SFL具有更高的精度和较好的鲁棒性能;二是结合图像处理方法将二维瞳孔中心坐标的求解问题转化成二次曲线拟合问题,然后分别采用WPS-DDE算法与其他三种方法进行求解,结果显示了WPS-DDE具有较高的求解精度和运行速度。

关键词： 瞳孔定位   人机交互   眼控鼠标   视线跟踪   椭圆拟合   滤波去噪  

摘要： 眼控技术是人机交互的一个重要研究领域,广泛应用于用户研究、医疗事业、户外广告分析、电梯广告分析、虚拟现实等领域,有非常重要的应用研究价值。本文章首先针对眼球在正常转动中会发生着眼睑遮挡瞳孔而导致影响着瞳孔定位的精度和稳定性的问题,提出了一种新的基于眼球模型的瞳孔定位算法。然后,基于所提出的瞳孔定位算法开发了一个眼控鼠标软件并进行实验评估。主要的研究内容如下:(1)提出了一种新的瞳孔定位算法,首先采用改进的星射线法提取瞳孔边缘轮廓,接着根据眼球模型和瞳孔位置判断是否存在眼睑遮挡情况,如果不存在,则定位结束。如果存在,提出了一种改进的椭圆拟合算法进行第二次定位,并实现对瞳孔参数的修正。从而在保证效率的同时,对眼睑遮挡情况进行精确瞳孔定位。实验表明,所提出的算法有良好的定位效果。(2)基于新的瞳孔定位算法和视线跟踪技术的理论基础,开发了一款眼控鼠标应用软件。由该应用软件和the eye tribe眼动仪组成的新型人机交互系统可以代替传统鼠标,用户可通过特征点(人的注视点)运动来控制光标的移动并且能够进行眨眼检测。测试结果表明系统的鲁棒性和视线跟踪性能良好,所开发的软件有一定实际意义和应用价值。

关键词： 瞳孔中心定位   眼动估计   头动估计   视线跟踪  

摘要： 视线是指人眼的注视方向,反映了人关注的焦点。视线跟踪广泛应用于心理学、图形学、软件工程、模式识别、人机交互、医学、广告心理学、军事等诸多领域,具有很强的实用价值,因此近年来视线跟踪成为了计算机视觉和模式识别领域的热门课题。本文在分析了国内外视线跟踪的研究现状和相关算法的基础上,提出结合头动信息和眼动信息进行视线实时跟踪的方法。本文所做主要工作如下:(1)综合分析了各种瞳孔中心定位算法,提出基于选择性阈值取反和径向对称的瞳孔中心定位方法,此方法可以应用于各种光照环境下,且可以最大限度的避免把眼角或者镜框错定位成瞳孔中心的情况。选择左右眼角作为特征点,左右眼角的中点作为基准点,利用瞳孔中心与基准点之间的偏差进行眼动估计。(2)建立以相机为原点的三维坐标,获得人脸旋转的四元数并转换为头部的旋转角,进行头动估计;建立了与位置无关的视线跟踪模型,受试者位置可以任意移动而不局限于某一特定位置,使测试环境更加舒适。(3)综合了头动信息和眼动信息并根据眼动与头动的实际情况,确定了感兴趣区域(在一定距离下人所能观察到的最大范围);把实际注视点转换为屏幕坐标,对跟踪精度进行检测并定量地分析了跟踪误差。

关键词： 视线追踪   单点标定   自动标定   免标定  

摘要： 眼睛是人类赖以生存的重要器官之一,是人类与外界环境进行信息传递的重要渠道。研究表明,人类大脑中的知识有80%以上是通过眼睛获取的。眼睛是一个高质量高效率的信息传输通道。随着科学技术的快速发展,眼睛与视线自然而然的引起了大量科研人员的注意,越来越多的科学工作者投入到了视线追踪技术的研究当中。本文对基于3D眼球模型的桌面式视线追踪技术进行了深入的研究,提出了三种不同的标定算法并作出了相应的仿真实验。首先介绍了视线追踪技术的研究背景与发展历程,归纳了国内外关于视线追踪技术的研究现状,并且详细论证了基于3D眼球模型的视线追踪技术的理论基础。在第一个标定算法中,提出了一种基于单点标定的视线追踪技术。在使用该系统之前,用户只需要注视一个标定点,这大大减小了用户使用视线追踪系统的难度,同时也大大减小了标定程序的运行时间以及最终的求解误差。仿真实验结果表明最终视轴估算偏差在0.8°左右。第二种标定算法是一种基于3D眼球模型的自动标定的视线追踪算法,该算法通过最小化用户两只眼睛的视轴与屏幕的两交点之间的距离来求解视轴与光轴间的夹角,之后将这个夹角当作已知条件去估算用户在屏幕上的注视点。在使用该系统之前也需要一个标定程序,只是这个标定程序不要求用户完成任何特定的任务。在用户随意地观看屏幕上的内容时,标定程序在后台自动完成。仿真结果表明在计算15个点之后,视轴与光轴间的夹角收敛于正确结果。最后一种算法是一种不需要任何标定程序就能计算出眼睛的视轴与光轴间夹角的算法。为了估算眼睛视轴与光轴间的夹角,该算法利用差分进化和蛙跳的混合算法(DE-SFLA)来最小化两只眼睛的视线与屏幕的两个交点之间的距离来得到光轴与视轴间的夹角。该算法完全免去了用户标定程序,系统在开机之后就能立刻估算用户的注视位置。由于省去了标定程序,该算法的适应性更强,对于环境的依赖性更弱并且允许用户在使用过程中的环境突然发生改变。实验结果表明当实验者坐在一个19英寸大小的屏幕前面时,视轴与光轴间的夹角的平均偏差为1°。

关键词： 视线跟踪   卷帘快门差分曝光模型   低成本   丢帧优化   UVC  

摘要： 视线跟踪系统通过收集用户观察外界时眼睛的相关数据来估计人眼的注视落点,为残疾人的人机交互提供了一种更加有效的方法。然而,当前的低成本桌面式视线跟踪系统往往由于精度不够而不能应用于人机交互领域,而高精度桌面式视线跟踪系统由于大多使用全局快门高端图像传感器而造价昂贵;而且大多数视线跟踪系统只能应用于特定PC端操作系统,不利于视线跟踪算法的研究与设备的推广。本文将原本应用于高精度眼动仪的亮暗瞳差分曝光瞳孔检测技术与低成本卷帘快门图像传感器相结合,开发出一套基于3D眼球模型并可跨平台使用的低成本桌面式视线跟踪系统。使用低成本卷帘快门图像传感器来实现差分曝光技术的问题在于,卷帘快门的曝光特性导致差分曝光的过程中容易出现串扰现象。本文针对这个问题,提出并推导了一种卷帘快门差分曝光模型,利用这个模型可以针对不同参数的图像传感器计算出最优的差分曝光起始时间和曝光时间长度,从而实现利用廉价卷帘快门传感器构建高精度视线跟踪系统的目标。此外,论文还针对亮暗瞳图像采集丢帧问题、系统跨平台问题以及视线鼠标应用中注视过程的识别问题分别给出了解决方案。本文首先在第二章对桌面式视线跟踪系统进行整体设计,将系统分为FPGA采集底板、USB3.0传输子板以及上位机框架层和算法层;然后在第三章为卷帘快门图像传感器设计了一种差分曝光模型,用于计算亮暗瞳灯光曝光参数,并对亮暗瞳图像采集丢帧的问题进行分类,提出了计数补偿、组帧等方法来优化这些丢帧问题;接着在第四章中,为解决图像的传输与设备的跨平台问题,在CYUSB3014芯片上设计并实现了UVC固件,同时利用QT、DirectShow和V4L2等技术解决上位机软件的跨平台问题,并实现了上位机框架程序,在第四章最后,利用该桌面式视线跟踪系统设计并实现了一套用于残疾人人机交互的视线鼠标应用,并对应用使用的I-DT注视点分类算法进行改进。在桌面式视线跟踪的研究与实现过程中,本文的主要贡献有:(1)提出了一种用于卷帘快门的差分曝光模型(2)针对亮暗瞳图像采集过程中的丢帧问题,提出了计数补偿与组帧技术进行优化(3)设计了FPGA采集底板的硬件,并对其编程(4)设计并实现了一套UVC固件(5)开发了一套跨平台的上位机框架软件(6)开发了一套用于残疾人人机交互的视线鼠标应用,并改进I-DT算法。最终,本文实现了以60fps的速度同步采集两路1280x720灰度图像,并利用亮暗瞳差分曝光瞳孔检测和3D眼球模型来估计注视点的低成本、跨平台、高精度桌面式视线跟踪系统,系统平均误差为0.8°。

关键词： 视线跟踪   黎曼几何   相似三角形   视轴   光轴  

摘要： 针对非接触式视线跟踪系统中注视点估计算法鲁棒性差的问题,对单相机双光源的视线追踪系统进行了改进。在空间相似三角形注视点估计算法的基础上,提出一种基于黎曼几何的视线落点补偿方法。在眼球模型结构的基础上分析了眼球角膜曲面对视线落点偏差的影响。根据人类眼球生理特点,在黎曼几何中对眼球曲面结构进行建模,提出以最短测地线长度为边长构造平面三角形,以补偿欧式几何中直线距离造成的视线落点的误差。利用非线性多项式模型对眼球视轴和光轴之间的偏差进行拟合,得到最终的视线落点。实验证明,该方法在水平和垂直方向上最大误差均小于1 cm,对视线落点补偿具有显著效果。