关键词： 人机交互   Harr特征分类   目标跟踪   角点检测   视线估计  

摘要： 视线跟踪技术是结合图像处理和计算机视觉技术的研究课题,视线跟踪是利用摄像头和电脑实现对人眼视线注视目标的实时识别与跟踪。随着计算机技术的飞速发展,采用视线跟踪技术的相关产品也被广泛应用于残疾人生活、产品广告市场影响力分析、视觉娱乐游戏等方面。论文的主要目的：设计一个用户不需要佩戴任何辅助设备的视线跟踪人机交互系统,并实现对人眼屏幕注视点的实时跟踪与互动显示。论文的具体工作：利用opencv计算机视觉库在Visual Studio 2010开发环境中,搭建系统软件平台。采用常见的USB摄像头和一台普通配置的PC机组成系统的硬件平台。控制算法设计分为人脸识别、人眼识别、瞳孔坐标动态跟踪、人眼外眼角坐标检测、视线估计建模、MFC人机互动界面设计等主要部分。首先利用基于Harr特征的分类识别算法检测动态的人脸和人眼,并提取人眼感兴趣区域,然后采用基于模板匹配的目标跟踪方法在人眼感兴趣区域实时跟踪瞳孔的中心坐标,接着使用改进的SUSAN角点检测算法定位人眼的外眼角坐标,并结合人眼的结构特点构建视线估计模型,从而建立人眼特征参数与计算机屏幕视线注视区域的映射关系,最后设计系统的MFC互动界面实现人眼注视区域的动态显示。实验表明,论文设计的视线跟踪系统在自然光条件下,能够比较准确地估计视线在屏幕上的注视区域,且具有硬件要求低、用户无需佩戴辅助设备和操作简单等优点。

关键词： 视线跟踪   安全驾驶   人脸检测   虹膜中心   角点检测  

摘要： 随着汽车的普及,对驾驶员的驾驶视线进行跟踪对提高行车的安全性有着重要的意义。视线跟踪也是现阶段备受关注的研究领域,其在人机交互、军事、市场营销、工业控制等领域有着广大的运用前景。本文针对实时性、稳定性、准确性提出了一种非入侵式的视线跟踪框架。使用普通的单摄像头对驾驶员进行驾驶图像采集,利用驾驶员的内眼角点作为参考点,虹膜中心作为动点,通过二者的位置关系建立视线跟踪模型。本系统先对视频获取的图像进行滤波与对比增强处理,在滤波处理中提出中值滤波与双边滤波相结合的方法,并使用一种降维的方式进行权值计算。为了减少搜索空间和提高特征提取的准确性,本系统采用从粗到细的搜索策略。先从预处理后的图像中确定人脸区域,在从人脸区域确定眼睛区域,最后获取虹膜中心和角点特征。针对人脸识别模块,本文提出了一种提出基于先验知识与统计方法相结合的思路,先使用肤色模型确定候选人脸区域,再使用Adaboost算法对候选区域进行检测。该方法不仅缩短了检测时间而且提高了检测的准确率。在获取人脸区域后使用“三庭五眼”加基于灰度值的投影方法确定人眼位置。对于虹膜中心检测本文提出了一种基于中垂线的Hough变换的改进方法,把三维问题空间转换成了二维空间。在角点检测模块,提出使用Harris算子二次递归的算法,进行更精准、更细致的眼角检测。最后,本文基于openCV二次开发,对本文提出的框架与相关改进算法进行测试。结果表明,本系统的框架与相关算法是比较有效的。

关键词： 视线跟踪   瞳孔中心   普尔钦光斑   注视点   总体最小二乘法   多项式函数  

摘要： 无人武器系统是武器装备发展的重要方向,人在回路的遥操作是未来相当长时期内无人武器的主要操控方式,受生理、心理因素影响手动操控效率较低,无法满足高时效性的战场需要。视线跟踪瞄准是一种新型的人机交互方式,借助人眼注视方向进行瞄准打击可以解放士兵的双手,大大提高士兵操控无人武器系统的效率。本文讨论的视线跟踪就是其中的最关键技术。采用基于瞳孔角膜反射的视线估计方法,构建了头戴式视线跟踪系统。通过人眼摄像机采集人眼图像,在Linux系统下结合OPENCV的开发语言进行算法编程,对人眼图像依次进行高斯滤波去噪、ROI区域提取和灰度化等预处理。基于灰度直方图确定自适应阈值并对灰度图二值化分割,采用Canny边缘检测方法提取瞳孔轮廓,结合总体最小二乘椭圆拟合算法确定瞳孔中心坐标。采用质心法获取普尔钦斑点中心坐标,并计算出二维偏移向量P-CR。以多项式函数的形式建立P-CR向量与注视点之间的映射关系,实现了人眼信息与注视点信息的转化,达到了人眼视线跟踪的目的。实验结果表明,视线跟踪定位准确率超过90%,为无人武器视线跟踪瞄准技术奠定了基础。

关键词： 无人武器   目视瞄准   人机交互   视线跟踪   武器云台伺服  

摘要： 为适应未来战争越来越信息化及无人化的发展趋势,无人作战平台、遥控武器站、无人值守武器、顶置武器等无人武器系统应运而生,成为世界各国竞相研究的热点,是未来武器装备发展的重要方向。本论文研究无人武器的目视瞄准技术,构建基于头戴显示及人眼运动追踪的头戴式人机融合视线跟踪瞄准操控系统,将头戴显示及人眼运动追踪装置、操控人员和武器云台紧密耦合,通过检测眼球运动追踪人眼视线,捕获操控人员对特定目标的注视信息,建立操控人员眼球运动与武器目标跟踪瞄准的随动关系,驱动武器云台追随操控人员视线跟踪瞄准目标,实现“看哪打哪,看见即消灭”,对实现无人武器高效精准打击、减轻操控人员负担具有重要意义。本论文主要包括以下研究工作:眼睛运动机制研究及视线跟踪系统设计。研究眼睛结构与运动机制,包括眼睛生理构造与视觉原理、眼球运动控制、眼动基本模式以及眼睛模型等。以眼睛模型及运动机制为理论基础构建基于单摄像机和近红外光源阵列的头戴式视线跟踪系统。人眼检测与定位技术研究。提出一种基于Haar-like与二阶LDP的混合加权特征（H-LDP2）人眼检测算法。采集若干幅人眼正、负样本图像,提取基于Haar-like与二阶LDP的混合加权特征,使用Adaboost算法对混合特征模型进行训练,得到级联人眼分类器,进行人眼检测与定位运算。在特征提取之前,采用Gabor算子对人眼目标图像在多尺度、多方向上进行滤波,提取不同尺度及方向特征。瞳孔和光斑检测与定位技术研究。提出精确、稳定的瞳孔和光斑检测方法。对于瞳孔检测,提出圆环射线定位（Circular Ring Rays Location,简称CRRL）算法来检测瞳孔边界点。粗定位瞳孔中心并计算瞳孔初始半径,根据瞳孔粗定位中心及初始半径确定包括瞳孔边界在内的圆环区域,从内圆环向外圆环发射射线,计算梯度幅值并提取瞳孔边界点。提出改进总体最小二乘算法对提取的瞳孔边界点集进行拟合。对于光斑检测,通过阈值化及连通区域检测粗定位其位置区域,结合高斯函数变形和改进总体最小二乘计算其中心位置。视线方向估计技术研究。提出一种基于瞳孔-光斑向量（P-CR）的2D视线估计方法,分别使用圆环射线定位算法和高斯拟合算法检测瞳孔和光斑中心,计算P-CR向量,根据P-CR向量和标定点之间的对应关系构造映射函数,提出基于直接最小二乘回归的改进人工神经网络算法（DLSR-ANN）对映射关系进行标定求解,实现视线方向的估计。对视线方向估计进行误差补偿,进一步提高估计精度。武器伺服云台随动控制技术研究。为实现伺服系统电机的快速响应及调动,建立基于模糊PI的电机三闭环控制模型。对头戴式视线跟踪系统进行标定,估计视线方向并将注视点坐标在头戴显示器屏幕上进行标记,将无人武器瞄准摄像机侦察场景在头戴显示器上显示,观瞄目标时,将视线方向转换为无人武器伺服系统控制参数,驱动伺服系统电机运动,直至武器瞄准摄像机十字分划线与瞄准目标重叠,实现真正意义上的“看哪打哪,看见即消灭”。为验证本文所提出无人武器目视瞄准技术,选用NVIDIA Jetson TX1作为数据处理单元,使用Linux C++编写包括人眼检测与定位、瞳孔和光斑检测与定位、映射关系标定、视线方向估计、伺服云台随动控制等在内的上位机程序算法,并在武器云台原理样机上进行了试验验证。试验结果表明本文所研究的无人武器目视瞄准技术可满足无人武器目视瞄准操控较高的精度、稳定性和实时性的要求。

关键词： 微操作   视线跟踪   瞳孔定位   标定  

摘要： 在微操作中,微操作对象尺寸微小,操作者只能依靠显微视觉系统的反馈来判断定位微操作工具和微目标,然后做出决策进行微操作作业。由于人很难通过显微视觉图像准确定位二者的位置或距离信息,往往需要先观察后操作的串行式反复作业,效率低,操作者容易疲劳。针对操作者的这种操作模式,论文将视线跟踪技术引入微操作中,研究操作者注视点获取方法,并尝试将之用于自动化微操作实践中。论文主要包括以下几个方面:首先,基于瞳孔-角膜反射向量法,提出了视觉定位系统的结构框架,并对视觉定位系统进行了硬件设计和器件选型;进行了视觉定位系统软件方案设计。第二,以近红外光下的人眼图像为研究对象,进行特征分析,提出了一种快速、准确的瞳孔中心和角膜反射中心提取算法。在瞳孔定位过程中,本文首先采用一种结合下采样、固定阈值分割、8连通域法、扫描线法和基于对称性的圆检测方法的半精定位算法;基于瞳孔的半精定位结果,有效提高了瞳孔的图占比,缩小了定位范围,然后利用Hough变换对瞳孔进行精确定位;最后采用质心法精确定位角膜反射中心。第三,视觉定位系统标定方法研究,建立眼图坐标系与屏幕坐标系的映射关系。采用一种非线性二阶多项式映射模型,实现了眼图坐标系到屏幕坐标系的映射;通过标定实验,验证了映射模型的可行性与有效性;定位实验表明,视觉定位系统计算的注视点水平方向平均误差为8.81个像素,垂直方向平均误差为13.57个像素。第四,研究了基于视觉定位系统的微操作工具和微目标定位方法和操作流程,在视觉定位系统对微操作工具和微目标粗定位的基础上,提出一种微操作辅助定位策略。最后,基于VS2010编程环境和OpenCV开源计算机视觉库完成了视觉定位系统的软件开发。根据基于人眼注视点的自动化微操作策略和微操作辅助定位策略,通过对压电陶瓷微夹钳末端和圆柱型微粒进行定位实验,验证了基于视觉定位系统进行微操作作业的可行性性和有效性,能够满足微操作工具和微目标的定位要求。

关键词： 头戴式   视线跟踪   阈值补偿   特征提取   三维映射模型  

摘要： 视线跟踪技术作为最新颖的人机交互方式,其方法是通过摄像头获取人眼图像,建立图像中的眼动特征与注视点之间的映射关系以获取人眼注视点的位置。将视线跟踪技术与增强现实相结合,不仅能够跟踪用户的视线方向,获取用户在场景中的感兴趣区域,还可以体现增强现实系统虚实结合的特点。头戴式视线跟踪系统将红外光源和摄像头通过头盔设备固定在人眼周围,为增强现实系统提供了一种简单、高效且双向的交互方式,具有重要的研究意义和广泛的应用前景。本文从头戴式视线跟踪系统结构的特殊性出发,重点研究了头戴式视线跟踪系统下眼动特征提取算法和视线映射模型的建立。本文的主要工作和研究成果如下:1)近红外光下眼动特征提取算法研究。在头戴式视线跟踪系统下,人眼距离摄像头较近,红外光源以及系统前方反射镜会使人眼图像对比度不均匀并使人眼特征产生形变。针对以上的问题,本文选取瞳孔和虹膜作为表征视线方向的眼动特征,采用先获取眼动特征轮廓再定位眼动特征中心的思路,提出自动瞳孔阈值分割算法,在传统OTSU算法的基础上结合直方图峰值搜索阈值补偿算法,实现对瞳孔区域的精确分割;利用直方图迭代算法获取虹膜区域分割阈值,采用Sobel边缘检测以及RANSAC算法分别提取瞳孔中心和虹膜中心特征参数。2)头戴式视线跟踪三维视线映射模型建立。本文从头戴式视线跟踪系统注视点估计的精度和系统整体的复杂度出发,提出一种基于瞳孔和虹膜的新型三维视线映射模型,只利用单摄像头和单红外光源以及屏幕上指定区域的四个标定点,利用提取的眼动二维中心特征对瞳孔和虹膜进行三维空间建模,建立三维视线方向向量并结合视线角度信息,从而估计人眼注视点的位置。仿真实验与对比分析表明,本文瞳孔和虹膜的特征提取精度分别为96%和95%,提取速率可达25帧/秒,在提取精度和提取速率之间取得了一个较好的平衡。而利用本文建立的三维视线映射模型估计注视点位置的平均精度为1.16°,在保证头戴式视线跟踪系统注视点估计精度的同时,极大地减小了系统整体结构和标定过程的复杂度。

关键词： 视线跟踪   头部姿态   校准   粒子滤波   驾驶行为  

摘要： 虽然驾驶员的注视点定位对研究驾驶行为和提高驾驶安全有重要作用,但是光线不均匀和驾驶员头部的大角度转动造成了传统视线跟踪算法必需进行的校准过程在真实驾驶环境下无法实现.文中根据车辆环境和驾驶员注视行为特点,构建驾驶员注视视线区域和头部姿态的映射关系,以实现视线自动校准.文中利用稳健的面部特征定位及三维几何结构估计头部姿态,利用粒子滤波对头部姿态进行学习和跟踪.文中使用辅助采样的方法解决粒子滤波在给定的状态空间上的粒子贫化和权值分配问题.文中的自动校准算法误差较小,可以满足驾驶安全和驾驶行为研究的需要.

关键词： 眼动交互   大屏手机   视线跟踪   人机交互  

摘要： 目的探讨超出单手手势操作范围的大屏手机新的交互方式和趋势。方法以视线跟踪方法和视线控制技术为基础,阐明"眼动交互"对下达任务指令、识别用户身份、识别用户兴趣点、增强游戏体验等多种手机操作的适应性。同时,探讨了"眼动交互"高效率、直觉性、可识别情感等诸多优势,以及易疲劳、"米达斯接触"、眼动识别精度等可能存在的问题。结论新的手机屏幕尺寸需要新的交互形式与之相适应,眼动交互将成为人与大屏手机交互的有益补充。视线辅助交互方式将成为未来手机和平板电脑操作的新趋势。

关键词： eye-gaze tracking   computer vision   human computer interaction   real-time tracking  

摘要： Eye-gaze tracking is an aspect of human-computer interaction still growing in popularity,. Tracking human gaze point can help control user interfaces and may help evaluate graphical user interfaces. At the same time professional eye-trackers are very expensive and thus unavailable for most of user interface researchers and small companies. The paper presents very effective, low cost, computer vision based, interactive eye-gaze tracking method. On contrary to other authors results the method achieves very high precision (about 1.5 deg horizontally and 2.5 deg vertically) at 20 fps performance, exploiting a simple HD web camera with reasonable environment restrictions. The paper describes the algorithms used in the eye-gaze tracking method and results of experimental tests, both static absolute point of interest estimation, and dynamic functional gaze controlled cursor steering.

关键词： 头戴式   视线跟踪   场景摄像机   cross-ratio参考屏幕  

摘要： 为了实现头部自由运动下的屏幕凝视点准确估计,设计一套基于场景摄像机和屏幕四角红外灯的头戴式视线跟踪系统。利用投影空间的不变量cross-ratio将凝视点在参考屏幕上的位置转化为当前屏幕上的实际位置,并在场景摄像机坐标系下对头部转动造成的视觉误差进行补偿。实验结果表明,该方法可以将误差控制在一个较小的可接受的范围内,同时避免了复杂的多摄像机装置和立体匹配计算。