关键词： 精确成像制导   跟踪末段修正   视线角速度  

摘要： 原有的单一导引头视线角速度输出控制方法无法满足多攻击模式下精确成像制导武器的打击精度要求,提出了一种多攻击模式下精确成像制导武器跟踪末端目标修正时视线角速度输出的控制方法。介绍了一种为满足打击精度需要采取的控制策略,并给出了运用该种方法的半实物仿真试验结果。仿真结果表明,该种多模式下的控制方法命中目标精度可以达到3m,在跟踪末端目标修正过程中跟踪平稳,实现了精确稳定跟踪目标,最终精确命中目标。

关键词： 眼动仪   视线跟踪   校正   近视   眼动数据  

摘要： 近视会导致用户眼球发生形状畸变,近视用户眼球与视线估计中眼球参考模型的差异导致基于固定模型法得到的视线位置与用户实际视线位置不一致,这影响了视线跟踪的数据精度。针对以上问题,文中提出了一种基于眼球误差模型的眼动数据校正方法。结合眼动仪使用中例行的视线标定,通过计算视线标定过程中参考点与对应的视线估计点之间关系求得近视用户眼球与视线跟踪中眼球参考模型之间的眼球误差,然后根据眼球误差计算跟踪数据误差,最后将误差量补偿于眼动数据,并进行了计算机仿真验证。实验结果表明:近视用户眼球发生形状畸变时其眼动数据偏差不仅与近视程度有关而且与用户观察点位置密切相关。数据校正前,视线估计点与真实值平均偏离误差为48.66pixels;数据校正后,视线估计点均匀分布在真实值周围,平均跟踪误差为28.02pixels,并且可以验证,随着观察对象位置不同及近视程度变化,矫正后的数据偏差始终小于48pixels。说明以上提出的方法可以很好校正近视造成的眼动数据偏差。

关键词： 机器视觉   双目立体视觉   视线跟踪   瞳孔定位   最小二乘法  

摘要： 针对目前人眼视线跟踪的人机交互技术尚不成熟的现状,提出了一种基于立体视觉的瞳孔空间形态的桌面式双目视线跟踪方法。根据低灰度值分布初步定位瞳孔中心;利用瞳孔区域径向导数极坐标图提取瞳孔边缘点坐标,并使用随机样本一致性(RANSAC)对瞳孔边缘进行椭圆拟合;采用定向二进制简单描述符(Oriented brief,ORB)算法配准双目瞳孔边缘点坐标;通过双目立体视觉模型计算得到瞳孔边缘空间点坐标,最后采用最小二乘法计算瞳孔空间形态并解算出视线方向。实验结果表明,瞳孔中心定位速度达300frame/s,双眼视线跟踪速度达15frame/s,视线跟踪最大误差为2.6°。本方法具有较好的准确性、稳健性、实时性,可应用于人眼视线跟踪的人机交互领域中。

关键词： 视线跟踪系统   瞳孔定位   光斑检测   瞳孔检测   实时性  

摘要： 随着人类对眼睛和注视运动的深入研究,借助日益先进的计算机技术和人工智能技术,视线跟踪技术得以稳步发展,且已经被成功运用到诸多领域。然而视线跟踪技术仍存在许多问题:苛刻的交互方式导致用户体验差,跟踪的实时性、鲁棒性和精度仍不能满足实际应用场景。本文调研和分析了现有视线跟踪系统存在的挑战因素,选用瞳孔角膜反射法和基于3D眼球模型的方法实现桌面式视线跟踪系统。为了提高系统的性能,本文研究并实现了瞳孔定位算法、光斑检测算法和瞳孔检测算法。瞳孔定位算法将传统算法和深度学习结合,利用瞳孔区域的灰度特性做图像的初步处理,并记录候选区域,通过分类器识别瞳孔区域;光斑检测算法利用图像处理算法做瞳孔区域的阈值分割,并结合光源发射器的位置特性求解光斑中心;瞳孔检测算法先采用Inpainting算法排除光斑等因素的干扰,然后利用形态学算子和椭圆拟合等技术求解瞳孔中心。采用基于目标检测的方法进行瞳孔定位和基于暗瞳的方法进行瞳孔检测,能够实现高精度、高鲁棒性的实时视线跟踪。本文建立了实验数据集,收集了18个测试人员的图像数据,光照变化、头部姿势、运动模糊等实际情况,通过标注每帧图像的瞳孔中心和光斑中心验证了注视特征检测过程中三个算法的性能。结果表明,瞳孔定位算法的精度为97.89%（分类器的精度为99.94%）,光斑检测算法的精度为98.7%,瞳孔检测算法的精度为98.94%。本文实现了实时的视线跟踪系统,并给出了系统的硬件架构和软件架构。系统的硬件主要完成数据采集工作,由红外光源发射器、CMOS图像传感器、FPGA数据处理板和USB3.0传输板组成。另外,基于QT框架和Opencv算法库实现了软件模块（包含算法模块）,完成界面交互和算法处理,实现跨平台开发,具有可移植性。本系统由四个连续的过程组成:1)硬件设备采集图像数据。传感器捕获暗瞳图像后,利用FPGA做数据处理,通过USB3.0传输给软件模块。2)注视特征检测过程对图像数据进行处理,求解瞳孔中心和光斑中心。3)视线估计求解光轴向量。用Matlab软件内置的标定算法进行相机标定,求解相机的内外参数。采用单相机双光源的系统原理求解光轴向量的两个参数:角膜曲率中心C和瞳孔中心P。4)偏差校准求解注视点坐标。光轴向量和视轴向量存在一定的偏差角,本文研究了基于四点标定算法的注视点均值法和精度误差法,准确的求解注视点坐标。通过真实的测试环境评估了系统的整体性能。系统的帧率为54fps,精度为0.67~o,并且抗干扰能力强,鲁棒性好,可在实际的应用场景中发挥作用。

关键词： 视觉目标跟踪   视线跟踪   轨迹线性化  

摘要： 近年来,对无人车驾驶、图像识别、跟踪智能系统等机器人视觉轨迹跟踪的需求越来越高,引起了诸多人的关注。基于视觉的机器人轨迹跟踪系统具有多变量、强耦合、非线性、自主性等特点。因此,对基于视觉的运动目标轨迹跟踪问题进行研究具有理论和实际的意义。本文设计了倒立摆机器人视觉轨迹跟踪系统,通过将视觉控制与轨迹跟踪控制相结合来引导机器人运动至期望轨迹。首先,针对分类器因分类不准确而造成跟踪漂移的情况介绍了多实例目标跟踪方法。将多个训练样本放在一个训练包中,通过对训练包进行标签的方式获得训练分类器,实现对测试包分类预测的目的。其次,为了实现跟踪机器人导航制导目的,提出了视线跟踪的方法。通过获取航向和距离信息来设计双闭环PID控制器,以提取跟踪机器人的期望轨迹。利用轨迹线性化方法设计轨迹跟踪控制器,得到开环的逆系统,并根据所需输出得到所需输入。而在闭环系统中对误差进行调节。然后根据开环的期望输入和闭环误差输入求得系统最终的输入。最后综合以上两部分设计实现了视觉轨迹跟踪系统,并对结果进行分析。实验结果显示:应用多实例目标跟踪的方法,即使目标存在遮挡的情况,跟踪器始终能在较短的时间内找到跟踪目标,表明该方法可以有效解决跟踪漂移的情况。通过将视线跟踪与轨迹线性化相结合的方法,实现了系统的解耦和对误差的调节,控制器能够控制机器人追踪到目标轨迹,说明所设计的控制器具有可行性。

关键词： 视线跟踪   眼动跟踪   视线估计   注视点映射  

摘要： 人机交互技术是当代计算机技术研究的热点之一,随着物质世界的多样化发展,人们对多渠道、多途径的人机交互方式的需求越发的迫切。视觉交互的双向性特点使得它在人机交互过程中比鼠标、键盘的操作方式更加直观自然,因此对视线跟踪技术进行研究具有重大意义。传统的桌面式视线跟踪系统不适用于用户大范围运动的场景,国内现有的头戴式视线跟踪技术则存在算法普适性差、复杂度大等问题。因此,本课题以国外先进的视线跟踪设备为参照,对基于头戴式眼动仪的视线跟踪算法做进一步的研究,降低算法复杂度和提高系统稳定性。本文针对头戴式视线跟踪设备,提出了一种瞳孔中心映射的方法对注视点进行估计。充分利用了头戴式的眼动跟踪设备在进行眼动特征跟踪时,眼部图像采集摄像机与人眼的位置相对固定的特点,选取眼部图像中的坐标系原点为静止参考点,避免了对角膜反射光斑和眼角位置的提取,简化了瞳孔角膜向量法和瞳孔眼角向量法的算法处理流程。在眼动跟踪算法部分,本文提出了一种瞳孔中心二次提取的处理手段,先通过中值滤波、自适应阈值二值化处理获得瞳孔区域分割图,然后经边缘检测和边界拟合法进行瞳孔中心点坐标提取,较大概率避免了将眉毛眼睑等错检为瞳孔,完成了眼动跟踪组合算法的研究设计。在视线跟踪模型建立过程中,本文针对头戴式视线跟踪系统必须满足用户高自由度的应用需求,假设了三种基于多项式拟合的注视点映射模型,并对注视点标定方法进行了探究。为了验证算法的眼动跟踪精度和注视点跟踪精度,本文还设计了一系列实验。结果证明本文提出的基于瞳孔中心二次提取的处理方法和Log边缘检测及基于RANSAC的边界拟合方法能准确的对瞳孔中心点进行提取,眼动跟踪精度基本和现有的研究水平接近。经实验测定,本文提出的视线跟踪组合算法的平均处理速度大于35帧/秒,满足人机交互中对视线跟踪系统实时性的要求。最终结果表明,视线跟踪精度与人眼到注视点平面有关,距离越近,误差越小,当人眼与注视平面距离720 mm时,注视点跟踪误差0.98°,对应真实空间中的12.35 mm,满足人机交互中对人机之间的距离和跟踪精度的基本要求。综上,本文提出的基于瞳孔中心映射的视线跟踪算法实现了对眼球运动状态和人眼注视点的准确跟踪,满足了基本的人机交互需求。

关键词： 视线跟踪   虹膜投影匹配函数   三维视线估计   注视点计算   抖动补偿模型   VR视线跟踪系统  

摘要： 视线跟踪技术是一项检测人眼视线方向或者注视点的技术。基于三维模型并使用RGBD图像的视线跟踪算法与基于多项式拟合的头戴式视线跟踪算法是主流的两大类视线跟踪算法。本文分别针对这两类主流视线跟踪算法中存在的问题进行了深入的研究。基于三维模型并使用RGBD图像的视线跟踪算法存在如下两个问题:1)三维虹膜平面的中心在摄像机成像平面上的投影与RGB图像中的虹膜中心不重合,导致现有三维虹膜定位算法难以正确定位出三维虹膜平面的位置;2)忽视人眼扭转运动,导致Kappa角矫正与人眼球模型参数计算产生误差。为了解决这两个问题,本文提出了基于虹膜投影匹配函数的视线跟踪算法。该算法主要贡献有以下四点:1)提出虹膜投影匹配函数。该函数通过投影几何的原理,对三维虹膜平面与二维虹膜图像之间的投影关系进行建模,并通过虹膜投影内像素点以及边界像素点的匹配得分,计算出三维虹膜平面与图像上虹膜的匹配程度。2)提出基于虹膜投影匹配函数的三维虹膜平面定位算法。本文通过结合人眼球模型与虹膜投影匹配函数进行三维虹膜平面定位。从而,该算法能利用投影几何原理精确表示虹膜平面投影关系,提高三维虹膜平面定位的精度。3)提出基于多项式拟合的Kappa角校正方法。本文通过建立多项式对人眼扭转运动导致的Kappa角旋转方向变化进行建模。从而,算法能够根据人眼球的旋转方向,计算出视轴绕光轴旋转的度数,降低了扭转运动对视线估计算法的影响。4)设计了基于虹膜投影匹配函数的人眼球模型参数计算方法。该方法的目的是计算贡献2、3中所述算法所需的人眼球模型参数,例如虹膜半径、虹膜旋转半径、人眼球中心以及Kappa角度数等。因为此时,贡献2、3中的算法缺少人眼球模型参数,所以在计算人眼球模型参数时无法使用贡献2、3中的算法来解决虹膜定位以及忽视扭转运动的问题。因此,本文设计了该方法进行人眼球模型参数的计算。该方法通过引入虹膜投影匹配函数,来解决三维虹膜平面定位不准的问题。并通过将光轴绕视轴的旋转角度作为需要求解的变量,来解决扭转运动使人眼球模型参数计算精度下降的问题。实验结果表明,本文提出的基于虹膜投影匹配函数的视线跟踪算法具有较高的精确度(误差为1.07°-2.28°),并且速度达到52.6FPS。而对于基于多项式拟合的头戴式视线跟踪算法,存在用于构成眼动特征向量的眼角、虹膜中心、角膜反射斑提取不准,导致视线跟踪算法精度下降的问题。为解决这个问题,本文提出仅基于瞳孔特征的头戴式视线跟算法,该算法不使用眼动特征向量,而直接将瞳孔中心特征带入多项式映射方程计算得到注视点。并且,为了解决瞳孔中心特征对头部抖动鲁棒性低的问题。本文提出了基于瞳孔朝向的抖动补偿算法,当发生抖动后,能够通过瞳孔朝向计算出发生抖动前后,瞳孔中心坐标的对应关系,并对瞳孔中心特征的偏移量进行补偿,由此提高瞳孔中心特征对抖动的鲁棒性。最后,本文基于提出的仅基于瞳孔特征的头戴式视线跟算法搭建了一个VR视线跟踪系统,用于测试算法性能并使算法得到实际的应用。实验结果表明,本文提出的仅基于瞳孔特征的头戴式视线跟踪算法误差较低,为12.7像素,对抖动鲁棒性好(经矫正后的误差为33.0像素),并且算法运行速度为47.17FPS。

关键词： 卷积神经网络   方向梯度直方图   梯度提升回归树   AlexNet网络   残差神经网络   人机交互  

摘要： 视线跟踪技术是计算机视觉领域中的重要课题,伴随着高性能图像采集和计算设备的出现以及图像处理分析的相关算法的不断涌现,视线跟踪技术已经逐渐走入我们日常生活中的各个领域。将视线跟踪技术用于人机交互领域中,不仅可以改变传统的人机交互模式,给用户带来全新、高效的使用体验,还可以给四肢行动存在障碍的用户带来极大的方便。然而,传统的视线跟踪技术往往要依靠眼动跟踪仪等其他的硬件设备,不仅造价昂贵,还会给使用者带来一定的不便。本课题以使用iPhone手机过程中的人机交互为例,尝试将深度学习技术应用于视线跟踪任务中,使得用户可以不借助眼动跟踪仪等其他的硬件设备,仅依靠手机前置摄像头拍摄到的用户操作手机照片的图片,利用纯软件的方式预测用户视线在手机屏幕上的聚焦位置,从而实现用眼睛代替手指进行触屏操作。首先,本文介绍了卷积神经网络的基本理论。卷积神经网络由标准神经网络演变而来,采用卷积运算实现层间连接,可以显著降低计算成本,满足信号局部特征提取的要求,在计算机视觉领域获得了广泛的应用。其次,综合考虑实时性和准确性因素,采用方向梯度直方图特征和级联的梯度提升回归树算法进行用户人脸和人眼的分割定位以及眨眼检测,完成眨眼检测、人脸检测与人眼定位模块的设计,为视线聚焦点预测提供输入信息。再次,采用深度卷积神经网络进行视线聚焦点模块的设计。本课题中,我们分别尝试了多输入基于回归的视线聚焦点预测方法,多输入基于分类的视线聚焦点预测方法和单输入端到端的视线聚焦点预测方法。网络结构方面分别采用了基于AlexNet的网络架构和带有batchNormalization的残差神经网络架构,可以比较准确、快速的预测出用户视线在手机屏幕上的聚焦位置,从而在理论上实现眼睛代替手指进行手机触屏的功能。最后,对本课题中尝试过的视线跟踪预测方法的实时性和准确性进行比较,并讨论了提升算法性能的策略。

关键词： 视线跟踪   P-CR向量   椭圆拟合   神经网络   注视点估计  

摘要： 随着计算机视觉技术的高速发展以及人工智能领域的兴起,视线跟踪(gazetracking)技术已经成为各大研究机构和高校的重点研究方向之一。视线跟踪作为一种新型的人-机交互技术,它的应用十分广泛,包括智慧医疗、辅助驾驶、心理研究、虚拟现实和军事等多个领域。极为丰富的眼动信息能够反映人类情绪的变化和行为动向,同时也是视觉任务的最直观体现,因此,当对可视对象进行选择和操控任务时,可以通过视觉通道对人-机通道进行控制,即使用者首先注视需要感兴趣物体,再引导视觉通道进行选择或操控动作。综上所述,采用眼控系统的优点在于能够更加方便、迅速地对可视对象进行控制。论文围绕着视线追踪这一主题,采用基于瞳孔-角膜反射的视线估计方法,构建了头戴式视线跟踪控制轮椅系统,该系统相对于非头戴式视线跟踪控制轮椅系统来说,具有精度高和适用场景广的优点。探讨了瞳孔定位方法、视线落点的计算和眼控轮椅的整体方案:1.研究了瞳孔和普尔钦斑点中心的提取算法。采用的是基于弧段提取的椭圆拟合算法定位瞳孔中心。为了解决非线性非高斯问题,同时提高瞳孔状态参数的提取精度,本文使用了粒子滤波和卡尔曼滤波相结合的方法来对瞳孔进行跟踪,使系统的鲁棒性明显提高。为了更为精确的提取普尔钦光斑中心,首先截取瞳孔周边的区域;接着使用最大类间法(OSTU)对图像进行二值化分割出普尔钦光斑;最后利用质心法计算出普尔钦光斑的中心。2.分析视线落点估计的原理及流程,利用真实视线落点坐标与眼动参数计算眼部图像坐标系与场景图像坐标系之间的非线性映射关系从而估计出场景图像坐标系下注视点坐标。本文采用BP神经网络去拟合该映射关系,结合15×10个样本去训练神经网络,从而确定眼部图像坐标系与场景图像坐标系的映射关系。3.构建了眼控轮椅系统。通过计算瞳孔中心坐标与参考点坐标的相对位置,将该相对位置转换为方向指令,并通过蓝牙发送给轮椅控制器,最终达到控制轮椅的运动方向的目的。实验结果表明,视线跟踪在平均误差距离不超过5个单位时,视线落点的准确率为91%,对轮椅的5种运动方式分别为前进、后退、向左、向右和停止的平均准确率为98.2%。通过调整眼动参数能够稳定控制轮椅的运动,为残疾人、渐冻人和老年人等提供了能自由活动的新型方式。

关键词： 视线跟踪   注视点估计   视线方向校准   头部运动   交比不变性  

摘要： 随着计算机科学技术与产业的飞速发展,人机交互方式取得了长足的发展。由于响应速度块、操作方便的特点,视线跟踪技术在人机交互领域得到了大量应用。基于瞳孔角膜反射的视线跟踪方法是目前最为普遍的视线跟踪方法之一,本文在国内外研究基础上,针对头部运动过程中注视点估计精度较低的问题,提出一种头部运动结合视线跟踪的视线方向校准技术,可以有效提高在头部自由运动时注视点估计精度。本文主要完成以下工作:(1)面部检测。针对单一面部检测算法检测结果不理想的问题,本文采用Adaboost算法结合ASM算法对人脸进行检测与跟踪,减少了面部检测次数,提高了检测效率,实现了高效准确的面部检测。(2)针对交比不变性注视点估计精度较差的问题,本文提出了一种多点标定的动态参数校准方法对注视点估计结果进行校准。首先,将屏幕平均分为四个矩形区域,每个区域互不干涉,计算每个区域的最优校准参数,通过最优参数与其他标记点参数结合,近似计算该注视点的校准参数。然后动态的选取注视点所在区域的校准参数计算虚拟投影点,建立投影平面,最后通过交比不变性计算注视点坐标。该方法解决了瞳孔中心与普尔钦斑不在同一个平面导致的注视点估计结果偏移问题。(3)针对交比不变性注视点估计在头部运动时检测到的注视点与实际注视点差别较大的问题,本文采用头部空间姿态补偿的方法减小头部运动对视线跟踪的影响。首先,采用POSIT算法获取头部姿态信息,然后综合头动信息和眼动信息并根据头眼运动的实际情况,确定了注视点位置。最后把实际注视点转换为屏幕坐标。该方法建立了与位置无关的视线跟踪模型,用户可以随意移动而不影响视线跟踪精度,实现了头眼协调运动的视线跟踪。本文通过对8名测试人员进行精度测试实验,分别对头部相对静止与头部自由运动情境下的注视点估计结果进行实验验证,头部相对静止时采用传统方法注视点估计结果与本文提出的动态参数校准方法的注视点估计结果对比,分析各自的平均误差;头部自由运动时通过对传统方法获取的注视点估计结果与本文的头部补偿获取的注视点结果进行比较,分析各自的平均误差。实验结果表明,头部相对静止时注视点估计精度由2.8°提高到了1.1°,误差范围缩小了35.2%,头部运动时注视点估计精度由4.1°提高到了1.7°,误差范围缩小了58.2%。通过实验结果分析,本文的视线方向校准技术提高了头部自由运动的注视点计算精度,证实了本文方法的有效性。