关键词： 视线跟踪   人机交互   认知交互语义   工作状态辨识   米达斯接触  

摘要： 为实现视线跟踪人机交互系统中人-机可靠有效的会话,本文提出结合人类认知思维和交互任务执行情况的系统工作状态辨识方法。根据认知交互语义设计交互任务,对交互任务执行状况进行判断并统计执行结果,依据视线跟踪人机交互系统历史交互信息设计系统工作状态辨识算法和系统工作状态判断阈值,实现对系统工作状态的辨识。最后在建立的实验平台下进行了实验,实验结果表明:基于认知交互任务的系统工作状态辨识方法可以较准确的对系统当前工作状态做出判断,有效避免了米达斯接触问题等引起的误判。

关键词： 机器视觉   视线跟踪   立体视觉   个人参数标定   摄像机标定  

摘要： 针对使用主动红外光的视线跟踪系统存在的限制,构建了在自然光条件下允许头部自然移动的视线跟踪系统,该系统通过双目立体视觉系统获取眼睛特征参数,在三维空间中重构眼睛视线向量来估计眼睛的视线。通过头戴式标定板来估计头部姿态,减少了视线跟踪过程中头部移动带来的误差影响;提出了一种视线跟踪系统中个人参数的标定方法,该方法先假定眼睛视轴与光轴重合,由此计算出眼球的中心、半径、眼睛视轴与光轴的夹角的初始估计值,用非线性优化算法对这些初始值进行优化。通过实验表明,提出的视线跟踪算法对使用者限制较少,同时具有较高的视线估计精度,能满足很多视线跟踪应用场合的需要。

关键词： 眼睛状态检测   Harris算子   角点量  

摘要： 眼睛睁闭检测在视线跟踪系统中具有重要意义。为提高检测的准确性,提出了一种基于Harris算子的检测方法。该方法首先利用Harris算子计算图像的角点量,然后搜索图像中角点量最大的位置,以该位置为中心,设置一个区域,统计该区域内角点量总和占整幅图像角点量总和的比例,通过将该比例与阈值相比较来确定眼睛的状态。实验结果表明,本算法具有较高的鲁棒性和准确率,并能满足实时性要求。

关键词： 精度测量   眼动仪   九点定标   视线指示  

摘要： 针对市面上眼动仪没有详细的精度测试方案和测试结果的现状,本文探讨了一种基于视频记录法的瞳孔跟踪系统进行详细的精度测试的方法,在自主研发的眼球图像跟踪及视线指示系统(眼动系统)上进行测试,测试内容包括空间分辨率、最小分辨率和注视准确度,其中注视准确度采用九点定标法测量分析.实验数据显示,系统空间分辨率为0.003°,系统最小分辨率小于0.02°;注视准确度结果为0.3°。结果表明该眼动仪具有较高的检测精度,能够达到系统所需的要求。

关键词： 双目立体视觉   视线跟踪系统   虹膜定位   眼睛检测   个体标定  

摘要： 视线跟踪是判断使用者视线方向的技术，在人机交互，车辆安全驾驶，疾病诊断等许多领域有着广泛的应用。其中基于眼睛视频图像分析的视线跟踪技术是当前的热点研究方向，本文通过双目立体视觉系统获取眼睛特征和头部姿态参数，在三维空间中重构眼睛视线向量来估计眼睛的视线，针对视线跟踪系统中的眼睛定位与系统标定两个主要方向的难点，提出了两种在自然光条件下的眼睛虹膜定位的算法和一种视线跟踪系统中个人参数的标定方法，其中主要工作如下：\n 1.提出了一种基于改进的圆周差分法的眼睛定位算法。该方法在获得眼睛图像的基础上，首先用迭代阈值法得到二值眼睛图像，其次在二值图像的连通域内，先通过用一个半径逐渐增大的圆来拟合圆的方法来快速粗定位虹膜，然后用圆周差分法来精确定位虹膜。该算法采用粗定位与精定位相结合的方式，解决圆周差分法在眼睛定位过程比较耗时的问题，同时提高了虹膜定位的精度与鲁棒性。\n 2.提出了一种自然光条件下的虹膜中心定位算法。该方法首先通过计算虹膜边缘曲线的曲率得到曲线拐点，并用拐点对虹膜边缘曲线进行标记，然后通过射线搜索得到有效虹膜边缘点，最后对得到虹膜边缘点用最小二乘法拟合椭圆来定位人眼。该方法在求取有效虹膜边缘点的过程中避免了多参数迭代求解，克服了自然光下定位眼睛存在遮挡和光斑反射等问题，能够在提高眼睛虹膜定位精度的同时缩短定位时间。\n 3.提出一种在自然光条件下，头部自然移动的视线跟踪系统中的个人参数标定方法。该方法先假定三维空间中的眼睛视轴与光轴重合，可以计算出眼球的中心、半径，然后计算出眼轴与视轴的夹角，最后把得到的这些初始估计值用Levenberg-Marquart非线性优化算法迭代求取最优的个人参数。\n 基于上述的虹膜中心定位算法和个人参数标定算法，本课题在双目立体视觉系统下，构建了一种能在自然光条件下，允许头部自由移动的视线跟踪系统，并在Matlab平台下进行仿真实验。实验结果表明，视线估计值具有较高的测量精度，为自然光条件下视线跟踪系统的发展提供了有力支持。

关键词： 视线跟踪   眼睛状念检测   瞳孔定位   椭圆瞳孔定位   3D视线跟踪  

摘要： 人眼独特的几何、光学和运动特性将为人脸检测、识别和人面部表情的理解提供重要的视觉线索。对于人机交互、更精致的人机界面和了解人类的情感状态等的发展，鲁棒的并且具有非侵入性的人眼检测和跟踪具有很重要的作用。视线跟踪技术是机器视觉领域的新课题，在人机交互、人眼疾病诊断和人类行为学习等都有着广泛的发展前景。\n 本文针对视线跟踪中的一些关键技术及难点展开研究，首先对于视线跟踪中的人眼检测，本文实现了基于Adaboost算法的人眼状态检测方法；然后针对桌面式视线跟踪系统中的圆形瞳孔定位和头戴式视线跟踪系统中的椭圆瞳孔定位，本文分别提出了新颖的定位算法；最后在深入调研现有主要视线跟踪技术的基础上，提出了一种3D桌面式视线跟踪系统的设计。主要研究成果如下：\n 1、人眼检测作为对视线跟踪中拍摄到的眼部图像预处理的一个关键步骤，包括对检测眼睛的睁闭状态和判断拍摄到图像中是否有眼睛，有效的人眼检测和定位能够提高视线跟踪的最终精度。本文实现了一种基于Adaboost算法的视线跟踪中对人眼状态进行检测和定位的方法，AdaBoost学习方法根据选取的训练样本集训练出一个弱分类器，然后把在不同训练样本集上训练好的弱分类器按照一定的规则结合起来，构成一个强分类器，最后将许多强分类器级联构成一个有效的人眼检测分类器。在标准人脸库和实际视线跟踪系统中的人眼检测实验结果表明，本文实现的方法能够实时准确地对人眼进行状态检测和定位。\n 2、瞳孔的定位是视线跟踪中非常重要的一个环节，之前的研究表明，当图像质量比较好时，瞳孔定位算法会有比较好的表现，然而，当瞳孔图像受到眼睑、睫毛和光斑等干扰严重时，算法的鲁棒性和准确性会显著下降。本文提出了一种基于改进的径向对称和改进的圆周差分算子的新颖的瞳孔定位算法：首先，一种改进的径向对称变换可以得到瞳孔区域的粗略位置；然后，一种增强的圆周差分算子能够得到瞳孔的精确定位。实验结果表明，与之前的瞳孔定位算法相比，本文提出的算法对于眼睑、睫毛和光斑等的干扰具有更好的准确性和鲁棒性，而且由于采取了这种由粗到精的瞳孔定位策略，算法能够具有很好的实时性。\n 3、在视线跟踪过程中，瞳孔经常会呈现出椭圆形，导致传统的圆周定位算法失效，并且现有的瞳孔定位算法精度很容易受到眼睑、睫毛和光斑的干扰。基于此，本文在之前工作的基础上提出一种基于改进的椭圆差分(ED)和粒子群算法(PSO)的瞳孔定位算法，并利用头戴式视线跟踪系统标定信息来限定PSO算法的参数边界范围。椭圆差分能有效的避免睫毛、眼睑等的干扰，同时为了提高椭圆差分算子的速度，引入了粒子群算法进行瞳孔定位，并利用标定过程得到的先验信息来限定椭圆参数的边界范围，满足快速实时定位瞳孔的要求。实验证明，该算法应用于头戴式视线跟踪系统中对椭圆瞳孔定位效果很好，尤其是在眼部图像受到光斑、睫毛、眼睑等干扰严重时，算法仍然具有较强的鲁棒性和准确性，并且算法具有较快的瞳孔定位速度，可以满足视线跟踪的实时要求。\n 4、本文提出一种3D桌面式视线跟踪系统的设计方案，从硬件架构到软件设计上使得提高视线跟踪系统具有更好的复杂性和友好性。

关键词： 瞳孔提取算法   视觉注意模型   视线跟踪   图像分析  

摘要： 大脑中约有80％到90％的知识和记忆都是通过眼睛获取的，对眼睛运动进行测量和跟踪一直是研究者关注的热点。随着视线跟踪技术的发展，视线跟踪的应用从传统的心理学、行为学分析等推广到商业、军事、娱乐、日常生活、人机交互等各个领域，应用前景十分广阔。基于此背景，本文将针对头戴式视线跟踪系统做深入研究。论文首先论述了视线跟踪技术的发展状况和前景，讨论和比较了目前已有的各种视线跟踪技术，在此基础上提出了一种新型头戴式视线跟踪系统的构架方案，即基于视频图像的视线跟踪方法。本文创新性地采用两幅图像中瞳孔中心位置的偏移来判断视线方向，然后根据头部位置对注视点坐标进行修正。该方法可提高头部转动情况下视线方向检测的准确性。在此基础上，为了在满足实时性要求的同时更精确地提取瞳孔中心点坐标，本文提出了一种改进的瞳孔提取算法。该算法主要分为三步：特征点检测、杂点消除、椭圆拟合。与Starburst算法相比，该算法不采用任何迭代方法，并且不需要提前移除角膜反射亮斑，在拍摄图像清晰度不高时仍有较好的瞳孔提取效果。采用以上系统构架和算法，在仿真实验环境下，本文提出的视线跟踪方法具有良好的跟踪效果，准确性较高。\n 在视频图像分析领域，视线跟踪技术可实时跟踪并获取人眼注视点。人眼注视点也可不采用任何设备而是通过图像分析方法直接提取，即通过对视觉注意机制建模估算人眼在观看图像或视频时的注视点或注视区域。视线跟踪技术对人眼视觉注意机制建模具有重要的指导意义，可用来检验视觉注意模型提取的注视点或注视区域的准确性。本文在研究视线跟踪技术的基础上，同时开展了对视觉注意机制及其模型的研究。\n 视觉注意机制建模在视频图像处理、压缩编码、质量评估、目标跟踪、机器视觉等研究领域具有重要意义。视觉注意机制可分为两类：数据驱动的视觉注意及任务驱动的视觉注意。本文首先在数据驱动及任务驱动的实验中采用视线跟踪系统记录实验对象的眼睛注视点，并提出一种三维数据相关性度量方法，分析了两种视觉注意机制之间的差异。结果显示任务和视频内容会显著影响人眼注视点的选择。基于以上成果，本文对Itti的模型进行了改进使之适用于视频图像。比较结果显示，改进模型提取的人眼注视区域与视线跟踪实验获取的注视区域基本吻合，而Itti的模型由于缺乏运动特征，与实际注视区域差异较大。这说明改进Itti模型后视频图像人眼注视区域的估算准确度较高。

关键词： 人机交互   视线跟踪   眼动交互界面   EyeHUD   可用性评估  

摘要： 近年来,随着人机交互技术的发展,拥有自然交互方式的产品受到越来越多人的青睐,下一代人机界面正朝着利用触觉、听觉或视觉的方向发展。其中,视觉是人类获取信息最重要的途径,国内外学者一直对视线的研究有着浓厚的兴趣,但目前多集中在眼动的测量和视线数据的处理上,把截取到的视线作为交互通道是近几年才发展起来的应用研究,前景非常广阔。 本课题在分析了现有眼动交互系统的优缺点之后,根据以用户为中心的设计原则,从可用性和用户体验的角度提出了眼动交互的设计原则,系统框架和状态转移模型。整个系统简化视线测量过程,重点关注快速的跟踪校验和准确的眼动识别,同时利用上下文信息减少交互时间,并结合按键输入有效消除视线指向的歧义性。 基于本文提出的眼动交互系统模型,我们开发了一个应用于开车环境的眼动交互实例EyeHUD。该系统主要包括视线预设置界面,视线控制界面和汽车虚拟场景。驾驶员在开车之前利用视线预设置界面完成对自身视线的跟踪和校验,并根据交互需求选择一次眨眼“放大”或者两次眨眼“点击”等交互功能。驾驶员在开车途中只需按下方向盘按键开启视线控制界面就可完全使用视线操作功能按键,也可以选择注视+按键的方式点击功能按钮。 最后,本课题从客观可用性和主观满意度的角度对眼动交互实例进行了软件测试和有用户参与的评估。评估结果表明：EyeHUD能成功完成所有预设功能,且界面友好,被试不需要长时间的学习就能理解系统所提供的信息。相比“注视+按键”的交互方式,“完全眼动控制”的识别成功率没有明显的差别,且用户对眼动在汽车电子上的应用非常感兴趣。

关键词： 机动车排放   绿色驾驶   驾驶行为模型   视线跟踪  

摘要： 随着社会的进步,人民生活水平的提高,汽车的保有量也迅速得增加。这一方面提高了人民的生活品质,但是另一方面也造成了严重的环境污染,机动车排放是城市环境污染的主要来源之一。如何降低汽车的排放成为了一个亟待解决的问题。研究表明,通过改善驾驶行为,即采用绿色驾驶行为,可以减少汽车的排放。 目前缺少指导绿色驾驶的模型,因此与绿色驾驶相关的安全性问题、长期采用绿色驾驶行为的减排效果和绿色驾驶行为评价等关键问题,目前仍然没有得到解决。 本论文根据驾驶行为、交通环境和车辆信息,对驾驶行为进行分析并建立了绿色驾驶行为模型。由于驾驶行为具有可变性,而油耗状态相对稳定,本文提出了将驾驶信息根据油耗状态进行处理的方法,利用与油耗有关的关键点信息和驾驶行为片断,建立绿色驾驶行为模型。按功能划分,绿色驾驶行为模型分为感知功能、决策功能、操作功能、检测功能和识别功能五部分,通过这五部分的有机结合,能够完成训练绿色驾驶行为,即降低油耗并能够提高行车的安全性。 在研究模型的过程中,研究了其中的一些典型的关键技术,包括OBD技术、GPS与GIS技术、视线跟踪技术、车道线识别技术和模糊综合评判技术。其中,用视线跟踪技术研究驾驶员注意力对行车安全和驾驶行为模型的影响是本模型的特色。 本文第四章使用C++语言、QT框架和OpenCV数字图像处理库,实现了模型的部分功能,然后通过与真实车辆相连接进行测试并得出了相应的数据,对本模型进行了验证,取得了一定的节能效果。绿色驾驶行为的实现与验证为后续的研究工作打下了良好的基础。

关键词： SoC   视线跟踪   SystemC   软硬件划分   FPGA  

摘要： 研究表明，人类的信息加工在很大程度上依赖于视觉，来自外界约80%-90%的信息是通过人的眼睛获得的，视线跟踪系统通过对人眼注视点的跟踪可以获得人类的视觉感知信息，在商业、军事、娱乐、生活等各个领域具有广泛的应用前景。随着集成电路规模及制造技术的飞速发展，以多学科多领域交叉融合为目标的SoC成为了许多电子应用产品主要的解决方案，随之而来的SoC设计方法学上的探讨也逐渐受到大家的关注，然而SoC设计方法学的不成熟也给我们提供了很大的研究和发展空间。 通过对比分析传统SoC设计方法，本文以普尔钦斑点法的视线跟踪SoC为实例，采用基于SystemC模型的系统级SoC设计方法进行视线跟踪系统的系统级设计与验证，并用基于FPGA的手动转换HDL模型RTL的设计方法完成实际硬件平台上的验证。本文的主要研究工作如下： 首先，深入分析目前普尔钦斑点法的视线跟踪系统中各个算法的研究现状，结合实验分析确定本文的具体算法，此外，针对系统级设计语言SystemC特有的多分层模型进行多个性能因素的对比，综合分析出采用事务级模型TLM作为SoC的高抽象层次模型，负责SoC的软硬件自动划分，而硬件部分则使用SystemC RTL模型进行细化设计。 其次，利用TLM对视线跟踪SoC进行高抽象层次建模，确定SoC的软硬件划分结果，继而对硬件部分向RTL模型进行细化，通过仿真结果优化RTL模型的硬件架构；软件部分则选用嵌入式微处理器Nios II的指令集模拟器ISS进行时序精确的仿真，从而在计算机上完成视线跟踪SoC的系统建模及验证。 最后，根据视线跟踪SoC的SystemC模型确定的软硬件划分结果、硬件部分的优化架构以及软件代码，在FPGA硬件平台上，采用手动HDL模型设计的方法完成SystemC-to-HDL的变换，并构建视线跟踪SoPC进行软硬件的协同验证。 实验表明，视线跟踪SoC的SystemC RTL模型的仿真结果，与相同硬件架构和软件代码的SoPC硬件平台验证结果对比，每个算法模块及整个SoC的时序精确率都在98%以上，功能方面100%正确，表明基于SystemC模型的系统级SoC设计方法的高效特性，而脱离硬件束缚的SystemC系统建模、高层次的快速仿真以及软硬件自动划分能力也充分体现了该系统级SoC设计方法快速可靠的特性。