关键词： 智能教育   人工智能   在线教育   视线跟踪   学习分析  

摘要： 与教育相结合是当前人工智能研究的热点方向之一,获得学习状态信息是智能教育中非常重要的一个环节。视线变化可以直接或间接反映心理以及状态的变化,所以视线跟踪在智能教育领域起到重要作用。首先,对智能教育的发展进行了介绍;然后,对视线跟踪技术的发展、当前的研究工作以及研究现状进行了归纳与分析,总结了近3年视线跟踪技术在教育领域的相关应用与研究工作;最后,对视线跟踪技术在教育领域的发展趋势进行了总结与展望。

关键词： 人脸检测   特征标记   瞳孔检测   视线跟踪  

摘要： 视线检测与跟踪是实时、准确地记录人们观察场景信息时眼球的运动情况,在心理、教育等领域有广大应用前景。大多追踪技术需要佩戴眼动仪等专业设备才能实现,成本高、操作不便。采用基于HOG人脸检测并采用ERT算法回归树的人脸对齐算法标记人脸特征,建立掩膜分离眼睛,并自适应检测瞳孔轮廓,计算瞳孔的位置与视线方向。该追踪系统降低硬件设备的要求,促进视线追踪系统的应用。

关键词： 视线跟踪   图像认证系统   视线交互  

摘要： 针对图像认证系统易受到窥探攻击的问题,提出一种基于视线交互的图像认证系统。系统中,眼动仪记录用户的眼球运动并将其作为输入控制信号,用以生成系统的用户名和密码,进而抵御窥探攻击。用户测试研究验证系统的可用性和有效性,实验的平均成功率为85.71%;随着用户熟悉程度的提高,用户认证成功率逐渐升高。

关键词： 视线跟踪   深度神经网络   人眼定位   虹膜中心   多项式拟合   视线方向估计  

摘要： 视线跟踪是人机互动技术中重要的组成部分,可以广泛地应用在机器人、手机、笔记本等设备中。针对传统方法在低分辨率图像上的准确率不高和设计步骤繁琐等问题,提出一种基于深度神经网络的视线跟踪算法。利用卷积神经网络,能快速且准确地定位输入图片上的人眼区域和虹膜中心位置,再利用多项式拟合估计视线方向。实验结果表明,该算法在MPIIGaze数据库中对虹膜中心和眼角位置的标定有着98%的准确性,在Swith数据库中对视线的估计准确率达到了90%左右,证明了该算法在低分辨率图像上有着良好的可行性。

关键词： 水面无人艇   路径跟踪   tanh函数   视线法   自适应   变速航行   高速航行   平滑曲线  

摘要： 针对水面无人艇执行高机动性任务时速度随时可能改变,从而影响控制精度,如目标包围、目标检测。本文提出基于自适应双曲正切视线法控制系统,通过自适应参数减小水面无人艇纵向速度改变对视线法的影响,采用tanh函数修正期望艏向曲线平缓度。仿真结果表明:虽然基于自适应双曲正切视线法和视线法均能在恒定速度和曲率变化范围内很好的收敛,但是在速度和曲率的范围会发生变化的情况下,基于自适应双曲正切视线法依旧能够保持良好的控制精度,视线法精度受损较大,其中速度震荡时间,横侧偏差超调明显变大。通过外场试验证明了基于自适应双曲正切视线法在随机环境干扰下,基于自适应双曲正切视线法具有较好的鲁棒性,且其能够在高速航行的情况下仍然具备较好跟踪精度。

关键词： 目视化瞄准   视线跟踪   桌面式眼动仪   头部运动   注视点  

摘要： 应用目视化瞄准技术可以简化火炮直瞄射击过程中的操作难度和瞄准效率。对于目视化瞄准时应用传统桌面式眼动仪器人体头部需要保持静止的问题,研究了一种适用于火炮目视化瞄准的头动注视点定位算法,该算法通过对头部建立四元数坐标系,计算眼球视场和屏幕坐标系,最后通过实验验证证明了通过该算法可以在人体头部自由移动的情况下获得良好的跟踪效果,证明了使用本算法可以实现头部不受限制下的眼动追踪,大大提高了视线追踪技术的适用范围,从而应用于火炮目视化直瞄射击。

关键词： 视线估计   轻量化网络   眼动分类   虹膜定位   免标定   低成本   3D双眼模型  

摘要： 视线跟踪技术一直以来是国内外研究的热点,在混合增强人工智能、军事、AR/VR、人机交互、医学诊断和可用性研究等方面有着广泛的应用前景。现有的视线跟踪系统存在着可靠性低,需要用户高度配合来标定用户参数,允许用户头部运动范围小,眼动数据中的不同眼动形式(眼跳、注视和平滑尾随等)如何准确的识别和国产化低成本等问题。本文对高鲁棒性眼特征提取并防止伪虹膜的攻击,允许大范围头动的用户免标定视线估计方法,高精度眼动形式识别和国产化低成本视线跟踪系统软硬件实现等内容展开研究,具体的研究内容如下:(1)针对现有的视线跟踪系统在光照变化、反射光斑、眨眼和模糊等干扰下无法鲁棒性的提取眼特征,并且在武器系统控制等高安全领域使用时无法防止伪虹膜的攻击行为的问题,本文提出了高鲁棒性防攻击的眼特征提取算法。该算法由轻量化高鲁棒性防攻击的虹膜定位算法(LAILNet)和瞳孔反射光斑特征提取算法(LAILNet-PDGD)两部分组成。轻量化高鲁棒性防攻击的虹膜定位算法实现了在光照变化、反射光斑、眨眼和模糊等干扰数据上的高鲁棒性和高精度的定位,同时能有效滤除人工伪造及打印虹膜。该算法在两个公开数据集和本文IPITRT数据集上的性能与2019年最优的算法MT-PAD一致,但是LAILNet算法的参数量和计算量是MT-PAD算法的1/24,处理时间是MT-PAD算法的1/2。在保证精度不损失的情况下,实现了模型的轻量化和实时性。LAILNet算法非常适用于嵌入式低功耗的设备。在LAILNet算法基础上的LAILNet-PDGD算法实现了鲁棒性的瞳孔和光斑提取,在瞳孔遮挡、头发眉毛干扰、远近焦距、光线变化、模糊、光斑干扰和佩戴眼镜等情况下瞳孔特征的提取结果精确度高达95.49%,优于主流的Deepeye和ElSe算法。LAILNet-PDGD算法处理640×480的虹膜图像仅需5.76ms,是Deepeye算法时间的1/18。高鲁棒性防攻击的眼特征提取算法可在嵌入式、移动化和低功耗的设备上高效的运行。(2)基于3D眼球模型的视线估计方法具有高精度、允许用户头动等优势。针对现有高精度的免标定视线估计方法需要双相机四光源的复杂硬件结构,本文提出了基于3D双眼模型的单相机双光源免标定视线估计方法。该方法采用一套低成本的单相机双光源的硬件配置,优化改进视线估计模型,实现了用户自然头动下的免标定视线估计。该估计方法包括用户参数自动标定和实时视线估计两个过程。由于实时视线估计中需要因人而异的人眼参数,本文增加左右眼角膜曲率中心的距离为固定值的特性,建模求解出用户的左右眼角膜曲率半径。利用瞳孔边界点建模优化解出瞳孔中心和角膜曲率中心的距离。利用双眼视轴注视同一个点的特征,建模优化计算出眼坐标系下光轴和视轴夹角。在实时视线估计算法中,首先构建了双眼眼球模型,并根据光学的几何原理建模,完成了角膜曲率中心和瞳孔中心的求解以及光轴的重建。其次利用眼坐标系下的光轴和视轴的固定夹角特性计算出用户的注视点,从而完成了视线估计。为了验证用户参数自动标定算法和实时视线估计算法的有效性,本文利用现有的眼球框架模拟双眼视线跟踪过程,获取到了眼特征的实验数据和验证数据,根据眼特征实验数据,将利用本章参数自动标定算法获取的人眼参数和视线估计算法的结果数据与验证数据进行对比,验证了算法的有效性。基于3D双眼模型的单相机双光源免标定视线估计方法具有硬件结构简单、双眼模型实现用户免标定、视线跟踪过程头动鲁棒性强等特性,优于目前最高精度下复杂硬件结构的单眼模型和单相机单光源双眼用户标定模型。(3)根据眼动数据精确的识别眼动形式是视线跟踪系统应用的关键技术。而受到噪声、眼动仪不精确性和眼动固有特性等的影响,目前眼动形式识别的精度不高,特别是平滑尾随的识别,2019年最优算法只达到73%。针对平滑尾随识别精度不高、受阈值影响大等问题,本文提出了基于分段和聚类的识别(I-SC)算法,识别注视、眼跳和平滑尾随三种常见的眼动形式。该算法首先利用眼动数据的速度特征来识别眼跳段,然后利用空间特征的标准差将剩余的眼动数据划分为不同的段。最后定义了段的平均直接距离特征,并采用快速查找密度峰值聚类的方法对注视和平滑尾随进行分类识别。该算法考虑了眼动的连续性和突发性,眼动的连续性由分段方法来表征,空间特征的标准差可以反映出眼动的突发性。聚类算法实现了无阈值区分注视和平滑尾随。该算法在眼动仪的噪声和不精确的眼动数据下也能实现精确的眼动形式识别。为了证明该算法的有效性和鲁棒性,本文采用由商业眼动仪采集的1 1个受试者的各种眼动数据形成的数据集对所提出的I-SC算法进行了评估。实验结果表明,该算法的识别准确率达96.0%,召回率达87.60%,优于主流的I-VDT算法和和卷积神经网络(CNN)算法。证明了本文算法能提供更准确的三元分类的能力。

关键词： 视线跟踪   瞳孔中心   单点标定法   转换矩阵   映射函数  

摘要： 随着科学技术的飞速发展,视线跟踪智能化监测逐渐成为研究热点,本文针对视线跟踪过程中精度和速率不高的问题,提出了基于瞳孔-角膜反射的视线跟踪方法,并结合当前实际问题,将视线跟踪技术应用于监测学生线上学习的专注情况。针对普尔钦斑中心提取速率低的问题,本文提出先利用人眼矩形区域中水平积分投影和垂直积分投影进行交叉,快速定位人眼区域;再用质心法对采用灰度阈值直方图法分割出来的普尔钦斑进行实时中心定位。经验证,采用质心法可以提高普尔钦斑中心的定位速率。针对传统算法中直接对人眼进行瞳孔中心定位导致精度低的问题,本文提出了一种新的方法,利用插补射线法将普尔钦斑移除,使用星射线法对瞳孔轮廓进行边缘点检测,然后对边缘点进行聚类分析,最后采用RANSAC算法对边缘进行拟合并定位瞳孔中心。经验证,此方法提高了瞳孔中心定位精度。针对系统用户重复标定工作繁琐的问题,本文提出了一种可以简化标定过程的新的标定方法。系统新用户采用传统的9点标定法,非新用户采用单点标定法。通过提取用户非首次标定时和首次标定时人眼图像中眼角坐标和普尔钦斑中心坐标,计算两种情况下眼图坐标系之间的转换矩阵,利用该转换矩阵将实时跟踪过程中的瞳孔-角膜反射向量所在的坐标系转换到首次标定时的眼图坐标系中,再根据首次标定时求解的映射函数,计算用户的视线落点。保证精度的同时,避免了同一用户进行重复的9点标定,简化了用户的标定过程,提升了整个系统的运算速率。经在实际应用场景中验证,应用本文提出的算法可以实时监测学生线上学习过程中的专注情况,满足实时性智能化监测需求。

关键词： 视线跟踪   瞳孔定位   神经网络   嵌入式   跨平台  

摘要： 眼睛作为人体感知世界的重要器官,在科学研究中一直很受重视,而视线跟踪技术是该领域研究的重要组成部分之一。随着计算机技术与人工智能的发展,视线跟踪技术在近几年取得了很大突破,相关产品也开始由实验室场景进入了消费级市场,逐渐成为很多领域无法替代的重要技术。然而这项技术仍面临着很多挑战,跟踪精度与实时性、鲁棒性差难以适应各种环境变化、设备配置复杂使用繁琐、不支持跨平台运行等。本文调研了视线跟踪领域近些年取得的成果与面临的挑战,提出了一种基于嵌入式平台的可实时进行视线跟踪的智能系统。本智能视线跟踪系统采用非侵入式的方法,系统可大致分为硬件和软件两个部分。硬件部分的核心是眼图采集设备,整个设备被集成在一块PCB电路板上,小巧简洁、集成度高。眼图采集设备上主要包括红外相机与红外光源、FPGA运算控制单元与传输控制单元,可实现对眼部红外图像的采集并通过USB进行传输。软件部分主要分为算法部分与UI界面部分,其中算法部分主要完成瞳孔定位、注视特征提取、视线方向估计、视线落点校正等视线跟踪算法,界面部分则负责一些常用的人机交互与显示功能。整个软件部分使用Qt creator进行开发,可在windows系统与Linux系统上跨平台运行。其中瞳孔定位算法使用了一种轻量化的卷积神经网络进行瞳孔位置检测,可以在保证实时性的前提下,有效提高瞳孔定位的准确度。为了在嵌入式平台上实现该功能提出了两种方法,一种是使用TX2等智能化程度较高的嵌入式平台,该平台支持Linux嵌入式操作系统与对卷积神经网络的优化运算;另一种是将卷积神经网络拆分成模块并将其在传统嵌入式芯片上进行实现,如DSP数字信号处理器。在进行视线跟踪前需要进行相机参数确定与落点误差校正参数确定,它们将分别在视线方向估计与视线落点校正时被使用。为了验证系统的性能,分别在TX2嵌入式平台与DSP C6000系列嵌入式平台上上进行了对比试验,对系统的实时性、准确性、头部运动鲁棒性、光照变化鲁棒性、配戴眼镜鲁棒性进行了测试,测试了不同人群的多组数据。测试结果表明:本系统可在嵌入式平台上进行实时的进行瞳孔定位、视线方向估计、视线落点估计等操作,视线跟踪的精度较高,鲁棒性强。