关键词： 视野检查   视线跟踪技术   眼动仪   全自动反馈   大学生  

摘要： 目的:观察基于视线跟踪技术的全自动反馈视野计在大学生的初步应用并验证其测试效能。方法:利用眼动仪与家用计算机、显示器搭建完成新型全自动反馈视野计平台后,基于注视和跳动两种特征眼动,通过分析参与者是否感知到刺激视标,视线扫描路径及向刺激视标注视点,从而判断参与者该部分视野是否存在异常。结果:共采集63名119眼有效眼动数据,所有参与者完成测试平均时间为82.46±14.68 s,右眼平均测试时间为88.21±15.30 s,左眼平均测试时间为76.42±11.29 s,左、右眼测试时长有差异(P<0.05)。结论:基于视线跟踪技术的全自动反馈视野计能够实现人机自动交互,使视野检查过程简单易行,缩短了检查时间,提高了参与者体验。

关键词： 遥操作系统   示教学习   高斯混合模型   力反馈   意图识别  

摘要： 针对传统的机器人遥操作系统缺乏对任务的认知和操作者主观性判断的问题,课题组提出了一种基于示教学习与视线追踪的遥操作系统设计策略。首先运用高斯混合模型(Gaussian mixture model,GMM)和高斯混合回归(Gaussian mixture regression,GMR)对机器人的技能进行学习,实现人机技能转移;然后基于示教学习设计了一种人工势场法的虚拟夹具(virtual fixtures,VF),并设计了力反馈算法;最后使用网络摄像头对操作者的视觉意图进行判别,将意图识别结果和人工势场法应用于虚拟夹具力反馈算法中,并进行实验。研究结果表明:基于视觉意图判别的虚拟夹具力反馈遥操作系统能够对操作者的意图进行判别,有效解决了操作者的主观意图受传统虚拟夹具产生的反馈力限制的问题,增强了操作者在遥操作过程中的主观性,是遥操作控制系统中一种有效且实用的力反馈控制方案。研究结果可为高危场景下具有力觉临场感的机器人遥操作系统的实际应用提供参考。

关键词： 机器学习   眼位测定仪   视线跟踪   误差补偿   BP神经网络  

摘要： 眼球具有高速、高精度的运动能力,不同的眼球运动模式会导致视线轨迹和注视位置的变化,这会改变眼球相对于测量仪器的位置和角度,在面对迅速变化或遮挡等特殊情况时,传统方法缺乏对眼动规律的全面把握,无法准确测定角膜中心与瞳孔间的真实连接方向,这导致了补偿效果的准确性和稳定性受限。为此,提出基于机器学习的视线跟踪误差自动复合补偿方法。基于眼位测定仪结构,建立眼部视线的方向映射模块;基于眼动规律,测定角膜中心与瞳孔间真实连接方向,在3D空间体系内完成眼位测定仪视线中心跟踪定位。利用三维空间体系建立测量坐标,通过三维视线方向,计算眼位测定仪视线跟踪误差。将误差输入BP神经网络,在机器学习导向下根据各层感知器的反馈输出,建立激活函数计算输出层总误差,通过损失函数实现视觉跟踪误差自动复合补偿。经实验证明,所提方法能有效补偿不同视线移动条件和眨眼情况下的眼位测定仪产生的视线跟踪误差,具备一定的实用性。

关键词： 视线跟踪   校正   曲面屏   眼动数据  

摘要： 曲面屏不同于平面屏,其曲度会造成基于模型法得到的眼动估计数据与用户实际数据存在差异,这影响了眼动设备的跟踪精度。针对以上问题,文章提出了基于屏幕误差模型的眼动数据校正方法。该方法借助眼动设备的视线标定流程,通过分析用户眼动数据与视线估计数据间的几何关系,推断曲面屏与平面屏在视线估计中的系统误差,将该偏差用于眼动数据校正。计算机仿真结果显示,校正后的眼动数据误差小于15.51 pixels,比校正前降低了48.89%。

关键词： 眼球定位   视线跟踪   正位视训练   眼外肌外伤   人工智能  

摘要： 针对眼外肌外伤的正位视训练系统优化设计,研究设计了一种可穿戴式视线跟踪系统,并引入了基于图像梯度特征的眼球中心定位算法对其加以改进,同时将其应用到实际的视线跟踪中。结果显示,基于图像梯度特征的眼球中心定位算法在最坏误差为大于0.1的情况下,准确率均高于91.2%,且在大于0.2的情况下接近100%。同时利用视线跟踪系统测算的视线检测误差都比较低,且水平方向的检测误差最低仅为11.6,方差最低仅为7.3。说明该系统能够对改善眼外肌受损造成的眼位不正问题进行有效地正位视训练,同时为机器视觉领域的研究提供了可靠的技术参考。

关键词： 视线跟踪技术   学龄前儿童   注意力培养   情境感知   产品设计  

摘要： 注意力是儿童在学习中最为关键的能力之一，而随着信息技术的不断发展，多通道人机交互的研究成果为注意力训练提供了理论支持。旨在改善眼球运动的认知训练是提高注意力水平的有效干预措施，视线跟踪技术为人机交互提供了一种非接触的、自然的互动形式，眼控交互游戏训练系统为改善儿童眼球运动提供了有趣的体验，但适宜儿童眼控交互的操作方式尚未被探索，且注意力的培养难以引导至日常活动中。针对该问题和挑战，本研究以学龄前儿童为对象，探讨适合儿童眼控交互的操作界面和操作方式，结合注意力培养方法和情境感知理论进行情境设计，提出针对儿童注意力培养的情境感知设计策略，并设计眼控交互游戏，以提高训练效果。　　本文主要内容包括：　　对视线跟踪技术、注意力培养以及情境感知理论三方面进行梳理分析。在探究儿童注意力培养的相关研究现状中，发现注意力训练缺乏与真实情境的相关性。因此在儿童发展特征的基础上构建面向儿童的眼控交互要素，结合情境感知理论分析注意力培养产品的体验因素，提出眼控交互的情境感知包含自我审查体验、自适应体验、个性化定制体验、沉浸式体验四大要素。　　探讨儿童眼控交互中适宜的交互方式，即驻留时间、按钮大小、不同的实验组合对眼控交互界面可用性的影响。使用TobiiEyeTracker5工具，对30名平均年龄为5.9岁的儿童进行实验，根据实验结果，结合相关文献分析，得出在不同的操作任务水平和图标大小下，符合学龄前儿童认知特征的眼控交互的驻留时间范围。　　根据眼控交互操作原则和情境感知设计策略，设计了一款面向学龄前儿童的注意力培养的眼控交互游戏。通过情境构建、交互设计与页面设计进行呈现，用Unity开发验证了相关功能需求，并通过主观评价法验证了眼控交互中提示性的可用性问题，据此进行了设计优化迭代。　　本文重点研究了在眼控交互中，提升儿童注意力培养产品的使用体验和效果的设计策略，旨在通过系统化的研究，实证眼控交互关键性问题，提出融合情境感知的眼控交互原则，从而回应对学龄前儿童眼控交互关注的缺失，同时期望该研究可以使学龄前儿童更好地享有游戏教育产品的价值。

关键词： 视线跟踪   注视点估计   深度学习   人机交互  

摘要： 视线跟踪是自动精准估测人类视线方向或注视点的技术,是人机交互感知、虚拟现实、军事、智能驾驶等领域的重要研究分支。目前视线跟踪技术限于红外相机及深度相机等昂贵复杂的硬件设备,致使应用场景受限和用户体验感不佳。由于个体眼部外观的差异性、应用场景光照环境的多样性、头部姿势和注视方向的复杂性,在无约束环境下估测视线方向或注视点的研究仍需要钩深索隐。随着深度学习在复杂环境下的视觉检测任务中取得优异性能,利用深度学习估测视线成为主流视线跟踪方法。基于上述问题,本文在使用单目网络摄像头的情况下,提出了在无约束环境下基于外观纹理的视线估计和注视点估测方法。主要研究内容如下:(1)头部翻滚角估算。人脸倾斜的输入图像不利于视线估计算法的训练,亦会影响算法的估计效果。而图像中人脸倾斜是由头部翻滚角造成的,利用Retina Face算法检测的人脸关键点实现对低分辨率图像中头部翻滚姿势的单独检测,消除了头部翻滚角对视线估计算法性能的影响,简化了视线估计任务。(2)二维欧拉角视线估计算法。基于人眼只有俯仰和偏航两种动作姿势及对头部翻滚角单独估算的设计,三维视线方向可通过二维欧拉角(俯仰角、偏航角)表示。本研究使用两个全连接层分别回归两个注视角度,以提高每个角度的预测精度。使用两个独立的损失函数分别训练俯仰和偏航两个注视欧拉角,每个损失函数都是交叉熵和均方值的加权组合,以精确的微调网络并提升其泛化能力。算法选用Res Net50作为基础网络,并嵌入SE-Net注意力机制,以增强系统的稳健性,并对算法的估测精度有所提升。该算法最终取得平均16fps的估计速率和平均3.8°的测试角度偏差。(3)二输入注视点估测算法。本文在视线估计网络的基础上增加脸部网栅分支网络,使用全连接层整合人脸图像和脸部网栅的特征信息,后用两个全链接层独立回归屏幕注视点的横纵坐标。该算法简化了多输入注视点估计算法的网络结构,最终取得平均4.3cm的测试偏差和平均14fps的估测速率。

关键词： 视线跟踪   卷积神经网络   ResNet网络   Bi-LSTM网络   注意力机制  

摘要： 视线跟踪技术在人机交互、教育、刑事、医疗、商业等诸多方面有着广泛的应用。近年来,由于计算机视觉与深度学习技术的飞速发展,人们对视线追踪的研究也逐渐增多。然而,目前的视线跟踪系统仍存在一些缺陷。比如,在降低系统复杂性、简化标定程序的前提下,突破光照条件和头部姿态的局限,增强人眼视线方向的预测准确率依旧是一个具有挑战的课题。本文从视线跟踪的精准度、鲁棒性和网络复杂度三个方面的问题考虑,进行算法模型的搭建。本文以基于深度学习的视线跟踪算法为基础提出了一种将Res Net系列卷积神经网络与Bi-LSTM网络相结合的CRAB(Combine Res Net and Bi-LSTM)算法,然后进行算法改进和视线跟踪精度提升。首先,本文应用了一种基于深度学习的视线跟踪算法,并对其进行了研究。卷积神经网络利用卷积操作实现层间连接,在减少计算量的同时,还能降低设备费用,故被广泛地用于计算机视觉。基于此,本论文基于卷积神经网络建立了算法模型。其次,针对视线跟踪准确度的问题,文本对提出的基础算法CRAB进行改进,为了更好的提取输入信息的特征,本文在CRAB算法的基础上添加了空间权重模块和CBAM注意力机制,两个模块都有增强眼部信息的特征提取的能力,并且还能抑制其他面部区域对提取准确度的影响;此外,CRAB算法中的Bi-LSTM网络提供了一种建模序列的方法来拟合时序信息,这种方式也能提升视线方向的预测结果精准度。再次,在最近的视线跟踪领域中,经研究发现网络的输入为全脸区域的信息可以提高算法的性能。考虑到视线跟踪的实际应用以及推动全脸区域的信息可以提高性能这一想法,本文的模型选择的输入是连续帧带有全脸信息的视频序列。本文选择Gaze360数据集进行实验,该数据集结合了3D视线注释,移动范围较大的头部姿态和广泛的数据采集环境,因为该数据集的多样性,所以证明本文提出的CRAB算法具有较好的鲁棒性。最后,为了在提升视线精准度和鲁棒性的同时还能降低网络复杂度,本文通过对Res Net系列网络和其变体进行了骨干网络的改进实验。实验结果证明,当Res Ne St-50作为骨干网络时,可以得到当前实验最高的精准度,而且Res Ne St-50是一个基于Attention的轻量级网络架构,在保证精准度的同时不失网络的轻量化。通过实验结果可以得到,以Res Ne St-50作为骨干网络的CRAB算法,在添加空间权重模块后得到最优的实验结果,该算法计算得到的人眼角度误差从原来的13.5°降低到12.6°,降低了0.9°,使算法模型的精度进一步提升。

关键词： 视线估计   深度学习   标签分布学习   人机交互  

摘要： 视线跟踪是一种可以跟踪人眼在观看过程中的运动轨迹的技术,它可以被应用于多个领域,例如心理学、人机交互和医学等。在视线跟踪中,会使用一些特殊的设备来记录眼睛的运动轨迹,这些设备包括眼动仪和红外线追踪仪等。视线跟踪技术的应用非常广泛,其中之一是心理学领域。在心理学研究中,视线跟踪可以用来研究人们的注意力和注意力偏向,并且可以帮助研究者更好地理解人们的思维过程。此外,在人机交互领域,视线跟踪可以用来评估用户对界面的使用效果和易用性,从而帮助设计师改进产品设计。在医学领域,视线跟踪可以用来帮助诊断一些眼部疾病,并且可以帮助医生更好地了解患者的视觉问题。视线跟踪技术的发展也非常迅速,现在已经出现了许多新型的视线跟踪设备,例如可穿戴式设备和虚拟现实设备等。这些设备的出现使得视线跟踪技术的应用更加便捷和广泛。视线跟踪技术是一种非常重要的技术,它可以帮助我们更好地理解人类的认知过程和行为,并且可以被应用于多个领域,包括心理学、人机交互和医学等。未来,视线跟踪技术的应用将会更加广泛,同时也会有更多的新型设备和技术出现,这将为视线跟踪技术的发展带来更多的机会和挑战。本文的主要工作如下:(1)基于细粒度的视线估计模型构建视线方向主要是由眼部视线方向和头部姿态共同决定。在选择网络时,本文发现视线估计特征的提取非常困难,尤其眼部图像,在角度差别不大,头部姿态未发生变化时,特征的区别非常微小。面对如此微小的特征差异,如何设计一个高效实时的网络成了本文首要解决的问题。本文设计一种细粒度的视线估计模型,其将回归任务转为先分类后回归的形式,该设计的核心要点就是提高分类的准确率,回归的精度就会相应提高。在公开的数据集上,不仅计算时间和成本大幅降低,并且在精确度上相比以往的模型有了一定程度提升,本文将此作为基准模型。(2)基于一维高斯分布的细粒度视线估计模型构建研究发现,眼部图像由于角度变化较小或眼睛无意闭合,标签存在一定的模糊性。为了抑制无约束环境下视线标签的模糊性。通过对实验环境下大量眼部图像的特征分析和研究,发现不同标签之间的眼部图像隐含一定的相似性,每类眼部图像与其他图像的相似度经过一定的排序,发现遵循高斯分布。基于上述研究,本文设计出一维高斯分布代替原来的硬标签,构建了以细粒度为基本架构的一维高斯分布视线估计模型,该模型以复合损失函数进行监督训练。在两个公开数据集上的结果表明,本文提出的一维视线估计模型与以往的视线估计模型包括细粒度视线估计模型,实验效果有一定程度的提升。(3)基于二维高斯分布的细粒度视线估计模型构建进一步分析发现,一维高斯分布视线估计模型在特征考虑上较为单一,主要表现在计算相似度特征的选取上,仅考虑一个维度如Pitch维度上的变化,对另一个Yaw维度未加限制,这也导致其分布构造不太准确。为解决此问题,本文提出二维高斯分布视线估计模型,从两个维度联合来构建一个分布,而不是将二者割裂开来。本模型继续沿用基准模型架构设计,改进了粗分类模块,仍旧以复合损失函数监督整个网络的训练迭代。在视线估计领域常用的公开数据集上实验结果表明,本文提出的二维视线估计模型相比以往的视线估计模型包括一维视线估计模型,效果有一定程度提升。(4)基于自适应分布的细粒度视线估计模型构建不管一维高斯分布视线估计还是二维高斯分布视线估计,其构造的分布尽量去拟合所分析的相似度分布,然而数据的分布是很复杂的,有时是标准的分布,有时又是其他未涉及的分布,如何合理构建出一个复合真实数据分布的先验分布?本文提出自适应分布来解决此问题,自适应分布利用深度学习来学习样本的特征,根据输出相应图像类别的分布,为了强化此分布,本文又在此基础上加入原有的硬标签。本模型仍旧沿用了细粒度的视线估计模型架构,在粗分类里面加入自适应分布的设计,细分类模块沿用原来的MSE作为监督,整个模型以复合损失函数来监督训练迭代。在视线估计领域常用的公开数据集上实验结果表明,本文提出的自适应分布视线估计模型相比以往的视线估计模型(包括上述的视线估计模型),效果有一定程度提升。