关键词： SOC   视线跟踪   片上总线   IP核复用   FPGA  

摘要： SOC（片上系统）将微处理器，数字、模拟功能单元和存储器等基本模块集成到单一芯片上，从而具有高速、低功耗和多功能等特点。因此，SOC技术及其设计方法学已成为集成电路未来发展和研究的主流，其中SOPC（System On Programmable Chip）技术，即可编程片上系统，提供了一种在性能、效率和成本上可灵活折衷的SOC解决方案。它通过片上总线和IP核（知识产权）复用的方式，将软硬件各功能模块集成到单一片上系统，实现SOC系统的集成。 本文依据片上总线和IP核复用的SOC设计方法，开展视线跟踪系统的SOC设计与验证。在分析系统需求和算法原理的基础下，比较各种可行方案，对系统进行设计和集成，并在SOPC实际系统中进行验证。本文的主要研究工作包括： （1）介绍SOC的概念、优势及其设计方法学的研究现状和视线跟踪系统的SOC研究进展，分析说明了视线跟踪SOC系统广阔的应用前景和市场前景。 （2）介绍基于普尔钦斑点法的视线跟踪技术的基本原理和工作流程，在普尔钦斑点法流程分析的基础上对SOC系统进行功能划为，确定SOC系统的框架。深入分析基于Adaboost的人眼定位算法的基本原理，对其进行数据流的分析和模块划分，提出了基于向量法的快速积分图生成器，并针对级联分类器通过率的差异设计串并混合架构的分类器。 （3）详细介绍视线向量提取的基本原理，针对瞳孔、亮斑定位算法的特点，采用软硬件协同设计的方法设计视线向量提取硬件模块。本文采用随机抽样一致性算法进行椭圆拟合以精确估计瞳孔中心，提高了系统的视线跟踪精度。通过分析随机抽样一致性拟合算法的数据流，对其进行模块划分，完成了改进型伪随机数生成器、矩阵快速逆运算和基于代数距离误差累计模块的设计和验证。 （4）对本文视线跟踪系统进行SOPC集成和验证，通过对样本集进行的测试实验说明SOC系统的运算结果与原型算法高度接近，保持了算法的原样性。同时，系统运行在50MHz的SOPC平台上，处理速度达到11帧/秒，基本达到实时性的要求。通过对SOPC系统与其他平台系统的检测精度与运行效率比较证明：SOC系统能够在保证精度的前提下，以较低的运行频率实现高性能的运算，充分体现了SOC技术及其设计方法学的先进性。

关键词： 教学反馈   表情识别   视线跟踪  

摘要： 学习者的面部表情是教师获得教学反馈信息的重要来源之一.表情识别利用计算机识别人脸表情,了解人的心理状态；视线跟踪则根据眼睛的特征和位置来判别注视的区域.二者的结合可以较好地弥补远程学习者对学习内容的表情反馈信息缺失方面的不足.但国内尚未查到将表情识别与视线跟踪相结合作为表情反馈信息收集方法的公开文献.为此,文中提出基于表情识别和视线跟踪技术的智能教学系统结构模型；构建学习相关表情库的方案；并设计表情识别与视线跟踪相结合获取反馈信息的技术框架.

关键词： 机器视觉   模板匹配   Mean Shift算法   视线跟踪  

摘要： 机器视觉是用机器代替人眼对周围环境进行感知、测量和判断。随着计算机性能的不断提升和图像获取的廉价化,人机交互技术得到空前发展。由于人眼视线包含丰富的当前任务信息,相比传统的鼠标、键盘和语音输入,视线跟踪与输入作为一种新兴技术成为一种更具潜力的输入通道,在方向控制、军事制导、疲劳检测、智能电器和虚拟游戏等领域具有广泛的应用前景。 本文的主要研究内容是非接触式的人眼视线跟踪,并将其分为虹膜定位与注视点跟踪两部分进行研究。在虹膜定位部分,本文提出了二级定位策略。首先对初始化图像进行预处理,选用模板匹配法对全局图像遍历,计算与目标模板相关度最高的点作为虹膜位置,并截取眼部区域图像,旨在剔除非感兴趣区域,缩减计算量。然后针对Mean Shift跟踪算法在虹膜被严重遮挡或背景干扰时易丢失目标的缺点,本文在二级定位中将Kalman滤波算法与其结合,并提出改进思路,引入帧间虹膜位移作为目标是否丢失的判断准则及丢失目标时下一帧的预测值。注视点跟踪部分完成虹膜坐标与屏幕坐标比例系数的建立以及注视点位置的确定,最后设定屏幕上光标的坐标,反映注视点位置。本文利用LabVIEW软件平台设计视线跟踪系统,并通过实验验证了改进算法的合理性与准确性,能够满足实时跟踪的要求。

关键词： 视线跟踪   头部运动   图像处理   轮廓检测   坐标转换  

摘要： 随着视线跟踪技术的发展，其在不同领域的应用也越来越加广泛。作为视线跟踪的表示载体——眼动仪，其在使用过程中如何做到支持用户头部自然运动一直是视线跟踪技术的研究热点和实现难点。 本文首先介绍了视线跟踪技术的发展、分类及应用，并对视线跟踪的关键技术——注视点的视线估计进行了详细阐述。接着用实验数据说明了头部运动对头部静止式眼动仪的精度影响，并介绍了几种常用的解决头动问题的方法。然后对本文实现的视控人机交互字符输入系统进行介绍并由此引出本系统中解决头动问题的共面标志点法。共面标志点法实时确定两坐标系间的映射关系并进行坐标转换，可分场景图像处理和射影坐标转换两部分进行。场景图像处理采用基于Hu矩匹配的轮廓检测算法提取标志点。射影坐标转换利用检测出的点构成点对求解两平面间的射影矩阵。 最后对共面标志点法在本系统中的实现进行了论述。主要包括场景图像处理算法的OpenCV实现和图像采集卡程序对整体流程的调度，完成了用户注视点坐标从场景摄像机坐标系到计算机屏幕坐标系的转换。并通过实验验证算法的可行性。由实验得到场景图像处理算法具有较好的提取准确度，头部在标定位置左右各15cm，纵深向前5cm，向后10cm的范围内运动，系统的跟踪精度基本可以保持在1°以内。

关键词： 非接触式   视线跟踪   特征提取   视线识别   可克服头部运动  

摘要： 随着计算机技术的快速发展，传统的人机交互已逐渐不能满足人们日益增长的交互需求。基于摄像的非接触式视线跟踪技术具有很大潜力成为新一代人机交互的主流方法，使人机交互技术发生革命性的发展，同时其算法上的不成熟为我们提供了很大的研究空间。本论文主要对基于摄像的非接触式视线跟踪技术中的眼动特征提取和视线识别两部分关键内容进行研究，提出了一种快速准确鲁棒的眼动特征提取方法及两种不同的可克服头部运动的视线识别算法： （1）针对现有眼动特征提取方法难以满足速度、准确率和鲁棒性要求的问题，本文根据眼睛图像在红外光源条件下的特性，首先采用基于红外光源条件下的眼睛分类器提取眼睛区域，然后使用二值化模板匹配算法定位瞳孔区域，最后利用凸包、椭圆拟合、点模式匹配等算法实时、精确地提取瞳孔中心和角膜反射斑点中心。 （2）针对传统瞳孔角膜反射向量法缺乏容许头部运动的能力的问题，本文提出了可克服头部运动的瞳孔角膜反射向量视线识别算法。在该算法中，首先利用了四个角膜反射光斑中心和瞳孔中心构成瞳孔角膜反射向量，然后采用了基于多初始映射方程回归的映射模型把该向量映射到人眼注视点上。 （3）从利用显示屏在角膜上的反射图像求解人眼注视点的角度出发，本文提出了一个基于图像变换的视线识别算法。在该算法中，利用了显示屏平面上的八个红外光源与对应的角膜反射斑点之间的图像变换把显示屏平面映射到角膜平面上得到显示屏的反射图像，然后根据该反射图像与瞳孔中心的位置关系来检测人眼在显示屏上的注视点。 实验结果证明本文的眼动特征提取方法处理速度达到60帧/秒，精度达到0.12像素，非常好地满足了基于摄像的视线跟踪系统的要求，当头部在16cm×10cm×14cm（深×高×宽）区间内运动时，本文的两种视线识别算法定位精度都约为1度视线角度，在这两种方法中，基于图像变换的视线识别算法的精度更高，但同时它需要更复杂的硬件结构。对比现今的二维的基于摄像的非接触式视线跟踪技术，本文的两种视线识别算法在允许头部运动的同时精度都达到了领先水平，较好地解决了二维视线跟踪系统精度不高及头部受限的问题。

关键词： 注视区域   自动校准   视线跟踪   头部方向  

摘要： 近几年,随着机动车数量的日益增多,驾驶员数量的飞速增长,道路交通事故的发生频率逐年上升。研究表明,绝大多数的交通事故是由驾驶员注意力不集中引起的,其中一部分可以通过检测注视方向的变化来提醒驾驶员以避免事故的发生。视线跟踪技术对研究驾驶员的注意力、检测疲劳和提高驾驶员辅助安全有着至关重要的作用,受到国内外研究学者的广泛关注。 虽然一些传统的视线跟踪方法在简单环境下已经取得了较好的效果,但在行驶过程中,由于受到光线变化、头部大范围运动和不能采用校准屏幕手动校准等因素的影响,难以进行注视跟踪。 为了解决驾驶员注视区域估计问题,本文提出了一种新的可以自动校准的注视区域估计算法。该方法采用单摄像头采集驾驶员脸部图像,利用脸部检测算法进行人脸定位,确定驾驶员脸部中心位置作为特征点,然后根据车辆环境和驾驶行为的特点,采用头部朝向代替视线方向,利用侧视镜、后视镜、仪表盘和挡风玻璃中划分的不同区域作为校准点,利用自我学习算法,确定面部特征在12个注视区域内所对应的头部姿势分类器,最后利用粒子滤波跟踪和估计当前驾驶员的头部姿势,根据置信度估计获得准确的注视区域,实现了对驾驶员视线的自动校准和跟踪过程。 实验结果表明,这种不需要驾驶员干预的自动校准的注视区域估计算法可以达到与人工校准方法相同的精度,注视方向的误差率在5度以下,可以满足安全驾驶和驾驶行为研究的需要。

关键词： 人机交互   视线跟踪   动态标定   字符输入   DAVINCI  

摘要： 人机交互技术实现了人与计算机的对话。将视线跟踪技术应用于人机交互可帮助残疾人操作计算机，加速了以人为中心的智能化人机技术的发展，成为近年来倍受关注的研究热点。 本文首先介绍了人机交互的研究背景和发展历程，并归纳了视觉在人机交互中的应用现状，接下来综述了眼动跟踪技术，阐述了将眼动运用于人机交互的方式，然后介绍了眼动跟踪系统的设计并提出人机交互字符输入技术系统框架。具体描述了眼图处理算法的设计以及实现流程。接下来，本文在传统的基于回归方程的标定方法基础上，设计了一种头部可动的动态标定方法和跟踪方法，并详述了标定模块的实现。研究并分析了现有的人机交互字符确认方法，设计了确认模块。 最后讨论了系统实现平台的选取，介绍了嵌入式平台的开发环境搭建过程以及DAVINCI软件开发原理。然后详述了本文具体的实现过程，先在ARM端实现了图像的采集显示，再设置了字符输入系统所需的ARM与DSP共享数据帧格式，将DSP端算法打包成DSP Server，然后再ARM端加入工作线程，实现双核的协同工作，接下来从系统整体的流程出发，按照系统初始化、标定、跟踪的操作步骤详述了各个平台之间相互信息交互的实现。并通过实验验证了系统的可行性，由实验得到字符输入系统的注视精度在1°内，打字输入速率为每秒40个字符，字符输入准确率达到90%。

关键词： Web技术   用户体验   虹膜识别   视线跟踪  

摘要： 在以用户为中心的时代，单纯的功能化实现无法满足网站访客的需求，用户体验已经成为了评判网站优劣的关键因素。本文总结分析了现有的Web技术，结合用户体验理论，借助用户体验五要素的具体内容，设计了物联网科技园门户网站。在需求分析中，除了可行性分析和安全需求分析外，侧重从战略层和范围层描述用户的分类和功能需求。借助需求分析中得出的结论，本文将门户网站的设计分为数据表，管理系统和用户界面的设计。其中管理系统又被细分为若干子模块分别予以设计；用户界面的设计则依次从结构层，框架层和表现层进行了分析并完成了相应的设计内容。同时，本文对网站用户体验的测评做了深入的研究，在充分调研现有用户体验测评方法的基础上，提出了一种基于视线跟踪的测评方法。该方法结合了现有的虹膜识别技术，通过对人眼图像的一系列分析和处理，可以准确获取虹膜中心的位置，并将该中心的位置坐标映射到人眼视线的实际坐标系中，以求取此时用户视线关注的网站区域。在人眼图像的处理中，针对网络摄像头拍摄环境下的图像特点，增加了干扰点去除的步骤，改进了基于霍夫变换的虹膜识别。实验结果表明该方法能准确的判断出用户视线关注的位置，可以为网站的用户体验优化给出合理的方向，提供准确的依据，对网络业务和应用的优化具有重要的意义。

关键词： 视线跟踪   职能能力   视线信息环   视线轨迹  

摘要： 如何有效客观测评员工职业素质,是当前国内外一个重要研究课题。本文首次创新性提出基于视线跟踪技术的职业素质测评模式,该模式能客观的考察员工职业知识的掌握程度,而且能进一步测评被测试者的思维模式、思维习惯等隐性的职业素质能力,这些信息能更加全面客观地测评员工的职业素质。本文的研究不论对今后职业素质测评模式研究还是对企业人员招聘,都有重要的理论及实际意义。

关键词： 视线打字   视线注视点   程序优化  

摘要： 基于TMS320DM6446EVM硬件平台,使用Codec Engine模块协调双核工作,ARM核完成眼图的采集、显示及与计算机间的通信,DSP核处理眼图、计算眼视线注视点。计算机将视线注视点转换为其所处的字符输出到文档中。DSP端的核心算法采用C语言与汇编混合编程,经过C语言与汇编的优化,在C6416下从4～7s,优化到10～20ms,移植到TMS320DM6446下达到15帧/s,实现了视线打字功能,字符输入速率为40个/min,准确率90%。