关键词： 视线跟踪   感知机制   人机交互  

摘要： 随着智能系统硬件以及人工智能的发展,人机交互方式有了长足的发展。从普遍得以应用的鼠标人机交互到手势交互,到语音交互,到脑电交互,再到视线交互。其发展趋势更加人性化,更加智能化。其中视线人机交互采用机器视觉技术,具有响应速度快、非侵入式的特点,具有很大的市场应用前景。通过对现有视线交互方式的研究,普遍存在以下问题:视线交互系统稳定性易受光照、头部位姿、遮挡等的影响。同时现有的人机交互标定校准机制复杂,没有普适性。因此笔者针对以上问题,对以下内容进行了深入研究:首先对特征点定位方法的研究。特征点定位参数是实现视线定位的基础,而特征点定位却易受环境光照、用户头部位姿、遮挡等复杂环境的影响。同时为解决视线检测的实时性需求问题,需要对检测到的特征点进行算法跟踪。因此笔者研究了不同条件下的特征定位方法;其次对多信息融合的自适应视线定位感知的研究。单一的特征进行视线定位会存在很大的定位误差,无法满足应用的需求。为解决传统复杂标定校正机制问题以及用户的自由运动问题,对特征点定位跟踪研究的基础上,对多信息参数的关系进行了分析融合;然后对基于自适应感知机制的人机交互控制系统研究。在研究自适应视线定位感知机制的基础上,进行视线控制系统研究。详细研究了在视线人机交互的过程中,人的有意意识与无意意识。最后对视线交互系统的响应机制进行了研究,设计了自适应人机交互系统。

关键词： 视线跟踪   卷帘快门差分曝光模型   头-眼坐标系   人机交互  

摘要： 视线跟踪系统通过采集人眼图像来估计视线方向,作为一种直观的体现注意力的方式,视线跟踪技术在人机交互领域越来越受到人们的重视。本文首先回顾了视线跟踪技术的发展历史,同时简要概述了目前视线跟踪技术的方法及应用。然后介绍了本文所设计的基于头显视线跟踪系统的整体架构。在视线跟踪技术中,求解瞳孔坐标一般采用亮暗瞳差分法,由于卷帘快门的曝光特性,在图像的采集中容易出现亮暗瞳串扰的问题,对于该问题本文根据卷帘曝光模型提出了一种能在串扰的情况下正确的计算出最优曝光起始时间和曝光时长的方法。同时由于视线跟踪系统算法较为复杂,为了保证系统的实时性,本文设计并实现了一个基于TI高性能多核处理器TMS320C6657和XILINX A7 FPGA的眼图处理平台,平台选用TI的多核DSP作为眼图运算的主处理器。FPGA作为协处理器和系统的主控单元,用来控制系统各个模块的正常工作,并完成图像的采集和传输。平台还包括了图像输入、输出模块以及缓存模块。多核DSP与FPGA之间通过UPP传输模式进行双工通信。眼图处理平台为系统的实时性提供了保障。为了获得视线在世界坐标系中的方向,首先需要求解头部的姿态角。系统采用九轴陀螺仪测量头部姿态角,为了解决陀螺仪测量姿态角时出现的时间漂移问题并提高求解的精度,本文提出一种基于互补滤波和卡尔曼滤波的融合算法,同时根据加速度的变化,动态的改变互补滤波的系数以及卡尔曼滤波中的测量噪声方差。本文基于三维视线求解模型,获得在头部坐标系下的视线角度,通过对比单点标定和四点标定算法的精度,系统采用四点标定完成视轴的求解。通过结合头部的姿态角获得视线在世界坐标系下的角度。由于人眼在注视的过程中会无意识的抖动,因此在人机交互的应用中需要识别并去除这些眼跳点。本文借鉴了I-DT算法的思想并重新定义了算法中的离散度,可以快速而又准确的识别出眼跳点。最后实现人机交互应用:控制球机随视线方向的变化而转动。经验证,本文所设计的视线跟踪系统能正确的完成人机交互的任务。

关键词： 视线跟踪   视线落点   异常显示区域   瞳孔跟踪   头部运动   米达斯接触  

摘要： 随着社会和科技的不断进步,视线跟踪技术得到了越来越多的重视,并且在人机交互、助残、疲劳驾驶检测、航空医学研究等领域具有广阔的应用前景。操控面板的操作对于操控员成功执行任务尤为重要,为了提高操控面板执行的安全性,需要操控员对操控面板的实时状态进行监测,并针对随机发生的异常显示情况进行及时处理。针对上述问题,研究操控员的视线落点和操控面板中异常显示区域之间的关系成为了该领域的重点。本文在现有研究基础上进行了相关方面的技术改进,具体研究内容如下。首先,对操控员的视线参数进行提取,采用现有的视线参数检测方法和改进的单摄像机四红外光源系统采集面部图像,然后对瞳孔中心和普尔钦斑点进行识别。为了提高系统的检测效率,提出了粒子滤波和卡尔曼滤波相结合的瞳孔跟踪算法。其次,在视线估计过程中,文中根据瞳孔中心和普尔钦斑之间的关系建立非线性多项式映射模型,实现视线落点估计。为了克服头部运动对视线估计精度的影响,采取头部空间姿态估计来进行补偿处理。分析了视线估计误差产生的原因,并提出了对应的解决方案,并取得了良好的效果。最后,研究操控员视线落点和异常显示区域匹配,并采用计算机模拟仿真技术实现。利用计算机屏幕模拟操控面板区域,系统模拟异常显示情况发生并获取该区域坐标位置,然后判断操控员当前视线落点和异常显示区域之间的位置关系,并做出相应反馈。对于人眼存在的跳动或米达斯接触等问题,文中采用连续帧检测的解决方案。研究结果表明,在操控面板发生异常且操控员视线落点不在异常显示区域内时,文中给出的解决方案促使系统能够及时做出提醒处理,为该领域的研究提供一定的理论基础。

关键词： 自动驾   ADAS系统   人体姿态识别   头部姿态识别   视线跟踪  

摘要： 随着科技不断发展,未来人类世界所发展的方向必然是向智能化进行发展,自动驾驶汽车,也称无人驾驶汽车应时代潮流而兴起,这将是未来汽车所追求智能化方面的最终目标.本文将对世界自动驾驶汽车的发展历史,原理,基本构成及有关安全问题和ADAS系统进行详细论述.

关键词： 人机交互   视线跟踪   物体检测   立体视觉  

摘要： 人机交互主要是研究人与计算机之间的信息交换,是与人机工程学,认知心理学、虚拟现实技术、多媒体技术等密切相关的综合学科。本文研究的基于视线跟踪的操作界面的人机交互方法采用桌面式双目立体视觉实时跟踪双眼视线。同时为满足科研项目敏捷瞄准需求,采用动态背景下的运动物体检测方法实时推荐物体,确定操作者视线选定的物体,以便进行跟踪操作。本文提出了基于瞳孔空间形态的双眼视线跟踪模型。该模型采用基于低灰度值分布的瞳孔中心定位方法,该方法定位准确,计算速度快,且不需要设定准确的阈值。该模型采用基于极坐标径向导数图的瞳孔边缘检测方法,提高检测准确性与鲁棒性。通过随机抽样一致性算法(Random sample consensus,RANSAC)进行瞳孔椭圆拟合,结合双目立体视觉模型与系统参数计算瞳孔空间信息,最终得到视线落点坐标。本文提出了一种配合视线人机交互的物体推荐模型。该模型采用定向二进制简单描述符(Oriented brief,ORB)算法提取、描述特征点,结合快速最近邻搜索(Fast Library for Approximate Nearest Neighbors,FLANN)与RANSAC算法隔帧配准差分,通过连通域筛选得到推荐物体结果。在检测流程中,引入闭环阈值调节过程,使该模型适用于不同场景,提高了系统的鲁棒性。实验表明,本文研究的基于视线跟踪的操作界面的人机交互方法,视线跟踪最大误差为2.6?。物体推荐模型最多推荐12个物体,帧率为25 fps。在满足实时性要求的同时,具有较高的准确性与鲁棒性,为基于视线跟踪的敏捷瞄准系统提供了有效的解决方案。

关键词： 视线跟踪   瞳孔定位   实时性   分类识别   应用  

摘要： 科学研究表明,正常人每天获取的信息有80%90%来自眼睛,可以说眼睛是人获取外界信息的主要器官。人们对视线跟踪的持续研究促成了视线跟踪技术的蓬勃发展,视线跟踪技术已经被成功应用到了许多的领域,相信这一技术未来将会被应用到更多的领域。随着视线跟踪技术的日益成熟,现在已经出现了多种类型的视线跟踪系统,比如头戴式系统和桌面式系统。本文在开始部分介绍了视线跟踪技术的研究背景和研究意义,接着又叙述了现有视线跟踪技术的种类和原理以及国内外视线跟踪系统的研究现状,然后又进一步介绍了桌面式视线跟踪技术的相关理论基础。本文的视线跟踪系统主要由硬件、软件和算法三部分构成。其中硬件部分主要由红外光源、红外摄像头、功能板和发送板组成。软件部分从层次上可分为视频采集层和多线程应用层两层。算法部分主要包含图像预处理、瞳孔定位、C、P点求解和视线落点计算,本文对系统三个部分的实现在第四章做了详细的叙述。在系统所有功能模块实现的基础上,本文对基于3D眼球模型的视线跟踪系统的稳定性、实时性和精度进行了性能测试,测试证明该系统可以实时稳定工作,同时系统的精度大约为0.82°。桌面式视线跟踪系统的大体工作流程为亮暗瞳图像的采集、亮暗瞳图像的预处理、利用亮暗瞳图像定位瞳孔、瞳孔中心和光斑中心提取、求解C、P点和求解注视点坐标。其中利用亮暗瞳图像定位瞳孔是视线跟踪系统很关键的一步,能够直接影响视线跟踪系统的实时性和精度。为了提升系统的性能,本文根据现有瞳孔定位算法的优缺点,研究提出了一种基于图像处理和机器学习的瞳孔定位算法,该算法在戴眼镜和不戴眼镜等多种情况下均适用。该算法只需要暗瞳图像就能定位到瞳孔位置,从而该算法间接提高了视线跟踪系统的处理帧率和精度。该算法的工作流程为图像滤波去噪、图像插值缩小、滑动窗口、窗口直方图分割、候选区域中心选择和瞳孔精确定位。通过对6位测试者的测试,结果表明该算法的平均准确率为97.8%,平均总耗时为13.3ms,理论上平均每秒处理帧率可以达到75fps左右。通过实际测试证明该算法在多数情况下具有较高的实时性和鲁棒性。最后本文基于视线跟踪系统实现了一项眼动控制球机的实际应用,该项应用使用注视点数据来控制球机转动,本文对该项应用的实现部分做了详细的叙述。同时本文对该项应用的算法部分做了改进,改进后的算法通过高斯平滑注视点数据和增加PID控制来使球机运行更加稳定。

关键词： 视线跟踪   3D人眼模型   头部姿态估计   RGB-D摄像机  

摘要： 针对基于3D人眼模型的视线跟踪技术进行了综述.首先对视线跟踪技术及其常见应用进行了概述;然后简单阐述了现有视线跟踪方法及其分类;重点分析基于3D人眼模型的视线跟踪方法,并根据硬件配置的不同,将基于3D人眼模型的方法分为单摄像头无光源、单摄像头单光源、单摄像头多光源、多摄像头多红外光源及基于RGB-D摄像机5类进行概述,对比分析了现有的基于3D人眼模型的视线跟踪技术;最后对基于3D人眼模型的视线跟踪技术的难点及发展趋势进行了简单的分析与总结.

关键词： 视线跟踪   瞳孔中心   定位算法   椭圆拟合  

摘要： 为了实现临床上精准视线跟踪的要求,提出了一种基于最小二乘法椭圆拟合的孔中心定位算法。首先在红外光源条件下,用摄像机捕获人眼图像,预处理后得到二值化图像,并提取图像轮廓,利用组成轮廓的像素点数100~300,对瞳孔进行粗过滤。对得到的系列轮廓随机选择6个点进行椭圆拟合,计算椭圆中心与边缘距离的方差,方差最小的为瞳孔中心。算法具有对存在白斑干扰及半闭眼状态时的瞳孔中心准确识别的优点。实验表明,该算法能够准确地定位瞳孔中心,且满足实时性要求。

关键词： 抬头显示系统   眼控   视线跟踪   眨眼识别   触屏模拟  

摘要： 随着汽车的普及和人工智能的快速发展,人与汽车的交互在驾驶过程中越来越频繁。目前,人与汽车的交互主要以触控和声控为核心,然而由于方言的局限性,声控识别无法普及,同时,声控具有一定的延迟性,难以应用在汽车系统上;在驾驶过程中驾驶员需实时掌控方向盘,然而,在触控交互方式下,人的手会离开方向盘,致使产生一定的驾驶安全隐患。眼控技术的出现,既没有方言的局限性,同时解放了人的双手,在一定程度上避免了驾驶过程中触控交互所产生的安全问题。本文将眼控技术引入到车载抬头显示器(HUD)中,可以为HUD提供更好的交互能力。眼控方式采用三维视线跟踪算法和动态眨眼识别来获取人的眼部动作,将获取的视线落点模拟成触屏点击位置,两次连续有意识地眨眼模拟成触屏的点击进入,凝视模拟成选中目标并结合视线落点移动,再次眨眼表示释放目标。利用透明显示器,将处理结果显示在汽车的前方玻璃上,以保证人的视线不离开前方,进而设计一个人与汽车交互的车载HUD系统。在眼控HUD系统中,重点需要解决的技术问题有两个:视线跟踪和眨眼识别。在视线跟踪模块中,本文提出了一种基于Intel Realsense 3D摄像头提供的立体环境下三维视线估计方法,解决因头部移动而影响视线估计的问题。视线估计中,首先,用两条视线标定斑点,通过计算Intel Realsense SDK提供的人脸的标志点与斑点的距离对斑点进行跟踪;然后,通过瞳孔识别算法,找到瞳孔的世界坐标,用斑点位置和瞳孔位置来估计视线;最后,对视线估计算法的结果与实际测量的结果进行对比与分析。在眨眼识别模块中,本文提出利用人眼的两个眼角距离与上下眼睑距离的比值变化来判断是否眨眼。这种动态识别方法通过实时跟踪眼睛状态来识别眨眼,识别稳定性较高。识别过程中采用灰度化、二值化、投影等图片处理算法采集数据,并设计适合光照变化的改进二值化算法,根据人的特征进行像素个数和浓度值来提取图片特征。最后对去噪算法和识别方法进行测试和分析。结果显示该算法在一定程度上能适应光照变化,保留眨眼识别所需的眼部信息。

关键词： 视线跟踪   逆二值化   系统实现   实时性  

摘要： 本文首先介绍了研究、应用视线跟踪技术的背景和必要性,回顾了视线跟踪技术在国内外的发展历程,同时简要叙述了目前主要的视线跟踪技术及其原理,并比较了这些技术的优缺点。然后由于准确定位和跟踪瞳孔是视线跟踪系统能够稳定工作非常关键的一步,因此本文特别针对戴眼镜时定位瞳孔困难的特点,提出了一种强鲁棒性的瞳孔实时检测和跟踪算法。该算法基于亮暗瞳技术,首先通过采集得到亮瞳和暗瞳图像,然后将这两幅图像分别逆二值化。接着过滤掉暗瞳逆二值化图像中不可能为瞳孔的区域,再将逆二值化后的暗瞳和亮瞳图像差分,最后在二值化的差分图像中对瞳孔进行粗定位。之后根据粗定位的瞳孔中心在暗瞳中选取感兴趣区域,然后在感兴趣区域中进行椭圆拟合和计算瞳孔中心以及光斑中心。此外,图像二值化阈值选取的好坏直接影响着后面目标特征的提取,而传统的图像二值化方法非常容易受阈值的影响,从而使得应用范围受到限制。因此,本文基于opencv中的自适应阈值分割方法,统计了图像中脸部眼睛周围区域的灰度均值和该函数最后一个参数的关系。最后每次分割暗瞳图像时,自适应阈值二值化函数的最后一个参数能够随着眼睛周围的平均灰度大小不同而改变。通过大量实验证明,该算法不仅在理想情况下运行稳定,而且在复杂的情况下,比如戴上眼镜后即使镜片镜架上存在类瞳孔的光斑以及改变光照或者改变人脸部距离相机距离,该算法依然能够很好的检测和跟踪瞳孔。最后在PC机中进行系统实现与性能测试。系统包括硬件平台和软件实现两个部分。其中硬件平台主要由USB3.0双路图像采集卡、相机、红外光源以及PC机组成。软件部分分为采集模块和应用程序模块,主要完成图像特征点提取和求解视线落点功能。通过实验,得出实验室单相机单光源系统的误差为0.8度左右。