关键词： 视频图像   视频监控系统   智能视频分析   安全管理部门   智能分析   模拟算法  

摘要： 视频监控是安全系统中最有效的手段之一,自上世纪九十年代大量应用以来,特别是随着平安城市等大型工程的建设,成千上万的视频图像将给广大工作人员带来无力管理和监看等问题。如何从海量图像中自动发现、分析有用的信息并立即进行处理,使视频监控系统重新成为防患于未然的重要手段,这已经成为安全系统建设和安全管理部门越来越关心的重要问题之一。

关键词： 视频内容分析   流形降维   流形学习   镜头边界分类   场景分析  

摘要： 随着计算机、网络和数字化技术的发展和普及，网上多媒体数据量急剧增加，计算机自动处理、分析、挖掘、检索网上海量多媒体数据(特别是视频数据)已经成为信息社会的迫切需求，视频信息处理和内容分析的研究迎来了巨大的发展机遇，也面临着许多挑战。\n 过去10多年来，人们在镜头边界检测、场景分析、视频摘要等许多方面取得很大研究进展，主要成绩有：研究了各种低级视觉特征(例如颜色、边缘、纹理等)的提取方法和表示能力；采用了多种数学模型(例如隐马尔科夫模型HMM、高斯混合模型GMM等)进行视频内容分析，以发现各种模型对视频信息的建模和表达能力；探索了各种基于机器视觉、模式识别的方法，以发现更加有效的时空特征，以及更适合视频特征提取与识别的方法。\n 在这些研究中，已经有很多方法能够进入实际应用，如镜头边界检测技术等。但是，在所取得的大量研究进展之背后，我们还应清楚地看到一些难以解决的问题，例如涉及高层语义的场景分析问题仍然没有切实可行的解决方案，因为语义鸿沟的存在，基于语义的视频内容分析的研究尚无重大进展。\n 近年来提出的一些非线性降维方法，例如流形降维方法，在视频内容分析中可能会发挥重要作用，因为它能更好地揭示隐藏在观察数据中的某些内在规律，这是传统线性方法(例如主分量分析PCA)无法做到的。\n 本文采用流形降维方法处理视频内容分析中两个实际问题：镜头边界分类和场景分析。我们用一种流形降维方法即拉普拉斯特征映射来发现镜头边界附近图像序列的时域变化模式，用图像序列在其低维流形空间的映射来表示镜头边界的特征，以期反映镜头边界的本质特性；同时，我们针对镜头边界分类问题的样本不平衡特性，设计了一种样本大小相关的KNN分类器，以学习每一种类型的镜头边界的模式。实验表明，流形空间表示的图像帧序列模式能很好地反映镜头内容变化的本质特性。\n 对于视频场景分析，至今也没有取得良好进展，其主要原因是语义鸿沟问题。本文提出了一种介于镜头和场景之间的结构特征，它能在一定程度上刻画类似场景的结构信息，但又不涉及高层语义信息提取的难题。我们用拉普拉斯特征映射来提取上述结构特征，把镜头映射到流形空间上，并进行编码，从而获得一维的变化特征曲线。通过对具体案例的观察分析，我们发现该曲线既能反映镜头特征，又隐含了一定程度的场景结构信息。\n 总之，本文探索了流形降维方法在镜头边境分类和场景分析方面的应用，实验表明流形降维方法对于视频内容分析是一个有用的工具。

关键词： 视频分析   视频摘要   压缩域  

摘要： 给出了压缩域视频摘要系统的结构框架,并对其中的压缩域视频镜头变换检测、关键帧提取和压缩域人脸检测等主要算法进行了讨论。

关键词： 视频内容分析   家用视频   质量评估   用户拍摄意图   视频相册   视频全拼图   自训练主动形状模型  

摘要： 随着便携式电子记录设备的普及，越来越多的家庭用户开始使用这些设备来记录有意义的生活经历和日常生活片断，家用视频的数据量呈现出快速增长的趋势。但是，家用视频具有视觉和声音质量较差、内容没有经过编辑等特点。为了实现对家用视频内容的自动、有效的组织和管理，减轻普通家庭用户浏览、检索和共享视频内容的负担，视频内容分析已经成为家用视频领域一个重要的研究课题。对家用视频内容分析方法进行研究，不仅能为家庭用户提供个性化的多媒体服务，而且有助于推动视频领域的语义建模、机器学习和信息检索等相关课题的发展。由此可见，家用视频内容分析方法研究具有重要的理论和应用价值。 本论文从三个不同层次研究了家用视频内容分析中的关键问题，即质量评估、内容理解和内容表征，目标是实现一个自动理解、表征和浏览的家用视频处理系统。由于家用视频视觉质量较差的特点，为实现对家用视频内容的过滤，质量评估成为内容分析的一个基本步骤，处于最底层。内容理解主要解决对视频内容中的语义概念进行建模，处于比质量评估更高的层次。而内容表征则是基于质量评估和内容理解的结果，对家用视频内容以最紧凑和有效的方式进行表征；作为家用视频的一种应用，它处于最高层。这三个层次组成了家用视频内容分析的一个相对完整的框架。本文对家用视频内容分析方法进行了深入的研究，取得了以下成果： (1) 对于质量评估问题，针对目前家用视频领域缺乏专门的视觉质量评估方法这一现状，提出了一个全新的、面向家用视频的时空质量评估方法，并深入研究了影响整体视觉质量的几个关键时空因素以及这些因素和整体视觉质量的内在关系。与传统的基于单帧图像的质量评估方法不同的是，采用子镜头这种视频时序结构单元作为质量评估的基本单位。在子镜头上分析了一组影响视觉质量的时空因素，包括不稳定性、骤动性、失真性、模糊性、亮度性和方向性，并提出三种方法将这些时空因素融合到整体视觉质量的评估准则中，分别是基于用户研究、基于规则和基于学习的方法。为实现对视频内容的过滤，提出了一个可扩展的、基于视觉质量的家用视频摘要系统，目的是在保证视频摘要信息性的同时，保证其视觉质量最优。与基于用户注意力的视频摘要系统的对比实验表明，本文提出的基于质量的视频摘要系统对家用视频具有更好的适用性。 (2) 对于内容理解问题，从“用户拍摄意图”这一全新的角度来研究家用视频内容分析方法，并参考心理学上的意图产生机制，建立了对用户拍摄意图进行建模和挖掘的完整的理论和系统框架。首先，基于心理学上的意图机制和广泛的用户研究实验，定义了一组用户拍摄意图的概念，包括“静态场景”、“动态事件”、“特写画面”、“美丽风景”、“转换记录”、“长时间记录”和“随意记录”等。提出了一个对用

关键词： 多媒体技术   镜头边界检测   视频索引   视频结构化分析   视频内容分析   视频浏览   视频检索  

摘要： 随着光电技术、计算机技术、网络技术和信息技术的迅速发展，海量多媒体信息的浏览和检索成为多媒体信息研究的热点。集图像、声音、文本于一体的视频信息是应用最多的一种多媒体信息，也是多媒体信息研究的重点之一。 在国内外众多研究者的努力下，以数字图像处理、数字视频处理为核心的视频检索技术取得了长足的进展。但是，高效、实用的视频检索技术研究和系统开发仍是人们面临的一项难题。 本文在回顾总结视频检索背景和相关工作的基础上，研究了视频检索中的视频镜头分割和视频结构索引两项关键技术，设计并实现了基于内容的视频检索系统。具体内容包括： 1．提出了一种新的镜头分割算法：基于机器学习的压缩域镜头分割。在视频数据中，编码生成的运动矢量、残差能量等差分预测信息可以很好的体现视频图像特征变化。结合MPEG编码的多尺度帧结构特性和差分预测特征，本文提出了压缩域中一种新的镜头分割算法，该方法的基本思路是：应用机器学习的方法在MPEG编码帧的多个尺度上学习差分预测特征的变化规律，以此为模板检测视频序列中的镜头边界，实现镜头边界的快速准确检测。实验表明，该方法在确保检测精度的情况下大大提高了检测效率。 2．进一步完善视频结构索引的机制：为了能够快速随机地访问视频数据，就需要为视频的结构信息建立索引。利用视频数据的编码结构信息和内容结构信息，文中实现了基于数据库的视频结构索引。基于数据库的视频结构索引解决了实时视频浏览和检索的问题。 3．视频检索系统的设计与实现：视频检索系统的实现是一项细致、复杂而又庞大的工程，其间涉及到许多关键技术，比如视频流的解析、视频信息的建模表示、浏览检索机制的建立等。视频信息的建模表示指视频数据的结构和内容信息的挖掘与描述，比如镜头分割、视频索引、视频图像的特征提取、字符检测识别、人脸检测识别、语音识别等。通过积累实验室多年来的研究成果和开发技术，本文设计并实现了一个功能全面、性能高效的

关键词： 文字检测   文字识别   视频内容分析   小波特征   SVM分类   图像分割  

摘要： 图像和视频中的文字是一种包含丰富信息的对象,对于视频内容分析、检索,图片内容理解等研究领域有重要作用。不同于其他典型模式(如单个汉字字符模式、人脸模式等),成行的文字在大小、灰度、形状、颜色等属性上具有很强的不一致性,在很多情况下文字还处于复杂的背景中,这给文字的检测和识别带来了巨大的困难。而且传统的使用机器学习方法直接检测图像块模式的方法不适合于文字检测问题。因此,本文基于由粗到精的检测思想,提出了适用于几种典型文字((1)视频叠加文字,(2)自然场景图像中的文字,(3)单个数字字符)的一个通用检测框架,在文字检测过程中,我们总是依赖于最可靠的特征进行文字粗定位,然后融合其他特征对候选文字进行验证。这样既提高了检测速度,又能够保证高的检测精度。在三种具体样例上,详细的分析了由粗到精的思想对于文字检测的有效性和重要性。在本文的总结和扩展中,讨论了将由粗到精的检测方法推广到检测图像中的其他纹理对象的可行性。 对于视频帧中的叠加文字,作者使用了多尺度的小波特征进行检测。在这个研究中,我们着重研究了如何融合、选择有效的底层特征用于区分文字行和非文字行模式。首先,在文字行的粗定位程序中使用了小波能量特征和全局直方图分析的阈值确定方法检测候选文字象素,然后提出了一种“基于密度”的区域增长方法将离散的像素连接成为候选文字区域。对于检测到的候选文字区域,使用结构特征分割为单个的文字行。在精确分类过程中,融合了三种纹理特征和一种结构特征来表达文字行模式,使用了前向特征选择算法进行了融合特征的筛选。最后,基于选择的纹理特征,使用了支持向量机(SVM)方法分类文字行和非文字行模式。实验表明,算法能够快速,鲁棒的检测视频叠加文字。视频文字的背景往往是复杂的,基于图像灰度信息的OCR软件不能取得好的识别效果。为此,作者提出了一种从复杂背景中分割文字前景的算法。在此方法中,作者基于Canny边缘检测结果提出了一种采样规则,并且使用混合高斯模型(GMMs)对于采样像素在色度-亮度二维特征空间内建立颜色模型,然后使用颜色模型准确地检测所有前景像素。这种先采样后检测的方法,使得文字分割完全自动并且具有很好的效果。 对于自然场景图像中的文字,在由粗到精的检测框架内,作者融合了颜色、小波直方图、OCR识别结果统计特征。并且研究了如何从复杂的图像中分割和定位文字行模式和对于发生了仿射形变的文字行进行恢复的方法。在此过程中,对图像分割技术、区域布局分析技术在文字行定位过程中的作用进行了深入的研究。对本文提出的由粗定位到精分类的检测框架进行了深化和验证。对于仿射形变文字行的恢复,利用了平面间的Homography运算,不需要任何摄像机参数。 最后,作者研究了一种更为难于检测的文字模式——具有非刚体形变的字符(运动衫号码)。在这种字符的检测中,主要的困难来源于文字的扭曲变形,这种变形是非刚体

关键词： 视频内容分析   语义对象   检测跟踪   运动轨迹   置信度  

摘要： 针对足球视频特点,提出了一种基于运动轨迹的足球对象检测跟踪方法。由于直接识别难度较大,文中采用间接检测的思想,由粗至细对非目标区域进行逐次排除。绿色球场区域首先被滤除,从而形成初始的候选对象划分。根据足球的一些简单颜色形状特征范围,一部分明显不符合足球特性的候选对象在粗选中也被排除。对于进入细选的候选对象,用置信度来衡量它与足球的精确相似程度。然后再结合轨迹的重要约束,选择相似度最高的候选对象作为最后的检测跟踪结果。六段视频序列的实验结果,充分说明了该检测跟踪框架的有效性和鲁棒性。

关键词： 视频内容分析   镜头分割   场景分割   代表帧   视频挖掘   视频内容分析   系统结构   结构设计   应用   基于内容的视频检索   结构分析   视频分析   运动分析   代表帧  

摘要： 本文提出了一种视频内容分析的系统结构,重点分析了几种视频分析方法视频结构分析,代表帧提取和视频运动分析,并讨论了在视频内容分析基础上的应用,即基于内容的视频检索、视频和视频挖掘。

关键词： 视频信息检索   多媒体数据库   视频内容分析   主持人镜头检测   视频数据库检索  

摘要： 提出了一种电视新闻节目主持人镜头的自动检测方法。该算法可用于新闻节目的自动内容分析和检索。方法分为两步。在第一步中,把屏幕分为两部分:左屏幕和右屏幕,并分别加以检测,然后依据主持人镜头在一个新闻节目中频繁重复出现的特性对候选主持人镜头进行聚类。在第二步中,根据主持人镜头出现的时空特性,利用主颜色直方图检测出正确的主持人镜头。实验结果表明该方法有很高的正确率和适应性。该方法可用于新闻节目内容的自动分析和检索。

关键词： 视频内容分析   发展趋势   检索技术   研究现状   典型系统   视频检索   语义理解   结构化  

摘要： 介绍了当前视频内容分析和检索技术中结构化、语义理解和视频检索的现状研究以及典型系统,并且也指出了这些技术的未来发展趋势。