关键词： 肤色检测   音频分割   支持向量机   视频内容识别  

摘要： 随着计算机和互联网技术的飞速发展,多媒体将越来越成为信息的主要载体进行传播。这在提升人们生活质量的同时,也带来了新的风险,尤其是对青少年来说,使得他们接触到某一类带有色情内容的视频的可能性更大、渠道更多。本文中,我们将该类带有色情内容的视频称为不良视频。因此,本文主要针对这类视频的特点进行研究,提出一个识别并实时过滤该类视频的方案,在特定类视频内容的分析技术上做出了一些新的尝试。 基于视频的独特性,我们选择充分利用其信息量,采用结合音视频双重特征的分析方法,在视觉域和听觉域分别展开研究,分别针对该类特殊视频,分析并提取其区别于正常视频的特征参量,以用于后续的分类,最后综合利用两方面的分析结果,给出对视频内容的判断。 在视觉域,我们主要针对肤色展开研究,首先通过颜色空间的变换、光线补偿、域值确定、纹理分析等技术提取出视频帧图像的皮肤掩码图像,之后研究敏感图像区别于正常图像的肤色信息分布规律,以提取有效的特征向量。在听觉域,我们主要针对敏感女声展开研究,通过分析并利用音频短时特征,实现对音频的分段,以提取出所有的可疑音频段,之后研究敏感女音段区别于正常音频段的特征,提取出有效的段特征向量。对提取出的特征向量,选择支持向量机(SVM)对其进行学习和分类,分别实现对图像帧和音频段的识别。 最后,采用基于COM架构的DirectShow技术,对视频流进行实时的分析。首先进行音视频流的分离,并分别进行分析,在得到上文所提

关键词： 视频分析   智能化   安全防范系统   安保系统   操作员   监视器   监视屏  

摘要： 1智能化视频分析(1)为什么使用视频分析?视频被认为是整个安保系统中最重要,也是最有效的一个工具.目前的安全防范系统中,监视器前的操作员是检测安保系统是否受到破坏的关键点,其需要通过观察监视屏并快捷地作出反应.

关键词： media server   analysis tool   sports video   content analysis   semantic   feature extraction   real-time  

摘要： With the growing storage capacities of hard-disks and optical discs, large consumer video databases are gradually developing. The large effective storage capacity using compressed video leads to the application of fast storage and retrieval functions, to enable quick user-friendly searching for and access to specific parts of the video data. We explore the feasibility of a near real-time semantic sports video analyzer for an experimental consumer media server. This tool is able to automatically extract and analyze key events in a video sequence. The analyzer employs several visual cues and a model for real-world coordinates, so that key parameters (e.g. speed and position) of a player can be determined with sufficient accuracy. This special data can be stored as metadata, thereby facilitating intelligent searching of events. The tool consists of four processing steps: (1) playing frame detection, (2) court extraction, as well as a 3-D camera model, (3) player segmentation and tracking, and (4) event-based high-level analysis exploiting visual cues extracted in the real-world. Our system has been evaluated in a new distributed A V content analysis system for home entertainment. We show attractive experimental results indicating the system efficiency and classification skills, thereby offering new analysis and search/retrieval tools to the consumer.

关键词： 基于内容的检索   视频内容分析   MPEG-7   特征提取  

摘要： 设计了符合多媒体内容描述接口协议MPEG-7(Multimed ia Content Descrip-tion Interface)标准的电影视频检索系统SupEye,包括特征提取、数据存储以及特征检索3部分.特征提取负责提取视频特征与摘要,通过分析电影视频特点,给出了视频结构分析及摘要提取的假设、流程及算法.数据存储负责视频与特征数据的存储,考虑到用户检索历史对检索性能的影响,将MPEG-7多媒体特征描述文件分为视频特征描述文件与用户接口描述文件两类.特征检索构建了一个用于多视频特征检索的3层体系结构(表示层、逻辑层和事务层)并给出了检索结果融合流程.SupEye系统在分析MPEG-7标准的基础上解决了视频特征与用户检索特征的分离、样例查询中的特征分析以及多模态查询的结果融合问题.

关键词： 视频内容分析   内容表示   显著性分析   语义单元   事件检测   关键帧提取  

摘要： 视频内容分析是近年来非常活跃的一个研究方向，其基本研究目的是研制自动化的算法和系统，以便于实现对视频信息的有效组织、管理和再利用。视频内容表示是视频分析系统中的一项重要内容，已成为解决低层特征和高层语义之间的语义鸿沟问题的主要途径之一，其研究目的是通过对视频数据的处理和分析，建立具有语义表征性的内容表示模式，进而实现对视频内容的表达和描述。鉴于其重要地位和功能，论文针对视频内容表示进行了研究。\n 论文基于视觉认知理论的有关研究成果，构建面向感知的内容表示机制，主要包括三个方面：基于语义单元、基于事件和基于关键帧的内容表示的研究，提出了有效的算法，并用实验验证了这些算法的有效性。\n 在基于语义单元的表示上，将注意力机制引入视频信息的分析，针对视频序列中的图像帧，提出了一种有效的视频信息显著性分析方法，用于提取符合感知过程中受注意程度高的区域，即显著区域。\n 由于视频信息的时空特性，单幅图像帧的显著区域不能满足视频语义分析的要求。为了提取更为有效的语义单元，除了需要空域的区域分割外还需要进行时域的分析以获得空域和时域两方面的语义信息。通过显著区域的时空特征一致性分析，论文提出了一种基于时空显著单元的提取算法，得到一个时间段内具有内容一致性的时空区域，即时空显著单元，其内容表征能力在视频序列匹配的应用实验中得到验证。\n 在基于事件级的内容表示上，根据人对事件的视觉感知特点，论文构建了一个事件级内容表示模型。并在此模型基础上，针对体育视频中的特定语义事件，提出了一种有效的语义事件检测方法。\n 在基于关键帧的内容表示上，从度量视频序列内容变化程度这个问题出发，提出了一种基于内容冗余度和语义相关性的关键帧提取算法，用以简明扼要地总结视频信息的主要内容，为用户提供了概观视频内容的途径和非线性浏览视频的方式。

关键词： 视频图像   视频监控系统   智能视频分析   安全管理部门   智能分析   模拟算法  

摘要： 视频监控是安全系统中最有效的手段之一,自上世纪九十年代大量应用以来,特别是随着平安城市等大型工程的建设,成千上万的视频图像将给广大工作人员带来无力管理和监看等问题。如何从海量图像中自动发现、分析有用的信息并立即进行处理,使视频监控系统重新成为防患于未然的重要手段,这已经成为安全系统建设和安全管理部门越来越关心的重要问题之一。

关键词： 视频内容分析   流形降维   流形学习   镜头边界分类   场景分析  

摘要： 随着计算机、网络和数字化技术的发展和普及，网上多媒体数据量急剧增加，计算机自动处理、分析、挖掘、检索网上海量多媒体数据(特别是视频数据)已经成为信息社会的迫切需求，视频信息处理和内容分析的研究迎来了巨大的发展机遇，也面临着许多挑战。\n 过去10多年来，人们在镜头边界检测、场景分析、视频摘要等许多方面取得很大研究进展，主要成绩有：研究了各种低级视觉特征(例如颜色、边缘、纹理等)的提取方法和表示能力；采用了多种数学模型(例如隐马尔科夫模型HMM、高斯混合模型GMM等)进行视频内容分析，以发现各种模型对视频信息的建模和表达能力；探索了各种基于机器视觉、模式识别的方法，以发现更加有效的时空特征，以及更适合视频特征提取与识别的方法。\n 在这些研究中，已经有很多方法能够进入实际应用，如镜头边界检测技术等。但是，在所取得的大量研究进展之背后，我们还应清楚地看到一些难以解决的问题，例如涉及高层语义的场景分析问题仍然没有切实可行的解决方案，因为语义鸿沟的存在，基于语义的视频内容分析的研究尚无重大进展。\n 近年来提出的一些非线性降维方法，例如流形降维方法，在视频内容分析中可能会发挥重要作用，因为它能更好地揭示隐藏在观察数据中的某些内在规律，这是传统线性方法(例如主分量分析PCA)无法做到的。\n 本文采用流形降维方法处理视频内容分析中两个实际问题：镜头边界分类和场景分析。我们用一种流形降维方法即拉普拉斯特征映射来发现镜头边界附近图像序列的时域变化模式，用图像序列在其低维流形空间的映射来表示镜头边界的特征，以期反映镜头边界的本质特性；同时，我们针对镜头边界分类问题的样本不平衡特性，设计了一种样本大小相关的KNN分类器，以学习每一种类型的镜头边界的模式。实验表明，流形空间表示的图像帧序列模式能很好地反映镜头内容变化的本质特性。\n 对于视频场景分析，至今也没有取得良好进展，其主要原因是语义鸿沟问题。本文提出了一种介于镜头和场景之间的结构特征，它能在一定程度上刻画类似场景的结构信息，但又不涉及高层语义信息提取的难题。我们用拉普拉斯特征映射来提取上述结构特征，把镜头映射到流形空间上，并进行编码，从而获得一维的变化特征曲线。通过对具体案例的观察分析，我们发现该曲线既能反映镜头特征，又隐含了一定程度的场景结构信息。\n 总之，本文探索了流形降维方法在镜头边境分类和场景分析方面的应用，实验表明流形降维方法对于视频内容分析是一个有用的工具。

关键词： 视频分析   视频摘要   压缩域  

摘要： 给出了压缩域视频摘要系统的结构框架,并对其中的压缩域视频镜头变换检测、关键帧提取和压缩域人脸检测等主要算法进行了讨论。

关键词： 文字检测   文字识别   视频内容分析   小波特征   SVM分类   图像分割  

摘要： 图像和视频中的文字是一种包含丰富信息的对象,对于视频内容分析、检索,图片内容理解等研究领域有重要作用。不同于其他典型模式(如单个汉字字符模式、人脸模式等),成行的文字在大小、灰度、形状、颜色等属性上具有很强的不一致性,在很多情况下文字还处于复杂的背景中,这给文字的检测和识别带来了巨大的困难。而且传统的使用机器学习方法直接检测图像块模式的方法不适合于文字检测问题。因此,本文基于由粗到精的检测思想,提出了适用于几种典型文字((1)视频叠加文字,(2)自然场景图像中的文字,(3)单个数字字符)的一个通用检测框架,在文字检测过程中,我们总是依赖于最可靠的特征进行文字粗定位,然后融合其他特征对候选文字进行验证。这样既提高了检测速度,又能够保证高的检测精度。在三种具体样例上,详细的分析了由粗到精的思想对于文字检测的有效性和重要性。在本文的总结和扩展中,讨论了将由粗到精的检测方法推广到检测图像中的其他纹理对象的可行性。 对于视频帧中的叠加文字,作者使用了多尺度的小波特征进行检测。在这个研究中,我们着重研究了如何融合、选择有效的底层特征用于区分文字行和非文字行模式。首先,在文字行的粗定位程序中使用了小波能量特征和全局直方图分析的阈值确定方法检测候选文字象素,然后提出了一种“基于密度”的区域增长方法将离散的像素连接成为候选文字区域。对于检测到的候选文字区域,使用结构特征分割为单个的文字行。在精确分类过程中,融合了三种纹理特征和一种结构特征来表达文字行模式,使用了前向特征选择算法进行了融合特征的筛选。最后,基于选择的纹理特征,使用了支持向量机(SVM)方法分类文字行和非文字行模式。实验表明,算法能够快速,鲁棒的检测视频叠加文字。视频文字的背景往往是复杂的,基于图像灰度信息的OCR软件不能取得好的识别效果。为此,作者提出了一种从复杂背景中分割文字前景的算法。在此方法中,作者基于Canny边缘检测结果提出了一种采样规则,并且使用混合高斯模型(GMMs)对于采样像素在色度-亮度二维特征空间内建立颜色模型,然后使用颜色模型准确地检测所有前景像素。这种先采样后检测的方法,使得文字分割完全自动并且具有很好的效果。 对于自然场景图像中的文字,在由粗到精的检测框架内,作者融合了颜色、小波直方图、OCR识别结果统计特征。并且研究了如何从复杂的图像中分割和定位文字行模式和对于发生了仿射形变的文字行进行恢复的方法。在此过程中,对图像分割技术、区域布局分析技术在文字行定位过程中的作用进行了深入的研究。对本文提出的由粗定位到精分类的检测框架进行了深化和验证。对于仿射形变文字行的恢复,利用了平面间的Homography运算,不需要任何摄像机参数。 最后,作者研究了一种更为难于检测的文字模式——具有非刚体形变的字符(运动衫号码)。在这种字符的检测中,主要的困难来源于文字的扭曲变形,这种变形是非刚体

关键词： 视频内容分析   家用视频   质量评估   用户拍摄意图   视频相册   视频全拼图   自训练主动形状模型  

摘要： 随着便携式电子记录设备的普及，越来越多的家庭用户开始使用这些设备来记录有意义的生活经历和日常生活片断，家用视频的数据量呈现出快速增长的趋势。但是，家用视频具有视觉和声音质量较差、内容没有经过编辑等特点。为了实现对家用视频内容的自动、有效的组织和管理，减轻普通家庭用户浏览、检索和共享视频内容的负担，视频内容分析已经成为家用视频领域一个重要的研究课题。对家用视频内容分析方法进行研究，不仅能为家庭用户提供个性化的多媒体服务，而且有助于推动视频领域的语义建模、机器学习和信息检索等相关课题的发展。由此可见，家用视频内容分析方法研究具有重要的理论和应用价值。 本论文从三个不同层次研究了家用视频内容分析中的关键问题，即质量评估、内容理解和内容表征，目标是实现一个自动理解、表征和浏览的家用视频处理系统。由于家用视频视觉质量较差的特点，为实现对家用视频内容的过滤，质量评估成为内容分析的一个基本步骤，处于最底层。内容理解主要解决对视频内容中的语义概念进行建模，处于比质量评估更高的层次。而内容表征则是基于质量评估和内容理解的结果，对家用视频内容以最紧凑和有效的方式进行表征；作为家用视频的一种应用，它处于最高层。这三个层次组成了家用视频内容分析的一个相对完整的框架。本文对家用视频内容分析方法进行了深入的研究，取得了以下成果： (1) 对于质量评估问题，针对目前家用视频领域缺乏专门的视觉质量评估方法这一现状，提出了一个全新的、面向家用视频的时空质量评估方法，并深入研究了影响整体视觉质量的几个关键时空因素以及这些因素和整体视觉质量的内在关系。与传统的基于单帧图像的质量评估方法不同的是，采用子镜头这种视频时序结构单元作为质量评估的基本单位。在子镜头上分析了一组影响视觉质量的时空因素，包括不稳定性、骤动性、失真性、模糊性、亮度性和方向性，并提出三种方法将这些时空因素融合到整体视觉质量的评估准则中，分别是基于用户研究、基于规则和基于学习的方法。为实现对视频内容的过滤，提出了一个可扩展的、基于视觉质量的家用视频摘要系统，目的是在保证视频摘要信息性的同时，保证其视觉质量最优。与基于用户注意力的视频摘要系统的对比实验表明，本文提出的基于质量的视频摘要系统对家用视频具有更好的适用性。 (2) 对于内容理解问题，从“用户拍摄意图”这一全新的角度来研究家用视频内容分析方法，并参考心理学上的意图产生机制，建立了对用户拍摄意图进行建模和挖掘的完整的理论和系统框架。首先，基于心理学上的意图机制和广泛的用户研究实验，定义了一组用户拍摄意图的概念，包括“静态场景”、“动态事件”、“特写画面”、“美丽风景”、“转换记录”、“长时间记录”和“随意记录”等。提出了一个对用