关键词： 视频信息检索   多媒体数据库   视频内容分析   标题条检测   视频数据库检索  

摘要： 提出了一种电视新闻节目中标题条自动检测及文字内容提取的算法。算法分为两步:第一步,根据标题条的形状特征对其进行快速检测,并根据文字在标题条中的位置等先验信息提取出文字区域图像;第二步,对文字图像进行预处理,并利用常用的OCR软件对所得到文字图像进行识别,得到标题条的文字信息可作为该新闻场景的内容描述。实验结果表明,该方法有较高的准确率和适应性,可用于新闻节目内容的自动分析和检索。

关键词： 视频内容分析   隐马尔可夫模型   事件检测   关键帧提取   MPEG-7  

摘要： 随着多媒体技术以及Internet的高速发展，基于内容的视频检索越来越受到人们的关注。对视频内容进行分析和表达作为其中一项关键性技术，已成为了研究的热点问题。本文主要针对语义层次上的视频内容结构化分析和表达进行了研究。首先，介绍了视频内容分析中的几个基本问题和主要方法，并将现有的基于概率模型，尤其是隐马尔可夫模型的分析方法与传统方法进行了比较和分析；接着，介绍了变换隐马尔可夫模型，在此基础上对原有算法中变换矩阵的选取算法进行改进，提出了一种新的种语义事件检测算法，并对对各个事件中的关键帧进行了提取；最后，结合以上新方法，提出了一种基于MPEG-7视频语义内容的层次化描述方案。实验结果表明，本文提出的视频内容分析及描述方案，能够有效地对视频从语义层次上进行处理和表示，且与人们的主观认识较为接近，具有较大的应用价值和前景。

关键词： 多媒体技术   视频内容分析   视频流化   镜头边界检测   运动分析   视频可扩展编码   错误隐藏   视频转码   速率控制  

摘要： 随着Internet普及和数字音视频技术发展,出现了许多新的网上服务,例如网络电视、网络游戏、网上求医和网络教育等。可以预见,传统电视将很快被网络电视所取代,人们收看电视将从传统被动接收频道(即直播应用,或PUSH应用)转变为主动选择内容(即点播应用,或PUSH应用)。为了适应用户需求和应用模式的变化,在网络电视领域,就需要研究音视频流化、可靠组播、音视频内容的结构化分析、基于内容的音视频信息检索等技术。 本论文以网络电视的两种基本应用方式—直播应用和点播应用为主线,研究了网络电视所涉及的若干关键技术。本文在研究视频内容的结构化分析,视频流化传输的基础上,对其中的一些关键技术,如:镜头边界检测、视频流中的运动分析、视频可扩展编码、错误隐藏、视频转码等问题做了深入研究,提出了一些新的思想和方法。具体内容包括: 1.提出了压缩域中叠化(Dissolve)镜头的快速检测算法:由于叠化镜头是发生镜头切换的两个相邻镜头在时间和空间上的融合,叠化镜头是各种类型的镜头切换中最难检测的一种。本文根据叠化镜头内部预测帧误差能量分布特点和运动矢量分布特点,采用滑动窗口方法,提出一种在压缩域中检测叠化镜头的新算法,它可以准确地定位出大部分叠化镜头。 2.提出了压缩视频流中主要运动的定性分析算法:根据运动矢量的分布特性、运动矢量之间的相对关系特性等,提出了一种压缩视频流中主要运动的定性分析算法。实验结果表明该算法具有速度快、精度高、鲁棒性好等特征,非常适合于视频信息检索方面的应用。 3.实现了基于频域的视频可扩展编码方法:将视频数据根据重要性划分成不同的层,分别用不同服务质量的信道传送是提高视频流化传输质量的一个有效方法。本文对MPEG-2标准推荐的频域可扩展编码方法一数据分割(Data Partition)方法进行了部分改进,减小了数据分割所带来的数据冗余,并给出了一个基本层和增强层数据同步的具体方法。 4.提出基于镜头边界检测的时空自适应错误隐藏算法:时域错误隐藏计算开销小,隐藏效果好,是常用的错误隐藏方法。但是在镜头的边界,时域错误隐藏会失效。本文提出一种新的错误隐藏算法,它利用视频解码器在解码过程中得到的副产品信息,判断当前发生错误的帧是否是镜头边界。如果当前帧是镜头边界,则使用空域错误隐藏方法;如果不是边界,则使用时域错误隐藏方法。试验结果证明,所提算法具有速度快,系统开销小、隐藏效果好等优点,非常适合于

关键词： 视频分析   视频检索   体育视频   语义事件检测   基于规则   基于统计   精彩事件   动态贝叶斯网络   多模式  

摘要： 随着视频数据的飞速膨胀,如何找到所需的信息已经成为一个急需解决的问题。本论文面向体育视频领域,研究基于内容的视频分析和检索技术。其目的就是通过对视频内容进行计算机处理、分析和理解建立结构和索引以方便用户获取,具有重要的理论意义和应用前景。 体育视频分析技术的核心是对语义事件及其相互关系的分析,这是一个复杂而又富有挑战性的问题,其本质在于适于计算机处理的底层特征与适于人类理解的高层语义之间存在巨大的鸿沟。我们的研究主要集中在这一方向上,探讨结合领域知识对视频这种时空多维信号进行模式分析的基本方法。在论文中,我们首先分析了一类特殊的语义事件,即所谓精彩事件。然后针对更一般的语义事件,分别研究了基于规则和基于统计的分析方法。 体育视频中的精彩事件没有明确的含义,只是表示比赛中观众可能感兴趣或比较重要的片断。已有的方法使用视觉或听觉特征建立主观模型来检测精彩片断,但是由于底层特征不能充分表达人的情绪感受,很难达到较高准确度。观察到精彩事件之后会出现重放的慢镜头,我们提出了一种基于重放的精彩事件检测方法。该方法综合颜色特征和摄像机运动分析,通过镜头边界检测、重放标志识别和运动模式匹配,实现了精彩事件的自动提取。实验表明我们的方法是有效的,其中查准率达到92%,查全率达到98%,高于主观模型方法75%左右的查全率和查准率。 借鉴自然语言处理的基本思想,我们研究了基于规则的体育视频分析方法,提出了一种基于文法的视频分析系统。首先,我们将视频流分解为基本的镜头序列;然后,通过事件检测,对每个镜头赋予一个语义标注形成记号序列;最后,再通过语法解析和校验,为视频生成目录层次结构。与文献中已有的视频分析系统相比,我们的系统不仅能够标注语义事件,而且能够识别出体育比赛的层次结构,更好的满足了用户的需求。 基于规则方法的缺点是需要人为根据领域知识设定规则。为此,我们研究了基于统计的方法,提出了一种采用动态贝叶斯网络从数据集中自动学习知识并进行统计推理的方法。在此基础上,为了有效融合多模式信息和多层次上下文约束,我们提出了一个体育视频分析的统一概率框架。基于该框架,我们构建了三种不同的统计模型,并进行了分析比较。实验表明,通过多模式融合,我们的方法能够更好地处理体育视频中的语义事件。

关键词： 视频概要   视频内容分析   类型   代表性  

摘要： 针对视频摘要产生过程,从结果、信息源、特征化级别和粒度四个方面,提出了一种分类方法,给出了若干实例进行综合评价,侧重反映不同视频概要所处的技术层次与水平。在此基础上,分析了研究现状,给出了进一步研究的方向。

关键词： 视频摘要   视频内容分析   音频内容分析   实体-描述-效用”模型   视频检索  

摘要： 数字视频属于国家重点发展的信息产业领域，随着宽带网络和数字电视的迅速发展，视频点播、交互电视、视频网站等应用需求将越来越广泛，这些应用都将共同面临大量涌现的数字化视频数据。但是，视频数据线性的、非结构化的数据形式使得视频浏览的效率非常低下，而应用视频摘要技术则可以缩减视频的数据量，提高检索效率，节省浏览时间，对基于视频的各种应用具有重要意义。 在该研究领域，本文对视频摘要技术的概念、特性要求和实现方法进行了较为完整的总结。在综合分析现有视频摘要技术的基础上，通过归纳和抽象，得出了视频摘要技术的一般流程，即“视频切分—内容提取—重要度评判—合成摘要”。对静态视频摘要和动态视频摘要的生成提出了新的方法。 本文使用快速子镜头检测算法来对视频的图像信息进行分析，关键帧提取利用子镜头检测的结果，同时引入直方图颜色丰富系数、模糊系数和人脸数等指标来提高选取关键帧的准确度。以此实现对视频内容具有较好描述能力的静态视频摘要。 结合视频摘要的一类重要应用—电影剪辑，研究影片剪辑的特性要求及影片剪辑生成的相关问题。充分利用各种多媒体融合分析手段，提出一种适用于故事类影片、面向事件的影片摘要生成方法。研究场景重要程度的量化方法，提出综合感人程度、激烈程度、文字出现、人脸出现、声音特征、镜头长度等多种因素的场景重要程度评价算法。 针对视频摘要方法“缺乏一个一般性的指导模型，以及缺乏稳定的中间信息载体”的普遍缺陷。在视频摘要“实体—描述—效用”模型的基础上，研究以摘要为目的的视频内容描述方法，以及基于描述的效用计算。以新的研究角度研究视频摘要问题，将视觉复杂的度量与被理解时间联系起来，利用镜头语法规则来缩减场景的内容。提出了一个统一的用于使信息容量和一致性最大化的效用函数框架。

关键词： 多媒体,基于内容,音频辅助,视频,文本分类  

摘要： 纵观多媒体研究，在多媒体自动内容处理方面变得越来越重要。自动视频内容分割、视频类型识别、自组织的视频库都是研究者的首选方向。 但是，目前仅仅根据视频数据来提取视频内容难度很大。单独依靠现有的视频处理技术不能准确地分割视频场景和对视频内容进行分类。而使用对应的音频和文字信息处理来辅助视频流分析，就可以较好地解决视频场景分割和视频内容分类的问题。 而且，近几年来，音频处理技术发展迅速，语音识别技术已趋于成熟，对于大词汇量连续语音识别率很高。利用语音识别技术和自然语言处理技术对音频流中的语音段进行处理，就可以解决音频内容的提取和分类问题，这样就更有利于检索的进行，进而可以对所对应的视频段进行内容分类，这些都为我们的研究创造了条件。 本文提出了一种实用而高效的基于内容的音频辅助视频内容分析技术，并实现了较完善的音频辅助新闻视频场景分割和新闻视频内容分类。 1．通过对音频特性的研究，详细分析了音频的物理和生物学特征，在经典的短时分析的基础上，提出了一系列音频特征的提取方法。 2．通过对音频数据特点的研究，根据辅助视频分析的需要，提出了一套音频数据的基于内容的分析方法，包括长时间音频分类与分段，说话人改变探测和语音文字内容提取。 3．结合音频分析方法，提出了一套音频辅助视频分析方法，将视频和音频信息结合起来，实现了有更好效果的视频场景探测和故事切分方法。 4．通过文本分类方法，实现了视频数据基于内容的分类方法，使得视频媒体的浏览和检索在基于内容方面有更好的效果。

关键词： 视频检索   镜头内容分析   镜头相似性度量   场景结构提取   图像帧   图像检索  

摘要： 提出了一种镜头内容分析方法及其在视频检索中的两个应用:镜头检索与场景结构提取.为了刻画一个镜头的内容变化,首先引入两个新的内容描述子:主色直方图和空间结构直方图.主色直方图能够捕捉那些持续时间最长的颜色,而这些颜色是这段视频所关注的对象或背景的主要颜色.从颜色块图提取的空间结构直方图是描述图像空间信息的一组特征.一个变化较大的镜头可以划分为几个内容一致的子镜头,两个镜头的相似性可以从对应子镜头的相似性计算得到.镜头相似性度量可以直接用于镜头检索,还可用于场景结构提取.另外,还提出分裂与合并力量竞争的场景结构提取方法.在大容量视频数据库上进行实验所得结果证实了该方法在镜头检索和场景提取的优异表现.

关键词： 电视新闻节目   播音员镜头检测算法   视频信息检索   多媒数据库   视频内容分析  

摘要： 提出一种播音员镜头自动检测算法.利用播音员镜头频繁出现的统计规律,基于自动聚类方法找出候选播音员镜头,然后根据播音员镜头出现的时空特征,用神经网络分类器对候选播音员镜头进行确认,从而实现对播音员镜头的检测.该算法是自动分析电视新闻节目内容的重要手段之一,对建立视频数据库索引是必不可少的.实验结果表明,该方法具有准确、快速的特点,可有效地应用于视频检索系统.

关键词： 计算机视觉   图像理解   视频信息   多媒体   自动视频内容分析   信息处理   视频图像序列  

摘要： 1.概述 多媒体技术和网络技术的向前发展导致了大量视频信息的出现,如何对这些视频信息进行有效的组织、管理和检索便成了一个重要的研究课题.视频媒体是一类二进制巨型对象(BLOB对象),它拥有巨大的数据量,但内容却有很大的冗余.数字视频通常被当作一种不透明的线性比特流进行处理.例如,为了查找一场足球比赛中的所有射门镜头,就需要对视频内容进行从头到尾的浏览.