关键词： 智能视觉监控   视频检索   语义模型   多目标跟踪   神经网络  

摘要： 近年来,基于视觉的数字摄像机系统已广泛应用于监控领域,从而产生了大量的视频数据需要及时处理和存储.在这个背景下,如何发展高效率和智能化的视频分析与检索技术成为了重要的问题.此外,随着信息技术的发展,多媒体数据,特别是视频数据的大量生成,传输和存储成为可能,也对发展先进的视频分析与检索技术提出了迫切的要求.基于语义的视频分析与检索以其智能化和人性化,在近些年受到了国际学术界的广泛关注.但作为一个刚刚兴起的研究领域,语义视频分析仍有很多理论和技术问题需要解决.有鉴于此,本文以智能视觉监控为研究背景,提出了一个从底层运动分析到高层行为理解的基于语义的监控视频分析与检索框架.对该框架中的各部分,本文提出了一些独创性的方法:1)底层的目标分割与跟踪是视觉监控系统的技术难题和发展瓶颈.本文提出了一种基于模糊聚类的多目标跟踪算法,该算法在目标较多和遮挡情况频繁发生的情况下具有很强的鲁棒性,非常适合用于复杂交通路口中车辆的跟踪.2)提出了一种层次自组织神经网络模型,并将其用于目标行为的学习,学习得到的行为模式中包含了丰富的语义内容.本算法克服了一般自组织神经网络学习时间长及收敛性不强的缺点,可以广泛应用于一般的模式分类问题.3)提出了模糊自组织神经网络算法,该方法与层次自组织神经网络算法相比在实时性,易实现性及可扩展性方面各有优点.4)在行为模式学习的基础上,发展了异常检测和行为预测的算法5)提出了一个基于语义的监控视频检索框架,通过建立一系列行为模型,可以建立起语义层次上的视频事件索引,并提供包括关键字查询,绘图查询等多种查询方式.

关键词： 视频摘要   视频内容分析   音频内容分析   “实体-描述-效用”模型   视频检索  

摘要： 数字视频属于国家重点发展的信息产业领域，随着宽带网络和数字电视的迅速发展，视频点播、交互电视、视频网站等应用需求将越来越广泛，这些应用都将共同面临大量涌现的数字化视频数据。但是，视频数据线性的、非结构化的数据形式使得视频浏览的效率非常低下，而应用视频摘要技术则可以缩减视频的数据量，提高检索效率，节省浏览时间，对基于视频的各种应用具有重要意义。 在该研究领域，本文对视频摘要技术的概念、特性要求和实现方法进行了较为完整的总结。在综合分析现有视频摘要技术的基础上，通过归纳和抽象，得出了视频摘要技术的一般流程，即“视频切分—内容提取—重要度评判—合成摘要”。对静态视频摘要和动态视频摘要的生成提出了新的方法。 本文使用快速子镜头检测算法来对视频的图像信息进行分析，关键帧提取利用子镜头检测的结果，同时引入直方图颜色丰富系数、模糊系数和人脸数等指标来提高选取关键帧的准确度。以此实现对视频内容具有较好描述能力的静态视频摘要。 结合视频摘要的一类重要应用—电影剪辑，研究影片剪辑的特性要求及影片剪辑生成的相关问题。充分利用各种多媒体融合分析手段，提出一种适用于故事类影片、面向事件的影片摘要生成方法。研究场景重要程度的量化方法，提出综合感人程度、激烈程度、文字出现、人脸出现、声音特征、镜头长度等多种因素的场景重要程度评价算法。 针对视频摘要方法“缺乏一个一般性的指导模型，以及缺乏稳定的中间信息载体”的普遍缺陷。在视频摘要“实体—描述—效用”模型的基础上，研究以摘要为目的的视频内容描述方法，以及基于描述的效用计算。以新的研究角度研究视频摘要问题，将视觉复杂的度量与被理解时间联系起来，利用镜头语法规则来缩减场景的内容。提出了一个统一的用于使信息容量和一致性最大化的效用函数框架。

关键词： 多媒体,基于内容,音频辅助,视频,文本分类  

摘要： 纵观多媒体研究，在多媒体自动内容处理方面变得越来越重要。自动视频内容分割、视频类型识别、自组织的视频库都是研究者的首选方向。 但是，目前仅仅根据视频数据来提取视频内容难度很大。单独依靠现有的视频处理技术不能准确地分割视频场景和对视频内容进行分类。而使用对应的音频和文字信息处理来辅助视频流分析，就可以较好地解决视频场景分割和视频内容分类的问题。 而且，近几年来，音频处理技术发展迅速，语音识别技术已趋于成熟，对于大词汇量连续语音识别率很高。利用语音识别技术和自然语言处理技术对音频流中的语音段进行处理，就可以解决音频内容的提取和分类问题，这样就更有利于检索的进行，进而可以对所对应的视频段进行内容分类，这些都为我们的研究创造了条件。 本文提出了一种实用而高效的基于内容的音频辅助视频内容分析技术，并实现了较完善的音频辅助新闻视频场景分割和新闻视频内容分类。 1．通过对音频特性的研究，详细分析了音频的物理和生物学特征，在经典的短时分析的基础上，提出了一系列音频特征的提取方法。 2．通过对音频数据特点的研究，根据辅助视频分析的需要，提出了一套音频数据的基于内容的分析方法，包括长时间音频分类与分段，说话人改变探测和语音文字内容提取。 3．结合音频分析方法，提出了一套音频辅助视频分析方法，将视频和音频信息结合起来，实现了有更好效果的视频场景探测和故事切分方法。 4．通过文本分类方法，实现了视频数据基于内容的分类方法，使得视频媒体的浏览和检索在基于内容方面有更好的效果。

关键词： 电视新闻节目   播音员镜头检测算法   视频信息检索   多媒数据库   视频内容分析  

摘要： 提出一种播音员镜头自动检测算法.利用播音员镜头频繁出现的统计规律,基于自动聚类方法找出候选播音员镜头,然后根据播音员镜头出现的时空特征,用神经网络分类器对候选播音员镜头进行确认,从而实现对播音员镜头的检测.该算法是自动分析电视新闻节目内容的重要手段之一,对建立视频数据库索引是必不可少的.实验结果表明,该方法具有准确、快速的特点,可有效地应用于视频检索系统.

关键词： 计算机视觉   图像理解   视频信息   多媒体   自动视频内容分析   信息处理   视频图像序列  

摘要： 1.概述 多媒体技术和网络技术的向前发展导致了大量视频信息的出现,如何对这些视频信息进行有效的组织、管理和检索便成了一个重要的研究课题.视频媒体是一类二进制巨型对象(BLOB对象),它拥有巨大的数据量,但内容却有很大的冗余.数字视频通常被当作一种不透明的线性比特流进行处理.例如,为了查找一场足球比赛中的所有射门镜头,就需要对视频内容进行从头到尾的浏览.

关键词： 自适应   流式视频传输   码率控制   视频内容分析   感知视频质量   主动码流丢弃  

摘要： 为了提高端到端的服务质量和保持英特网的稳定性和公平性,服务器端的发送码率应该根据网络情况动态地调节,自动适应变化的可用带宽.该论文研究的自适应流式视频传输的码率控制问题包括两个方面:从视频码流中分析和提取对用户感知质量最重要的码流和有效地利用可用带宽.该论文通过视频内容分析,将视频码流表达成基于优先权的传输结构.这样,在码率调节时可以很容易地将最重要部分的视频码流从结构化表达中抽取出来并传输给用户.同时,带宽是流式视频传输中最宝贵的资源,该论文通过有效利用可用带宽来提高传输视频的用户感知质量.

关键词： 视频摘要   视频内容分析   音频内容分析  

摘要： 数字视频是现代计算机和通讯产业新兴的力量。计算机硬件的发展使家用计算机具有处理和存储视频资料的能力。家用摄像设备的发展使家庭用户可以很容易的摄制一段视频并把它们以数字方式装入电脑，这些都极大的促进了计算机数字视频技术的发展。计算机视频处理技术的一个重要研究课题就是对视频摘要技术的研究，视频摘要技术解决的问题是如何快速浏览大量视频数据以及视频数据如何有效的表示和访问。视频摘要是对一长段视频内容的简短的总结，更加明确一点，视频摘要就是一连串静止或运动的图像，分别称为静态视频摘要和动态视频摘要，它们用精简的方式代表了原视频的内容，而保留了原内容的要点。 家庭用户拥有视频资料的数量在不断增加，但是家庭视频多数是以原始的、未经编辑的形式存放，这使用户对视频的浏览极为不便。家庭用户迫切需要一种考虑到家庭视频特点、针对家庭用户的视频摘要系统来满足他们的需要。本文的研究正是基于这样的背景。 本文探讨了面向家庭视频的视频摘要技术。首先，本文回顾了视频摘要相关技术。其次，在分析了家庭视频特征的基础上，提出了家庭视频摘要系统的目标。接着给出了静态视频摘要算法，包括快速子镜头检测算法、关键帧提取算法以及基于前背景分离的场景检测算法。并提出了基于场景和时间的二维静态视频摘要表示方式。然后本文探讨了声音分析和分类算法，同时给出了动态视频摘要生成算法。在本文最后，给出了基于上述算法的面向家庭的视频摘要系统的实现方案。

关键词： 镜头聚类   视频内容分析   视频镜头   自校正聚类方法  

摘要： 镜头聚类是视频内容分析的重要途径 .为能够自动、准确地实现镜头聚类 ,设计和实现了一种新的镜头聚类方法 ,这种方法从一个初始分割开始 ,经多次聚类分裂与合并的迭代 ,即能自动地进行误差校正 ,而且这种方法既不需要通过人工交互来解决试探聚类方法的误差调节问题 ,也不需要在迭代聚类算法中进行难以确定的经验参数和经验阈值的设定 .实验证明 ,该方法能较好地解决镜头的自动、准确聚类问题 .

关键词： 镜头聚类   合并   分裂   视频内容分析   内容检索   图像处理  

摘要： 镜头聚类是视频内容分析的重要途径。镜头聚类的基本任务是基于镜头的物理特征对镜头进行分类。本文设计和实现了一种新的镜头聚类方法 ,这种方法从一个初始分割开始 ,经多次聚类分裂与合并的迭代 ,自动地进行误差校正。这种方法既不需要通过人工交互来解决试探聚类方法的误差调节问题 ,也不需要迭代聚类算法中难以确定的经验参数和经验阈值的设定 ,克服了普通聚类方法的缺点 ,在实际应用系统中取得了较好的效果。