关键词:
视频内容分析
认知心理学
注意力模型
语义事件
个性化推荐
摘要:
基于内容的视频分析技术是解决当前信息超载现象的重要方法,已经成为多媒体分析领域的研究热点。本文的研究目标是模拟人类认知过程研究有效的视频内容分析技术,使用户可以在海量视频中便捷地发现自己喜欢的视频片段。本文根据认知心理学理论体系,提出了基于“感知,思维,行为”的层次化视频内容分析框架,并重点对用户注意力建模、视频语义事件检测及视频精彩镜头的个性化推荐进行了较深入地研究。论文的创新性工作主要表现在以下三个方面:
1、提出了通用的视频内容分析框架:与现有以视频类型为中心的分析框架不同,本文以认知心理学的理论框架为基础,提出了符合人类认知过程的“感知,思维,行为”层次化视频内容分析框架。该框架可以将视频内容分析相关技术按照人类认知过程有机结合起来,并且该框架不再受制于多样的视频类型、复杂的编辑规则等客观因素。
2、提出了符合人类认知过程的各层核心问题及其解决方法:感知层的核心问题是对人的注意力的研究,本文提出了基于韦伯-费希纳定律的用户注意力模型来进行视频显著性分析;思维层的核心问题是人类对概念和逻辑推理的研究,根据人类逻辑推理的两种方式,即演绎推理和归纳推理,本文提出基于规则、统计模型以及决策融合的三类语义事件检测方法,从而实现视频语义事件的自动标注;行为层的核心问题是行为动机,为了达到使用户便捷的获取信息这一目标,本文通过融合视频内容和用户偏好信息研究了视频精彩镜头的个性化推荐方法。
3、提出了面向实际应用的视频内容浏览系统:为了分析各层研究内容对用户视频浏览的重要性,我们在视频结构化的基础上利用各层核心技术开发了结构化视频浏览和显著性标注系统、结构化视频浏览和语义标注系统以及视频精彩镜头的个性化推荐系统。
本文综合客观评价和主观评价方式对基于“感知,思维,行为”的层次化视频内容分析框架及其各层核心技术进行了评测。对于视频字幕提取和语义事件建模核心技术,主要以查全率和查准率为标准证明本文提出的方法的准确性和鲁棒性。对于本文提出的层次化视频分析框架及开发的三个系统,采用了基于用户反馈的主观评价方式,通过与传统的线性视频浏览系统的比较可知:该框架能够使计算机自动分析视频内容显著性和语义,在此基础上,本文通过融合用户个人信息开发了视频精彩镜头的个性化推荐系统,该系统可以通过个性化的推荐列表为用户提供导航服务,以满足用户动态变化的个人偏好以及便捷的视频浏览需求。