关键词： 深度学习   智能视频分析   神经网络结构   卷积神经网络   指挥人员   测试集   前馈神经网络   隐藏层   应用探究  

摘要： 信息技术在维和勤务中的应用越来越得到重视,取得的显著成果得到了多方肯定。传统的视频监控检查依靠指挥人员进行人工核实,一方面会耗费较大人力,另一方面由于人的疏忽会存在误查、漏查情况。随着大数据和人工智能的飞速发展,基于深度学习的视频分析技术能辅助人类完成智能视频分析,自动检查视频中的目标是否完成规定动作,发现异常时及时报警,从而辅助执行维和勤务的人员更加高效、准确的完成相关任务。

关键词： 智能视频分析技术   视频监控   智慧城市  

摘要： 现阶段,随着科技和互联网的快速发展,智慧城市应运而生。所谓的智慧城市,就是利用各种科学技术将城市的各个资源系统进行合理的串联,提高资源的利用率,从而提高城市居民的生活水平。打造智慧城市的第一步就是融入智能视频监控,即在城市安装摄像机和环境探测器,对环境进行实时分析,达到保障社会治安的目的。文章对智能视频监控技术做出了简要概述,提出了一系列优化措施,为相关人员的工作提供了一些建议。

关键词： 智能   摄像机   视频分析   监控系统   实现方案  

摘要： 现阶段,随着智能摄像机应用范围越来越广,视频分析技术也在不断更新,为进一步提高源视频的应用质量,有必要对视频分析的实现方案展开探讨,处理人工无法解决的海量数据,为智能摄像机增加更重要的附属功能。本文对智能摄像机视频分析的实现方案进行了简要的分析。

关键词： 公路管理   视频监控   大数据   图像识别   智能化  

摘要： 针对交通视频监控每天要产生海量的视频和图像数据,而传统交通管理系统无法对海量的交通监控数据进行有效分析整合,导致数据信息无法得到充分利用的问题。文中结合大数据和图像识别技术,构建出了一套基于大数据的公路监控智能分析系统。该系统基于图像识别模型实现对交通数据进行图像和视频信息的实时分析,并对当前道路状态做出分析判断和预测,通过多终端发布系统实现道路信息的实时发布。数据测试结果表明,该系统具有良好的交通拥塞识别与数据分析能力,能够为交通管理提供准确可靠的数据支持。

关键词： 智能视频分析   CMOS图像传感器   信号完整性   电源完整性  

摘要： 从降本角度出发,同时满足高清化需求,本文提出了一种两层板架构上的前端智能视频分析系统的硬件设计方案,实现了安防监控摄像机的高清化、网络化、智能化升级。为了提高系统图像画质,以传输线理论为指导,采用高速电路设计方法,优化了高速电路PCB设计,解决了FLASH的信号完整性问题,提高了前端智能视频分析系统长期运行的稳定性和可靠性。

关键词： 视频内容分析   图像分类   梯度直方图   深度学习   特征融合  

摘要： 信息技术的发展，使网络流量呈现视频化趋势，视频内容混杂化使得某些特殊视频充斥其中，影响了社会公共安全。然而，作为过滤主要手段的内容识别算法面临着十分严峻的挑战，传统的基于特征提取和分类器组合的方法在面对海量复杂视频数据时呈现出视频内容难以有效表征、识别准确率不高效率低下等问题，其根本原因是特征检测不能有效地表达视频内容的本质信息，需要构建新的能够更有效表征视频内容本质特征的核心算法。　　本文在查阅了大量资料基础上，从图像分类技术、基于传统手工特征的特殊内容检测技术，基于深度学习的特殊内容分析检测技术三个方面进行了深入研究，提出了新的算法和模型。取得的成果总结如下：　　1.现有的基于内容的图像分类算法，大多需要耗费大量训练和测试时间，且分类准确率难以提高。针对此现状设计了一种新的ScSPM特征表征算法，用稀疏表示代替原有的矢量量化，用平均池化代替最大池化，这种基于SIFT稀疏编码的线性SPM核有效降低了特征的复杂性，同时也提高了分类算法的准确率。对于分类器，由于超限学习机优化作用机理不同于梯度下降算法，从而有效避免了陷入局部最优以及优化迭代耗时长等问题。　　2.现有的视频特征描述算子在视频内容表达方面表现不足。为了提高特殊视频内容识别精度，根据视频序列的逻辑结构特征，提出了一种新颖的基于三维梯度方向直方图特征构造方法，视觉单词的词袋模型(BoW)和池化技术。该方法与核极限学习机(KELM)相结合，可用于暴力场景的检测。首先对视频块提取3D-HOG特征，然后实现K-Means聚类算法生成可视化单词，再利用视觉词包框架对特征进行量化，最后利用特征池化技术生成整个视频段的特征向量。分别使用训练数据和测试数据的特征向量对模型进行训练，并对该方法的性能进行评估，实验结果表明，提出的特征描述符具有良好的表示能力和泛化能力。该方法对暴力场景的检测是有效的，其精度与Hockey数据集上的最佳结果相匹配，在Movies数据集上的性能优于最先进的方法。　　3.针对传统的暴力视频场景检测算法需要解决特征融合的问题，提出了一种新的基于多示列学习的暴力视频场景检测算法：首先从视频片段中提取3D-HOG特征，然后使用K-means聚类算法对特征进行聚类，聚类中心构成视觉词典，多示例学习问题中的示例特征由词频向量构成。针对求解过程中正负示例地位不对称和示例标签存在噪音等问题，提出了一种示例数据清洗方法，通过使用Citation-kNN、轴平行矩形和mi-SVM三种多示例学习方法在基准测试数据库Hockey和Movies上进行对比测试，实验结果表明新的多示例学习检测算法结合数据清洗方法能够有效提高算法识别准确率和效率，从而验证了算法的有效性。　　4.在基于深度学习的特殊视频内容分析检测算法方面，因传统方法将视频帧平等对待，从而使得大量非“相关和重要”信息参与计算，干扰了最终的检测结果，同时也影响了计算效率，故如何抽取视频的关键信息成为值得研究的内容。本文提出了利用灰度质心进行视频关键帧提取的方法，并基于关键帧设计了深度学习算法结构中输入图像帧的选择方法。当关键帧间的帧图像数量较少时，将多个关键帧进行合并，当关键帧间的帧图像数量很多时，通过随机采样的方式进行帧数量的选取，从而能够有效保证视频重要内容的完整性。通过在基准数据集上进行测试，得到较高的检测准确率，说明了改进算法的有效性。　　该研究是属于模式识别、图像和视频处理以及信息安全等领域的交叉学科，研究成果解决了“特殊视频内容分析检测”过程中存在的一些关键问题，对现有的图像分类，视频检测技术提出了改进的方法，对多媒体内容安全，净化网络环境起到了积极地推动作用。

关键词： 行人检测   YOLOv3   卷积神经网络   深度学习  

摘要： 随着科技的发展以及社会的进步,视频监控系统已经成为人们日常生活中的一项重要安全保障。但是随着最近摄像头数量爆炸性的增长,传统的视频监控系统只记录,不处理的特性越来越不能被人们所接受,过多的人力物力耗费其中的同时,还存在着效率低下,误警、漏警偏多,相关工作人员易疲劳等缺点。所以,如何将监控系统智能化,自动化,高效化一直是工程领域内的热点研究问题。近年来,随着人工智能技术以及计算机科学的飞速发展,计算机视觉领域也取得了突破性的进步,而深度学习技术是其中的技术核心。本文通过多种深度学习算法之间的比较,选择结合目前深度学习领域较为先进的YOLOv3算法,设计了一个以行人检测为核心,辅以后续的视频分析处理和数据库存储功能的智能化人员区域管控系统。本系统能够避免传统监控系统中对于人工的依赖,提高工作效率,同时保证智能分析功能的稳定性与准确性。本文首先构建了基于深度学习的智能人员区域管控系统的软硬件架构。系统硬件由监控系统与门禁系统两部分构成,两部分通过全千兆交换机共同连接在同一处理主机上。系统软件通过获取硬件系统传来的视频信息,利用微调后的YOLOv3对于视频流进行分析检测,并结合数据库对处理结果进行存储,系统设计合理,工作高效,在现场测试中运行稳定。由于本系统所应用的场景中,人员目标与公共数据集中的人员目标在拍摄角度、距离远近、姿态遮挡等方面存在着较大不同,本文还利用现场采集得到的视频图像信息构建了适用本文检测系统的样本集,并在迁移学习的思想指导下对于原始的YOLOv3模型进行了微调,然后将微调后的YOLOv3模型与原始YOLOv3模型进行了对比实验。实验结果表明,本文中微调后的YOLOv3模型相较于原始模型在本实验场景下性能存在着优势,检测速度达到29ms/帧,虚警率与漏警率与微调前的原始YOLOv3模型相比较降低至原来的1/5与1/2,达到了0.3%与3.6%,在保证实时性的同时获得了良好的检测性能。

关键词： 机器视觉   智能视频分析   运动目标检测   运动目标跟踪   纹理模式   颜色属性   鲁棒主成分分析   粒子滤波  

摘要： 在智能视频分析系统中,运动目标的检测与跟踪是一个基础核心的环节,其性能直接关系到后续动作识别、行为理解等高级语义处理的精确性。由于视频监控场景的复杂性、各种干扰因素的多发性、并发性等特点,研究高精度、低耗时以及强鲁棒性的运动目标检测与跟踪算法具有重要意义。本文利用机器学习和计算机视觉等相关理论,针对复杂视频场景中的运动目标检测与跟踪问题进行了深入研究。主要工作包括以下几个方面:(1)针对复杂视频监控场景中的光线变化与移动阴影造成运动目标的检测结果包含大量假阳性像素点的问题,首先对局部二值纹理模式(Local Binary Pattern,LBP)进行深入研究,并在此基础上提出了一种改进的局部纹理特征描述子。该特征描述子相比传统LBP有更强的噪声鲁棒性,并具备有灰度尺度不变性。将该纹理特征与颜色特征融合进行多维核密度估计,建立背景的概率模型。为了提高算法在多模态背景场景中的检测精度,在前景检测中结合像素的邻域相关性以抑制虚假前景。在标准检测数据集上的实验表明,与基于纹理直方图的算法相比,该方法能在光线缓慢变化和包含运动阴影的场景下综合性能提高17.5%;在各类场景下与其它性能突出的方法进行比较,该方法的平均检测性能提高了0.12%,而处理速度提高了50%。(2)传统颜色空间易受到环境干扰而产生失真,将颜色属性空间应用于运动目标检测中,提出一种基于区域颜色属性二阶矩直方图的背景建模方法。将RGB颜色空间映射到降维的、鲁棒的颜色属性空间,再引入像素的空间结构,在局部区域内建立基于颜色属性的二阶矩直方图,使用若干个不同权重的二阶矩直方图构建背景模型。在模型的匹配中,该方法兼顾特征的相似度和空间结构的相似度,从而提高了检测的精确度。降维的颜色属性提高了特征的鲁棒性和时效性,二阶矩直方图引入的像素位置信息提高了背景模型的准确性。检测时通过学习率来控制各模型直方图及其权重的更新,并且针对算法中涉及的参数进行了详细讨论,给出了可行的取值。实验结果表明,该方法在动态背景干扰场景中,相比其他检测方法其综合检测性能提高了近13%。同时,该方法在6类场景中的整体平均综合性能也是最优的,可达到75.18%。(3)针对统计模型背景建模算法将视频的各个帧和帧内像素视为独立不相关的个体、没有充分发掘高维数据的内在本质这一问题,本文对基于鲁棒主成分分析的运动目标检测算法进行研究,提出了一种基于自适应低秩稀疏分解的运行目标检测算法。首先用背景模型与待求解的帧向量构建增广矩阵,然后使用鲁棒的主成分分析算法对降维后的增广矩阵进行低秩稀疏分解,分离出的低秩部分和稀疏噪声分别对应于视频帧的背景和运动前景。最后,使用增量奇异值分解方法对背景模型迭代更新。实验证明,该方法在传统主成分分析中引入自适应的过程,可以提高模型的鲁棒性。在包含光线变化、多模态背景以及恶劣天气的三个复杂场景中,该方法的综合检测性能指标F1值分别提高了6%、8%和7%。自适应算法分批载入视频帧的方式有效降低了算法的延迟,在包含多模态背景扰动的复杂场景中,检测时间效率提高了19.3%。(4)针对粒子滤波跟踪算法的外观模型易受环境干扰、粒子重要性重采样中的粒子贫化和粒子退化问题,构建了基于多线索多特征的粒子滤波单目标跟踪算法。通过对传统灰度行程矩阵进行模糊聚类,得到了一种稳健的模糊统计纹理特征,将其与体现像素相关性的Histon直方图结合构建目标外观模型。针对粒子滤波中粒子易退化和贫化的问题,使用聚类算法得到自适应数量的高权值粒子,用这部分粒子来近似得到更为准确的目标状态估计。重要性重采样阶段,这部分高权值粒子得以保留,而其余粒子在估计的目标状态周围重新采样得到,有效克服粒子退化并保持了粒子的多样性。将本文方法与粒子滤波框架下性能突出的跟踪算法进行比较,其平均跟踪成功率和平均跟踪精度分别提高了4.4%和2.8%。与多个流行的、性能优越的跟踪算法进行比较,该方法在目标形变、光照变化和背景扰动三类场景下能得到最优的跟踪精度曲线和成功率曲线。

关键词： 智慧林业   森林防火   智能视频分析仪   软硬件协同设计   Zynq-7000  

摘要： 物联网技术的迅猛崛起,智慧林业这一林业发展新模式逐渐建立起来。智慧林业的目标是更好地对林业进行监测和管理,实现对森林区域的监控。针对复杂的森林环境,能够对森林区域进行实时监控及预警成为重中之重。如今传统的森林视频监控设备只有视频记录的功能,无法对森林区域的人为活动进行实时监控和智能分析。大多数森林问题的发生与人为活动有关,能够实时视频监控森林中的人员,实现人员相关特征信息的智能分析提取具有重要意义。针对复杂的森林环境以及传统视频监控设备处理数据难、实时性差、功能单一的问题,本文设计了一种功能完善、适用于森林环境实时监控的智能视频分析仪,结合软硬件协同设计的方法,一是加快系统的开发速度,减少开发时间,二是节省成本,提高了系统整体性能。智能视频分析仪可以实时监控森林区域的人员分布情况,智能获取人数实时信息以及人员特征数据和图片信息,能够提取森林环境数据以及图片数据,可以通过串口通讯将数据实时传输到Lo Ra网络设备,上传到平台进行展示和分析,平台可根据特征数据进行人员搜索,实现远程智能监控的功能。另外,智能视频分析仪还具有语音播报的功能,实现森林环境突发危险情景的预警作用。本文基于ARM+FPFA架构的Zynq-7000系列可编程So C作为主控芯片,对关键技术和物联网框架展开研究,设计了一种面向智慧林业的智能视频分析仪总体结构,首先,在硬件设计上完成了视频流数据Frame Buffer通道重要IP核设计和硬件系统搭建,在软件设计上通过BSP设计完成Linux操作系统和驱动的移植任务,应用软件根据业务需求完成拓展的业务功能,串口通讯程序实现数据安全传输到Lo Ra网络设备,并最终上传到平台的功能。论文的最后是对系统的全面测试,系统运行稳定可靠,并将智能视频分析仪应用到森林防火的崂山应用场景,通过平台数据展示验证智能视频分析仪支持实时获取多种人员相关智能视频分析数据,能对结果数据进行转存和安全上传,证明其硬件系统体系结构和软件系统的可行性和具有一定的应用价值。

关键词： 长视频行为检测   长视频问答   循环卷积神经网络   半监督学习  

摘要： 随着互联网的飞速发展和视频监控设备的普及，视频数据爆炸性地增长，这些视频数据中包含海量庞杂的行为及事件信息，如何方便快捷地分析这些数据中的行为和事件成为了一个亟待解决的问题。由于智能视频数据分析技术能够让计算机自动地理解视频内容，进而对视频进行监控和管理，在一定程度上缓解了上述问题，因此受到越来越广泛的关注。虽然智能视频分析技术被大量研究并取得了长足的进步，但是主要研究的对象是经过人工裁剪的视频，每个视频中包含且仅包含某一种行为或事件，视频内容非常单一。在监控系统等实际应用中，大多是未被裁剪的长视频，其中包含着丰富多样的行为种类，以及大量与行为无关的视频片段。为了更好地处理实际应用中的视频，本文围绕如何设计有效的长视频行为及事件理解方法展开，重点关注三种长视频分析与理解任务:面向长视频的语言驱动的视频行为检测、长视频问答、以及长视频行为片段提取。本论文的主要工作和创新点归纳如下:　　语言驱动的视频行为检测是指给定一个长视频和一个描述复杂行为的句子，要求给出该行为在该视频中发生的起始时间和终止时间。由于传统方法对视频帧的密集采样方式非常耗时，本文提出了一种基于循环卷积神经网络的增强学习模型，该模型可以选择性地挑选一系列的视频帧进行观察，然后结合句子信息给出定位的结果。由于视觉信息和文本信息之间存在语义鸿沟，本文进一步提出了视频的语义概念提取，并采用匹配的方式来对齐视频和语言信息。实验结果表明，本文提出的方法在提升检测精度的同时，大大提升了检测的速度。　　为了对长视频进行细粒度的理解，本文首先提出了长视频问答这一新任务。长视频问答是指给定一个长视频以及一个问题，在未知问题相关的视频内容在视频中的时序位置的情况下，给出问题的答案。为了开展长视频问答研究，本文在两个视频描述数据集的基础上建立了两个长视频问答数据集。另外，本文提出了一种基于匹配注意力机制的长视频问答模型，可以在提取问题相关的视频片段的同时，预测出问题的答案。实验表明，本文提出的方法可以有效地关注到与问题相关的视觉信息，显著地提升了答案的质量。与传统短视频问答方法和baseline方法相比，本文提出的方法在长视频问答数据集上体现出优越的性能。　　视频行为片段提取是指给定一个长视频，要求给出视频中所包含的行为片段的起始时问和终止时间，无关乎行为的类别。传统视频行为片段提取研究使用有监督学习的方法，需要大量的有时序标注的视频。但是，对长视频进行时序标注的代价是非常昂贵的，另外在实际应用中存在着大量的无标注视频数据。为了充分地利用有标注数据和无标注数据，本文提出了一种基于二维置信度图的半监督学习方法以及一种生成高质量伪标签的方法。实验结果表明，本文提出的方法仅仅使用部分有标注数据就可以超越有监督学习方法使用全部有标注数据达到的性能。