摘要： 智能视频分析技术是现代智慧安防领域中的应用热点,伴随着云计算、大数据与人工智能技术的迅猛发展,其也形成了明显的智慧化发展趋势,为智慧安防提供了不可或缺的技术支持。本文主要以智慧安防体系中的智能视频技术为研究对象,首先分析了其在智慧安防中的发挥作用的技术手段,而后探讨了其主要应用场景,最后从技术与机制两个角度分析了智能视频分析技术在智慧安防领域中的应用制约因素与应对方法,以此为智能视频技术的高质量应用提供参考思路。

关键词： 智慧视频安防   智能视频分析   技术应用  

摘要： 以某一项目为例介绍了智慧视频安防中智能视频分析技术的应用,先分析了项目内容和发展目标,随后介绍了智能视频分析相关技术运用,包括运动目标识别、全景自动跟踪、超高清技术、视频浓缩技术,希望能给相关人士提供有效参考.

关键词： 智能监控   安全监管   视频分析  

摘要： 为提高监狱、戒毒所设备智能化和信息化管理水平,减轻监狱民警的工作负担,本文探讨了智能视频分析技术在监狱安全监管中的应用,该系统不仅囊括了传统视频监控具有的通过监控实现对犯人的威慑功能、事后的查证功能,还可以应用于区域管控、人脸分析、建立电子围栏等实际场景,对监控画面中的异常行为主动报警,民警不需要时刻盯着监控。当出现异常行为报警时,监狱民警可实施联动管控,缓解民警压力,向科技要警力,提高监狱安全监管效力。

关键词： 视频内容分析   少样本目标检测   元学习   特征金字塔  

摘要： 近些年多媒体领域得到了迅猛的发展,尤其是视频,其结合了音频、场景、文字等方面的内容,已经成为内容分析领域不可或缺的信息来源。随着视频数据的急剧增长,其蕴含的信息量也越来越巨大,因此吸引了越来越多研究者的关注。相较于传统的图像视觉任务,视频内容的呈现更加复杂多变,不同目标及其动作类别之间具有相似性,而相同类别在不同视频环境下又具有不同的特点。所以如何能快速准确的获取相关的视频内容要素进行训练是十分重要的。本文设计的视频内容检测系统主要包含目标检测、目标跟踪、动作识别以及文字和关键人物识别,其中目标检测由于其任务特点,在实际应用中存在局限性。 由于真实视频场景处于开放域场景下,目标检测任务存在类别不明确,且新类别样本数量有限的问题,传统的目标检测算法存在着较大的局限性,无法针对新类别进行识别。因此本文基于有限监督目标检测策略,在传统目标检测模型Faster R-CNN基础上,以少样本学习的方法来解决传统算法的泛化性问题。本文在基于元学习的算法框架引入局部和全局注意力改进特征融合操作,提出了全局-局部注意力元学习少样本目标检测算法(Global Local Attention Few Shot Object Detection,GLAFSOD),通过元学习特征和注意力机制提升区域建议网络和目标检测头的效果。在基于迁移学习的单分支少样本目标检测算法中,通过引入度量学习的基本思想以及更改多尺度特征提取和目标检测器结构,提出全局动态少样本目标检测算法(Global dynamic Few Shot Object Detection,Dy FSOD),并且通过与各自场景下的基准模型进行比较,准确率在Pascal VOC数据集上平均提升了2%。 本文将全局动态FSOD算法运用到视频内容检测系统的目标检测任务中,通过和原系统中的固定类别检测器进行结合,改进实际工作中的检测效果。通过对少样本检测算法部分的优化以及和其他模态检测算法之间的整合,在视频内容检测的目标检测和识别、动作识别、视频文字提取等各个任务上均取得了较好的效果,可以应用于不同的真实视频场景,并且通过系统数据管理、模型管理和用户管理等模块的构建,完成了视频内容检测整体架构和功能实现。

关键词： 工程勘察   智能视频分析   目标检测   运动分析   砂土液化预判  

摘要： 岩土工程勘察智能化转型难问题亟待解决。如今巨幅上涨的人工成本、急剧压缩的外业工期、不断萎缩的项目市场等因素迫使岩土工程勘察外业工作提速增效。然而专业设备、人员以及相关研究的缺失使得转型难以为继,外业工作弄虚作假事件频发,标准贯入原位测试成果可信度低,严重影响工程质量。因此推动岩土工程勘察外业工作智能化分析成为解决转型难的关键问题。 基于目标检测、运动模式分析等智能视频分析技术,研发适用于前端数据视频采集系统、无线传输和存储方案,利用深度学习实现智能标贯击数获取,结合场地液化点预判应用实例,选取砂土液化判别因子构建概率分布模型,实现岩土工程勘察现场数据的自动化采集与智能分析,主要取得以下成果: (1)针对岩土勘察标准贯入试验现场工作环境和流程特点,确立前端数据视频采集系统设备的指标参数,结合岩土工程勘察环境比选构建数据传输网络和存储分析平台,建立一套适用于标准贯入原位现场试验的信息化数据采集系统。 (2)对比分析不同目标检测算法,统筹标贯落锤图像与环境背景特征,选取YOLOv5为目标检测算法主体框架,结合现场工作环境复杂特点,利用自适应图像增强、滤波降噪、模型损失函数优化等技术改善检测效果,迭代优化检测算法的超参数设置,优化后的目标检测模型单帧检测准确率可达99.2%,满足运动时序分析模型的精度要求。 (3)在标贯落锤的目标检测基础上,将目标检测获得的二维坐标以时间序列重构,建立基于双层LSTM网络的运动时序分析模型,提取单次运动时序特征,并结合Mask、Drop Out训练策略,优化运动时序分析模型收敛速度和精度,实现单次运动模式92%的分类准确率,测试多段连续运动视频,结合工程实例发现运动时序分析模型的平均计数误差少于7%,证明可实现智能标贯击数获取。 (4)基于砂土液化判别理论,研究智能标贯击数获取工程应用,结合实测标贯击数、砂层埋深、场地水平峰值加速度、孔内地下水位,利用粒子群算法优化相关向量机理论,建立砂土液化预判模型,搜集整理地震液化标贯信息,构建砂土液化判别因子数据集,训练液化预判模型,以模型在训练验证集上89%的分类准确率和测试集上92%的预判有效率验证该方法的可行性,结合2011新西兰地震资料检验泛化性能,最后对比模型与规范法在实际工程中判别结果,证明自动分析岩土标贯原位测试关键信息可大大提升数据应用有效率,有益于行业的智能化转型。

关键词： 智能视频监控   行人重识别   无监督域适应   多头自注意力  

摘要： 视频监控下的人员识别系统是一种基于计算机视觉技术的智能视频分析系统,用于自动检测和识别摄像头监控范围内的个体。这类系统广泛应用于安防、商业、交通等领域,提高监控效率和安全性。人脸识别和行人重识别是人员识别系统的两个关键技术。人脸作为强鉴别性生物特征,广泛用于身份识别,但是由于监控环境的复杂性,通常难以捕获清晰人脸正面。视频监控下行人图像相比人脸更易获取,行人重识别通过对行人图像特征进行深层次的挖掘和提取,匹配不同时间和场景下的同一对象,从而达到身份识别目的。在智能监控中,行人重识别和人脸识别可以相互补充,当行人面部无法被清晰拍摄时,可以通过行人重识别技术比对行人候选库识别该行人;当行人面部能够被清晰拍摄时,可以通过人脸识别技术识别该行人,识别结果和行人图片可以更新行人候选库。为了提高人员识别的准确性和鲁棒性,本论文设计并实现了一种行人重识别和人脸识别协同工作的人员识别系统,主要研究和工作如下:(1)本文提出轻量级多尺度特征融合模型MHSA-OSNet。MHSA-OSNet用多头自注意力结构代替了 OSNet中的最大的局部感知卷积流,使得模型能够动态的融合全局特征和局部特征,有利于更加全面提取鉴别性特征。MSMT17数据集的平均精度均值(Mean Average Precision,mAP)相比 OSNet 从 52.9%提升到 55.96%。MHSA-OSNet以轻量级的网络结构优势,更好地适用于智能视频监控场景。(2)本文提出分组聚类二次组合(Divided Clustering Secondary Combination,DCSC)的伪标签聚类生成方法。DCSC利用了行人重识别数据采集时自带的摄像头ID和相对采集时间,把行人图片按照采集摄像头的不同分组,在每组内依靠采集相对时间和特征距离进行聚类,使得每组聚类具有更好的簇内紧密性。二次组合时,全部图片的未分组聚类结果和分组聚类结果相互对照,得到重新组合的聚类结果,使得聚类具有更好的簇间分离性。DCSC的聚类结果作为伪标签,应用在自步对比学习(Self-paced Contrastive Learning,SpCL)中,把 MSMT17 到Market1501的行人重识别域适应学习mAP由77.5%提升到81.6%。(3)本文设计并实现了行人重识别和人脸识别协同工作的人员识别系统。系统的行人重识别算法使用MHSA-OSNet作为骨干网络提取特征。实际应用时,首先采集行人图片,在不标注的情况下把采集到的行人图片数据集作为目标域数据,同时,源域数据采用 Market1501、DukeMTMC-reID、CUHK03 和 MSMT17 四个有标签行人重识别数据集。然后,使用SpCL和DCSC进行无监督域适应学习,使得MHSA-OSNet能充分利用数据的监督信息。系统运行时使用人脸识别结果动态地更新行人候选库,检测到的行人通过对比行人候选库确定身份。设计和实现的人员识别系统经过测试具备良好的准确性、实时性和稳定性。

关键词： 智能视频分析   抽油机   故障检测   实例分割   时序数据分类  

摘要： 石油又被称为“工业的血液”,是我国社会经济发展必不可缺的重要战略储备资源,但是我国石油对外依存度高达70%左右,且面临百年未有之大变局,更需要坚持底线思维,保证国内石油开采,保障石油底线需求。我国石油开采主要使用游梁式抽油机,工作环境和条件恶劣,发生故障的概率较高,而传统的人工实地巡检和监控视频巡检无法及时发现故障,使得油井产油效率降低。现阶段,抽油机故障自动检测方法主要使用油田物联网中的传感器采集数据,但是传感器普遍会有数据漂移等问题,降低测量数据的准确度,影响油田井场物联网抽油机故障自动检测功能的可靠性。近年来,随着数字油田建设的加速推进,油田井场的摄像头覆盖率不断上升,但基于视频分析检测抽油机故障的水平还比较低。为加强油田物联网抽油机故障检测功能的可靠性,提升基于视频分析检测抽油机故障的水平,本文利用油田井场摄像头,提出一种基于智能视频分析的抽油机故障检测方法,并在此基础上设计实现基于智能视频分析的抽油机故障检测系统。本文主要研究内容如下:(1)针对驴头目标提取不准确的问题,使用HSB优化SOLOv2的骨干网络,加强驴头掩膜提取的精细度。通过实地拍摄,制作抽油机驴头实例分割数据集。然后对不同骨干网络以及不同实例分割模型的性能分别进行实验。实验证明,本文改进SOLOv2在驴头数据集上具有更好的分割精度,为后续抽油机故障的检测打下了更好的基础,推理速度也能够满足实时性需求。(2)为了进一步对抽油机故障进行检测,首先分析抽油机正常状态、皮带打滑、停井和驴头翻落时驴头运动时序数据的特征;接着根据这些数据的特点,制作包含正常状态和皮带打滑故障时驴头运动时序数据的数据集;最后使用傅里叶变换提取特征,对比果蝇优化算法、粒子群算法和网格搜索算法进行SVM参数寻优时的性能。结果表明,网格搜索算法明显更优,检测效果较好,具有较好的实用价值。(3)结合本文算法在油田的实际应用场景,将本文算法部署到边缘端上,进行边云协同。然后分析边缘端和服务器端的需求,设计、实现并测试基于智能视频分析的抽油机故障检测系统,证明本文实现的系统性能较好,具有一定的实践价值。

关键词： YOLOv5   视频内容分析   深度学习   注意力机制   特征融合  

摘要： 目标检测是对图像中感兴趣目标进行识别和定位的技术,目标检测性能的好坏直接决定了目标跟踪、动作识别等视觉任务的性能。因此目标检测在计算机视觉领域中是至关重要且不可缺少的。基于深度学习的目标检测算法使用多层卷积神经网络CNN(Convolutional Neural Network)逐级提取图像特征,自主学习并获取特征信息,提高了检测的精度,缩短了检测的时间。较高的精度和实时性使得基于深度学习的目标检测算法在各领域被广泛应用。本文基于YOLOv5(You Only Look Once)目标检测算法进行改进并针对基于改进的算法对视频进行分析,研究内容如下:(1)针对目前基于深度学习的目标检测算法参数多,速度低导致检测实时性不高的问题,提出了一种基于YOLOv5的改进目标检测网络模型CGS-Ghost YOLO。首先在网络的输入端之后添加了Stem Block模块进行下采样,可以在保持较强的特征表达能力的同时提高网络的泛化能力。并且提出了CGS-Ghost卷积模块,能够在维持特征提取效果的同时在一定程度上减少网络参数。针对特征表达性低及特征中包含位置信息弱导致检测精度低的问题,在网络中的Bottleneck CSP结构中与SPPF(Spatial Pyramid Pooling Fast)模块前加入CA坐标注意力机制,加强网络提取特征的位置信息与语义信息;然后,在颈部网络使用Bi-FPN双向跨尺度链接加权融合网络,使整个特征提取网络能够融合更多的特征,检测的结果更加精确。(2)基于CGS-Ghost YOLO网络模型,结合Rep Ghost模块进行优化,维持网络性能的同时进一步减少网络参数,并使用空洞空间金字塔池化层扩大感受野,增强特征提取信息,在损失函数方面使用了SIo U Loss作为边框回归损失,考虑了预测框与真实框之间的角度、距离、形状差别,使回归运算更加高效,加快模型训练速度,提升模型检测精度。针对基于目标检测的视频分析任务,将改进后的CGS-Rep Ghost YOLO模型经过Tensor RT加速后部署至嵌入式设备Jetson Nano中,结合Deep Stream智能视频分析流程实现多模型组合检测,多路视频同时推理,智能视频分析等功能。

关键词： 文字结构化   多模态   图神经网络   对比学习  

摘要： 视频中所包含的文字信息是视频内容理解任务中需要考虑的重要因素。区别于视频中其他视觉信息要素,视频中的文字信息除了作为视频内容本身外,还能够对视频中其他内容进行描述性的补充,所以从视频中提取视频文字中的结构化语义信息,在视频检索、视频推荐、智能导航等领域中有着重要价值和广阔的发展前景。传统的文本结构化方法通过固定的模板将文字转化为结构化的文本信息,而对视频中文字信息的结构化任务则面临图像动态变化和图像背景复杂多变等困难的阻碍,并且目前视频文字结构化任务的数据量稀少,缺少大型的公开数据集。因此,面向视频内容分析的视频文字结构化任务具有极大的挑战。 为应对视频中文字更复杂的背景和空间关系,使用多模态图推理网络对视频中文字的文本语义内容与视觉语义内容两种模态进行协同学习,以获取视频中文本结构化的表示。本文的主要贡献如下: (1)针对视频文本结构化任务中,视频中的文本区域具有更丰富的背景和更复杂的空间关系的问题,本文提出了用于视频结构化文本提取的多模态图推理网络。该网络利用视频中文本区域的文本特征和视觉特征构建图的节点,文本区域间的空间关系编码为图的边,使用图注意力网络对图节点的结构化分类进行推理,并专门设计了一种对比学习方案来优化网络中视觉特征提取器。 (2)为应对数据量不足且标注成本较高的难点,本文提出了一个基于图对比学习的半监督训练方法,该方法将图像数据增强和图结构数据增强相结合来生成图视图,并通过最大化生成的两个图视图之间对应节点特征的一致性来学习节点的特征表示,以此迭代优化模型的参数。 (3)本文提出了一个新的用于视频文本结构化的数据集,其中包含视频中每个文本实例的位置、内容与结构化类别,并同时采样了公开的视频文本数据集BOVText中的部分样本,对数据集中的文本实例进行进一步的结构化类别标注。本文所提出的视频文本结构化方法在自建数据集和公开数据集上均进行了验证,并取得了较好的效果。

关键词： 深度学习   视频分析   带式输送机   目标检测   智慧矿山  

摘要： 煤矿是国家重要的基础产业,随着矿山开采技术的发展,煤矿安全形势虽然逐渐好转,但与其他行业相比,煤矿安全事故仍是我国煤矿安全管理面临的重大问题。面对日益严峻的煤矿安全生产形势,如何提前发现事故隐患,提高煤矿开采效率是目前急需解决的问题。矿用带式输送机是煤炭运输的重要大型机电设备,是煤炭输送的大动脉,也是煤矿安全事故的频发地。随着工业自动化和信息化进程的快速推进,对煤炭的日产量的需要也日益增长,这对于带式输送机的煤炭负载和运输量也随之增高。然而,在带式输送机对煤炭进行运输的过程中,煤流中常会夹杂煤矸石、大块煤、锚杆等异物,且在煤炭运输过程中带式输送机的周边区域也存在人员工作违章等安全隐患,从而引起皮带撕裂、堆煤、堵煤、人员伤亡等事故发生。因此本文围绕带式输送机的安全监测与保护进行研究,通过设计目标检测与识别网络模型对带式输送机的监控视频进行智能视频分析,从源头上建立带式输送机的安全监测与保护系统。本文的主要研究内容与创新点如下:(1)提出面向矿井人工照明光照不均匀条件下的煤流异物检测方法LEYOLOv3,并进行了系统开发和现场测试应用。首先,分析煤矿井下实际的工矿照明环境,然后基于适合于非煤异物检测的目标检测算法模型YOLOv3,提出了面向矿井不均匀光照边缘增强的改进YOLOv3异物检测算法—LE-YOLOv3来提升矿井带式输送机煤流夹杂异物检测的准确性。首先,通过在LLNet的结构中添加EEM边缘增强模块,并将该融合模块进一步与YOLOv3的网络框架相结合,增强矿井带式输送机煤流监测图像的光照信息,然后还通过线性差值和随机裁剪的混合数据集增强方法增强了锚杆数据集样本,使异物检测效果得到明显提升。最后通过客户端界面设计和系统开发,并在煤矿生产现场进行了测试和分析,验证了本文所提出的煤流异物检测方法的有效性。(2)提出面向矿井主运输巷道复杂环境的目标检测算法PS-YOLOv3,并将其应用于实时监测矿井带式输送机运转工作区域人员佩戴安全帽和危险区域入侵等违章行为监测。首先,在原始YOLOv3算法模型上加入了PS多层次特征融合模块,并对骨干网提取的不同层次特征进行聚合。同时,本课题在PSYOLOv3中的Neck层中又引入SE注意力模块,从而关注不同尺度上目标的显著性特征,提高了模型的检测能力。最后通过客户端界面设计和系统开发,并将其应用在煤矿的生产现场,结果表明,本文所提出的方法及系统具有良好的检测效果和实用价值。该论文有图32幅,表3个,参考文献85篇。