关键词： 智能视频分析   抽油机   故障检测   实例分割   时序数据分类  

摘要： 石油又被称为“工业的血液”,是我国社会经济发展必不可缺的重要战略储备资源,但是我国石油对外依存度高达70%左右,且面临百年未有之大变局,更需要坚持底线思维,保证国内石油开采,保障石油底线需求。我国石油开采主要使用游梁式抽油机,工作环境和条件恶劣,发生故障的概率较高,而传统的人工实地巡检和监控视频巡检无法及时发现故障,使得油井产油效率降低。现阶段,抽油机故障自动检测方法主要使用油田物联网中的传感器采集数据,但是传感器普遍会有数据漂移等问题,降低测量数据的准确度,影响油田井场物联网抽油机故障自动检测功能的可靠性。近年来,随着数字油田建设的加速推进,油田井场的摄像头覆盖率不断上升,但基于视频分析检测抽油机故障的水平还比较低。为加强油田物联网抽油机故障检测功能的可靠性,提升基于视频分析检测抽油机故障的水平,本文利用油田井场摄像头,提出一种基于智能视频分析的抽油机故障检测方法,并在此基础上设计实现基于智能视频分析的抽油机故障检测系统。本文主要研究内容如下:(1)针对驴头目标提取不准确的问题,使用HSB优化SOLOv2的骨干网络,加强驴头掩膜提取的精细度。通过实地拍摄,制作抽油机驴头实例分割数据集。然后对不同骨干网络以及不同实例分割模型的性能分别进行实验。实验证明,本文改进SOLOv2在驴头数据集上具有更好的分割精度,为后续抽油机故障的检测打下了更好的基础,推理速度也能够满足实时性需求。(2)为了进一步对抽油机故障进行检测,首先分析抽油机正常状态、皮带打滑、停井和驴头翻落时驴头运动时序数据的特征;接着根据这些数据的特点,制作包含正常状态和皮带打滑故障时驴头运动时序数据的数据集;最后使用傅里叶变换提取特征,对比果蝇优化算法、粒子群算法和网格搜索算法进行SVM参数寻优时的性能。结果表明,网格搜索算法明显更优,检测效果较好,具有较好的实用价值。(3)结合本文算法在油田的实际应用场景,将本文算法部署到边缘端上,进行边云协同。然后分析边缘端和服务器端的需求,设计、实现并测试基于智能视频分析的抽油机故障检测系统,证明本文实现的系统性能较好,具有一定的实践价值。

关键词： YOLOv5   视频内容分析   深度学习   注意力机制   特征融合  

摘要： 目标检测是对图像中感兴趣目标进行识别和定位的技术,目标检测性能的好坏直接决定了目标跟踪、动作识别等视觉任务的性能。因此目标检测在计算机视觉领域中是至关重要且不可缺少的。基于深度学习的目标检测算法使用多层卷积神经网络CNN(Convolutional Neural Network)逐级提取图像特征,自主学习并获取特征信息,提高了检测的精度,缩短了检测的时间。较高的精度和实时性使得基于深度学习的目标检测算法在各领域被广泛应用。本文基于YOLOv5(You Only Look Once)目标检测算法进行改进并针对基于改进的算法对视频进行分析,研究内容如下:(1)针对目前基于深度学习的目标检测算法参数多,速度低导致检测实时性不高的问题,提出了一种基于YOLOv5的改进目标检测网络模型CGS-Ghost YOLO。首先在网络的输入端之后添加了Stem Block模块进行下采样,可以在保持较强的特征表达能力的同时提高网络的泛化能力。并且提出了CGS-Ghost卷积模块,能够在维持特征提取效果的同时在一定程度上减少网络参数。针对特征表达性低及特征中包含位置信息弱导致检测精度低的问题,在网络中的Bottleneck CSP结构中与SPPF(Spatial Pyramid Pooling Fast)模块前加入CA坐标注意力机制,加强网络提取特征的位置信息与语义信息;然后,在颈部网络使用Bi-FPN双向跨尺度链接加权融合网络,使整个特征提取网络能够融合更多的特征,检测的结果更加精确。(2)基于CGS-Ghost YOLO网络模型,结合Rep Ghost模块进行优化,维持网络性能的同时进一步减少网络参数,并使用空洞空间金字塔池化层扩大感受野,增强特征提取信息,在损失函数方面使用了SIo U Loss作为边框回归损失,考虑了预测框与真实框之间的角度、距离、形状差别,使回归运算更加高效,加快模型训练速度,提升模型检测精度。针对基于目标检测的视频分析任务,将改进后的CGS-Rep Ghost YOLO模型经过Tensor RT加速后部署至嵌入式设备Jetson Nano中,结合Deep Stream智能视频分析流程实现多模型组合检测,多路视频同时推理,智能视频分析等功能。

关键词： 文字结构化   多模态   图神经网络   对比学习  

摘要： 视频中所包含的文字信息是视频内容理解任务中需要考虑的重要因素。区别于视频中其他视觉信息要素,视频中的文字信息除了作为视频内容本身外,还能够对视频中其他内容进行描述性的补充,所以从视频中提取视频文字中的结构化语义信息,在视频检索、视频推荐、智能导航等领域中有着重要价值和广阔的发展前景。传统的文本结构化方法通过固定的模板将文字转化为结构化的文本信息,而对视频中文字信息的结构化任务则面临图像动态变化和图像背景复杂多变等困难的阻碍,并且目前视频文字结构化任务的数据量稀少,缺少大型的公开数据集。因此,面向视频内容分析的视频文字结构化任务具有极大的挑战。 为应对视频中文字更复杂的背景和空间关系,使用多模态图推理网络对视频中文字的文本语义内容与视觉语义内容两种模态进行协同学习,以获取视频中文本结构化的表示。本文的主要贡献如下: (1)针对视频文本结构化任务中,视频中的文本区域具有更丰富的背景和更复杂的空间关系的问题,本文提出了用于视频结构化文本提取的多模态图推理网络。该网络利用视频中文本区域的文本特征和视觉特征构建图的节点,文本区域间的空间关系编码为图的边,使用图注意力网络对图节点的结构化分类进行推理,并专门设计了一种对比学习方案来优化网络中视觉特征提取器。 (2)为应对数据量不足且标注成本较高的难点,本文提出了一个基于图对比学习的半监督训练方法,该方法将图像数据增强和图结构数据增强相结合来生成图视图,并通过最大化生成的两个图视图之间对应节点特征的一致性来学习节点的特征表示,以此迭代优化模型的参数。 (3)本文提出了一个新的用于视频文本结构化的数据集,其中包含视频中每个文本实例的位置、内容与结构化类别,并同时采样了公开的视频文本数据集BOVText中的部分样本,对数据集中的文本实例进行进一步的结构化类别标注。本文所提出的视频文本结构化方法在自建数据集和公开数据集上均进行了验证,并取得了较好的效果。

关键词： 深度学习   视频分析   带式输送机   目标检测   智慧矿山  

摘要： 煤矿是国家重要的基础产业,随着矿山开采技术的发展,煤矿安全形势虽然逐渐好转,但与其他行业相比,煤矿安全事故仍是我国煤矿安全管理面临的重大问题。面对日益严峻的煤矿安全生产形势,如何提前发现事故隐患,提高煤矿开采效率是目前急需解决的问题。矿用带式输送机是煤炭运输的重要大型机电设备,是煤炭输送的大动脉,也是煤矿安全事故的频发地。随着工业自动化和信息化进程的快速推进,对煤炭的日产量的需要也日益增长,这对于带式输送机的煤炭负载和运输量也随之增高。然而,在带式输送机对煤炭进行运输的过程中,煤流中常会夹杂煤矸石、大块煤、锚杆等异物,且在煤炭运输过程中带式输送机的周边区域也存在人员工作违章等安全隐患,从而引起皮带撕裂、堆煤、堵煤、人员伤亡等事故发生。因此本文围绕带式输送机的安全监测与保护进行研究,通过设计目标检测与识别网络模型对带式输送机的监控视频进行智能视频分析,从源头上建立带式输送机的安全监测与保护系统。本文的主要研究内容与创新点如下:(1)提出面向矿井人工照明光照不均匀条件下的煤流异物检测方法LEYOLOv3,并进行了系统开发和现场测试应用。首先,分析煤矿井下实际的工矿照明环境,然后基于适合于非煤异物检测的目标检测算法模型YOLOv3,提出了面向矿井不均匀光照边缘增强的改进YOLOv3异物检测算法—LE-YOLOv3来提升矿井带式输送机煤流夹杂异物检测的准确性。首先,通过在LLNet的结构中添加EEM边缘增强模块,并将该融合模块进一步与YOLOv3的网络框架相结合,增强矿井带式输送机煤流监测图像的光照信息,然后还通过线性差值和随机裁剪的混合数据集增强方法增强了锚杆数据集样本,使异物检测效果得到明显提升。最后通过客户端界面设计和系统开发,并在煤矿生产现场进行了测试和分析,验证了本文所提出的煤流异物检测方法的有效性。(2)提出面向矿井主运输巷道复杂环境的目标检测算法PS-YOLOv3,并将其应用于实时监测矿井带式输送机运转工作区域人员佩戴安全帽和危险区域入侵等违章行为监测。首先,在原始YOLOv3算法模型上加入了PS多层次特征融合模块,并对骨干网提取的不同层次特征进行聚合。同时,本课题在PSYOLOv3中的Neck层中又引入SE注意力模块,从而关注不同尺度上目标的显著性特征,提高了模型的检测能力。最后通过客户端界面设计和系统开发,并将其应用在煤矿的生产现场,结果表明,本文所提出的方法及系统具有良好的检测效果和实用价值。该论文有图32幅,表3个,参考文献85篇。

关键词： 健康传播   抖音   健康科普   短视频   传播热度  

摘要： 如今,以短视频形式来进行健康科普的方式成为健康传播的主要渠道之一。在用户庞大的抖音平台,健康科普类短视频也取得了不错的发展状况,因此,对抖音平台的健康科普类短视频进行研究可以有效促进健康传播的发展。 本文首先对健康科普类短视频的发展、现状及其优势进行分析,深入了解健康科普类短视频的详细情况及外在特点。再拟从抖音平台入手,按照点赞数从高到低排序,筛选出在2020年9月1日至2022年8月31日期间发布的200个健康科普类短视频作为样本,收集样本的点赞数、评论数以及转发数,再通过变异系数法算出每条样本视频的传播热度,并通过内容分析法对各个样本中内容方面与创作者方面的视频组成因素建立类目与编码,最终得出传播热度高的健康科普类短视频在运营及内容生产过程中所具有的主要特点,短视频中哪些因素与传播热度相关?研究发现:在健康科普类短视频的运营及内容生产过程中,影响传播热度相关的因素主要有视频题材、视频时长、视频叙事类型、视频标题句式、创作者背景与创作者粉丝数等因素。 结合研究结果,笔者认为健康科普类短视频目前存在问题,如题材不够全面,健康知识类型与疾病治疗与答疑类型占大多数;视频内容同质化较为严重,针对同一具体问题的视频较多,内容较重复;视频的创作模式较为单一,许多视频多为一个固定机位全程拍摄。笔者针对上述问题,为促进健康科普类短视频的发展提出相应的改进建议。本文希望通过此次研究能够给到健康科普类短视频创作者与平台某些参考与借鉴之处,从而逐步推动抖音健康科普类短视频的发展。

关键词： 视觉显著性预测   Vibe算法   智能视频分析   运动目标检测  

摘要： 运动目标检测是一种重要的计算机视觉技术,并且该技术的发展具有重要的战略意义和广阔的应用前景,也是当前计算机视觉和人工智能领域研究的重要方向之一,其应用广泛涉及智能监控、自动驾驶、视频分析、工业自动化等多个领域。虽然在传统运动目标检测算法和基于深度学习方法的运动目标检测算法都取得了不错的发展,但是在实际的复杂变化场景下检测结果仍会受到不同程度的影响,如动态背景、恶劣天气、非连续性运动等。现有检测方法无法有效地应对各种复杂场景下的运动目标检测问题,其主要原因是不能将运动目标与动态背景进行准确分割,造成误判。近年来,视觉注意机制得到了长足的发展。视觉注意机制是一个使生物和机器视觉系统能够从场景中选择最相关区域的机制,不但能够具有快速解决复杂场景的能力,而且在过滤场景杂波方面发挥着重要作用。本文在开展了大量理论研究的情况下,有效的将视觉注意机制与传统运动目标检测算法相结合,并论证其相关性。针对视频晃动场景,视频动态场景中运动目标的识别和优化进行了深入研究,并提出了基于视觉显著性预测的运动目标检测算法。1.本文论证视觉显著性预测与运动目标之间的关联性,从理论和量化两个方面分析得到其关联性主要是基于自上而下的视觉显著性预测机制,同时还将现有的视觉显著性预测算法结果与运动目标检测真值对比分析,根据量化评价指标系统科学地分析其相关性,为后续的模型构建提供帮助。2.本文提出了基于视觉显著性预测的运动目标检测算法,适用于复杂环境下的运动目标检测。该算法模型分为运动物体感知和运动目标提取。运动物体感知是通过传统的图像处理从人眼注视预测图中提取显著区域,并针对该区域使用稀疏光流方法提取运动显著图。运动目标提取采用一种局部随机更新背景策略的Vibe算法。3.本文在CDnet2014数据集上进行了相关实验,并选取了合适的量化指标对算法的有效性和准确性进准确评估。量化结果证明,该算法能够在部分场景下能够更加准确地突出运动目标,并且无运动目标场景中准确过滤相关噪声。

关键词： 视频监控   视频质量分析   视频内容分析  

摘要： 近年来,随着安防系统建设的不断推进,作为其主体部分的视频监控在普及度和覆盖率上也达到了一个新的高度。视频监控在各领域的安全防护中都起着至关重要的作用,尤其是在社会公共生活和工业生产领域,保障着人民生产生活安全。视频监控设备和线路可能会出现硬件损坏、传输网络不稳定等异常影响监控视频的质量,如果不能及时发现这些异常,监控设备会成为只起威慑作用的空壳。另外目前视频监控的智慧化程度还不够高,由于监控人员注意力不集中而忽略监控画面中的异常事件的情况时有发生。本文选题来源于实验室与企业合作项目,针对安全隐患较多的施工场所,为提高工地安防视频监控系统的智能化水平,设计并实现实时监控视频质量和内容分析系统,自动检测监控视频的质量问题和监控画面内发生的异常事件并产生告警,保证监控系统“看得清”也“看得懂”。本文主要内容如下:(1)对实时监控视频质量和内容分析系统进行设计。从系统需求出发,对系统进行总体架构设计与系统分层设计,并按照层次结构将系统分为系统数据层、系统算法层、系统服务层以及系统管理层,之后对系统的每一层进行详细设计。在系统算法层设计中,为实现监控视频质量高效自动巡检,设计视频质量分析定时调度算法,针对摄像头由于视频编解码或传输异常产生的非人工马赛克,提出了适用于该种马赛克的检测算法,针对画面模糊判别基于整幅图像而无法检测局部模糊的问题,对模糊检测算法进行改进,为实现视频内容自动化分析,设计建筑物倒塌检测算法、暴力行为与跌倒检测算法、入侵检测算法、物品遗留丢失检测算法以及火灾检测算法。(2)对实时监控视频质量和内容分析系统进行实现与测试。在实时监控视频质量和内容分析系统设计的基础上,首先搭建合适的硬件与软件环境,之后根据系统设计对各层进行实现,并展现实现流程与实现结果。在实现系统后,对系统进行功能测试和性能测试。

关键词： 视频分析技术   人体检测   异常行为识别   时序建模  

摘要： 随着时代的发展,智慧工厂是大型企业未来发展的主流趋势,基于视频分析的智能监控作为计算机视觉技术的一种应用,在保障厂区内人员安全、环境安全、设备安全等方面发挥着重要作用。视频分析技术在智能监控方面的应用,根据研究对象可分为环境智能监控与人体异常行为智能分析两类。目前针对环境智能监控领域的相关研究较多,且已有大量应用,而对于人体异常行为智能分析方面,由于人体行为具有瞬时性、灵活性、多样性等特点,一直是视频分析领域中最具有挑战性的任务。本文针对厂区智能监控背景,对人体异常行为分析这项关键技术展开深入研究,预期提高算法的鲁棒性和适应性。本文主要研究大型厂区背景下的人体异常行为分析,结合目前有关异常行为分析领域的相关算法,分别针对厂区的大场景和厂区人员的正常工作环境两个不同的场景,有针对性地展开研究,具体研究内容如下:针对大场景下监控画面中人体目标占比较小、人体目标检测与异常行为识别缺乏联系的问题,本文充分考虑人体检测与异常行为识别两项任务之间的联系,提出基于特征共享的人体检测与异常行为识别联合框架。该框架将检测网络的输出特征用于后续时序建模,实现了网络特征共享。算法中通过引入局部分析的方法降低背景的干扰,并将检测网络中间过程产生的浅层特征与检测网络输出的深层特征进行融合,增强人体行为特征的表征能力,提高网络特征利用率。在大场景数据库上对提出算法进行测试,实验结果达到预期,验证了提出的联合框架的有效性。针对工作人员的正常工作环境背景下,异常行为种类多且相似度高,导致检测网络提取的特征对于动作的细节表征不足的问题,从特征增强和改进时序建模网络两个方面进行优化与改进,提出了基于特征加强的人体检测与异常行为识别联合算法。首先引入特征加强网络,强化人体行为细节特征的表达能力,其次引入Transformer网络进行异常行为时序建模,强化行为动作跨域特征之间的交流。在大型公开数据库上进行测试,实验结果验证了本文算法的有效性。

关键词： 安全管理工程   空中交通管制员   智能视频   睡岗   行为识别  

摘要： 空中交通管制员是空管安全的核心参与者,对管制员不安全行为进行管控是民航安全管理体系建设的必然要求。睡岗行为作为典型的空管不安全行为,是民航安全运行的重大隐患。基于智能视频分析技术,对管制员的睡岗行为进行识别,可以有效提高空管运行风险防范化解能力。为准确识别管制员的睡岗行为,本文首先建立了基于面部多特征融合的管制员瞌睡识别模型,其次构建了基于双流自适应图卷积网络的管制员睡岗识别模型。从管制员面部状态以及肢体动作两个角度开展针对管制员睡岗行为的研究。 首先,分析管制员的面部特征。以区分管制员正常工作状态与面部瞌睡状态为研究目标,实现管制员面部精准定位,确定眼部特征点与嘴部特征点空间坐标,基于眼部长宽比特征以及嘴部长宽比特征,综合考虑管制员睁闭眼以及嘴部开阖中的时间序列,建立基于面部多特征融合的管制员瞌睡识别模型。该模型在空中交通管制员面部状态数据集上对管制员睡岗状态识别准确率达91.67%。 其次,研究空中交通管制员肢体动作特征,在分析界定正常肢体动作与睡岗肢体动作的基础上,建立包含点头瞌睡、低头入睡以及后仰入睡三种睡岗肢体动作的空中交通管制员肢体行为数据集;针对Open Pose姿态估计算法参数量大、耗时久的问题,利用Mobile Net替换原有的VGG19网络,同时合并生成关节点置信图和肢体躯干亲和域的两个分支,并且使用带空洞卷积的网络块代替大卷积核,实现网络结构轻量化,加快管制员关节点数据提取,为基于双流自适应图卷积网络的管制员睡岗识别奠定数据基础。 最后,建立基于双流自适应图卷积网络的管制员睡岗识别模型。设计双流网络分别处理管制员骨架数据的一阶信息和二阶信息;建立自适应学习的骨骼拓扑连接矩阵,挖掘不同关节之间的功能连接关系;在卷积层引入注意力机制,增强模型提取重要信息的能力。在空中交通管制员肢体行为数据集进行训练测试,识别准确率达95.23%。在某空中交通管制室开展实例分析,证明该方法对管制员睡岗行为识别的有效性。 本文建立了基于面部多特征融合的管制员瞌睡识别模型以及基于双流自适应图卷积网络的管制员睡岗识别模型两种模型,从管制员面部特征以及肢体动作两个角度开展管制员睡岗行为识别研究,为解决空管安全治理问题提供了新思路。

关键词： 实景三维   智能视频分析   视频图像处理   YOLOv5m   安全检测  

摘要： 随着高校规模的逐步发展,高校已不再是“象牙塔”,日益成为一个开放型的“小社会”,存在校园管理难度大、安全隐患多等问题。校园安全作为学校发展的底线要求,是校园建设的核心之一,加强校园安全管理迫在眉睫。实景三维能够在数据虚拟空间中对现实校园进行真实、立体、时序化的表达。再结合智能视频分析技术对实时监控视频进行分析,可以更及时、准确地发现安全问题,提高校园安全检测能力。 本文结合新型遥感技术、图像处理、深度学习等多种技术进行实景三维、基于视频的高层实验室夜间使用检测方法、基于视频的火情检测方法以及安全检测系统的研究,实现了校园全空间实景三维底座整合构建、基于视频图像处理的高层实验室夜间检测、基于改进YOLOv5m模型的室内火情检测以及融合智能视频分析与实景三维的校园安全检测系统。主要研究内容如下: (1)校园全空间实景三维底座整合构建 以福建某高校为研究对象,基于无人机倾斜摄影、三维激光扫描与无人船测量系统技术构建地上下、室内外、水上下的校园全空间实景三维模型底座;通过格式转换、轻量化、数据服务发布等处理技术,实现模型在Cesium平台下正确且高效加载,完成校园全空间实景三维底座的整合;最后,利用动态单体化与视频纹理技术,实现实验室数据、视频数据等物联感知数据与对应的地理实体数据的时空关联与融合,赋予了实景三维底座感知现实的能力,构建了真实、立体、可时序化反映现实的数字虚拟校园。 (2)基于视频图像处理的高层实验室夜间使用状态检测方法 首先,对监控视频图像进行视频图像裁剪、灰度化以及降噪完成图像预处理。其次,设计一种基于NCC模板匹配与近邻传播聚类的高层实验室定位算法,实现从日间监控画面中自动提取高层实验室位置信息。接着,通过比较常见的阈值处理方法,选择OSTU阈值分割算法提取夜间监控画面中高层实验室夜间亮度信息;最终,结合高层实验室位置信息与高层实验室夜间亮度信息,构建高层实验室夜间使用状态检测算法。经过多次实验验证,该算法的平均检测准确率为98.67%。 (3)基于改进YOLOv5m模型的室内火情检测方法 首先,分析YOLO系列模型后,选择YOLOv5m作为原始模型进行网络改进。其次,在模型的主干网络嵌入CBAM-Net,提高模型获取小火情特征的能力。接着,将模型的GIo U损失函数改为CIo U,使预测回归更精准。接着,构建室内火情数据集并训练模型。最终,实验结果表明改进后的YOLOv5m模型的火情检测效果优于原始模型,其精确率与平均精度均值分别为87.2%与81.2%,较于原始YOLOv5m模型分别提高了5.1%与2.4%,同时改进后的模型检测速度为84FPS,满足实时火情检测的需求。 (4)融合实景三维与智能视频分析的校园安全检测系统设计与实现 基于Cesium框架、Spring Boot、图像处理等多种技术构建了该系统。系统将智能视频分析结果、实验室人财物数据以及其他分散独立的信息建立相互之间的耦合关系,开发了实验室夜间使用检测、火情检测、实验室管理等功能模块,实现了在校园实景三维底座上进行三维、全面、动态的检测、定位校园安全问题,为校园管理部门提供一个更智能、更全面的安全监管平台。