关键词： 转视频监控   深度学习   智能视频分析系统   机位管控  

摘要： 借助深度学习等新技术，视频监控技术正逐步演变成新一代的场面监视手段。本文从视频监控技术和人工智能技术在场面机位管控中的应用出发，介绍了现有智能分析技术的应用和实现方法，以及未来视频场面监视技术的发展方向，并对场面视频技术前景进行了预测。

关键词： 智能视频分析   智慧车站   神经网络   人脸识别   地铁运营  

摘要： 智能视频分析在智慧车站的应用主要包括视频质量诊断、视频智能检索、人脸识别和比对、智能行为分析等。在此重点介绍智能视频分析引擎技术。智能视频分析引擎技术，通过对摄像机拍摄的视频进行智能分析，实现对视频场景中所关注目标的识别、定位和跟踪，通过神经网络深度学习算法，分析、判断目标行为，从而提高地铁运营的管理效率和服务水平。如何将车站暴力事件及危害轨道交通安全的事故进行有效管控，做到事前干预，主动预警，快速查询事件，提高应急事件联动处理能力。

关键词： 十秒手部抓握试验   颈椎病   手部动作   视频分析   电子医疗记录   多源数据   疾病预测  

摘要： 长期以来,颈椎病在中老年人群中具有较高的发病率。根据大量临床研究结果,人体的手部灵活性和颈部神经之间存在紧密联系。骨科医生在门诊过程中对患者进行颈椎病检查时,通常会让患者进行一次十秒手部抓握试验,并以此试验的结果,即患者在十秒内的抓握次数作为对病情的初步判断。到目前为止,十秒手部抓握试验的计数仍然由医生进行肉眼计数。当患者的手部抓握速度太快时,肉眼计数容易出现错漏,从而可能导致发生误诊的情况,影响患者的后续治疗。为了解决上述问题,本文提出了一个使用基于三维卷积网络的手部动作分析模型,此模型加入了去除分类抖动的机制以提高动作分析准确率。由于目前学术界和社区之中尚未有针对手部抓握试验的专用数据集,本文收集了由750名受试者录制的1500个十秒手部抓握试验视频,对所有视频进行完整的标注并建立了数据集。本文提出的分析模型使用三维Mobile Net V2作为分类器,获得了97.40%的平均手部动作分析准确率和对于每个十秒抓握试验视频的3.31秒的平均推理时间。这样的准确率和推理速度可以确保将此模型用作颈椎病的筛查工具和为治疗计划提供决策支持的医疗辅助工具。在完成对抓握试验视频的手部动作分析后,本文将手部运动数据与对应患者的电子医疗记录结合,基于此,使用深度学习模型来预测患者患有的颈椎病类型。在现实生活中,骨科医生对于患者的诊断是一个综合的信息归纳、总结过程,需要基于患者的医疗记录进行全面考虑,这对于骨科医生的经验要求非常高,需要多年的学习和研究才能进行独立的诊断工作。而基于人工智能的模型可以大大加快这一学习过程,快速地学习成千上万的患者的电子医疗记录,综合分析多源数据,高效且准确地得到诊断预测的结果,辅助骨科医生进行诊断工作。本文提出的电子医疗记录分析模型分别对记录中的非结构化自由文本和结构化数据进行特征提取,然后通过特征融合获得完整的电子医疗记录的向量化表示。再通过注意力层自适应地调整权重,进一步提高了模型的诊断预测准确率和可解释性,最终取得了0.91的预测准确率。此外,还探讨了多源数据组合的丰富度对于模型性能的提升,并验证了十秒手部抓握实验的运动数据对于颈椎病诊断的辅助作用。

关键词： 目标检测   行为识别   知识蒸馏   视频内容分析   视频广告插入  

摘要： 互联网的快速发展与全球视频网民的快速增加,使视频平台快速发展,也为视频经济发展注入了巨大的动力。广告收入是视频经济利益的来源,能带来巨大的商业效益。但无节制的投放广告会严重影响用户的观看体验,这既损害用户利益也对视频平台发展不利。有研究表明,当广告内容与视频内容之间存在联系时,能够提高用户对广告的接受度。本文的目标是构建一个基于视频语义的广告插入系统。视频语义丰富多样,本文从目标语义和行为语义两方面信息为依据进行广告插入。首先,以视频中含有的目标语义为切入点作为广告筛选的依据。采用单阶段目标检测算法提取视频目标语义。算法网络分为特征提取、特征融合和识别检测三部分。特征提取利用卷积神经网络提取图像特征。特征融合将特征提取网络中不同尺度的特征图进行融合,最大程度利用不同网络深度提取到的特征信息之间的差异。识别检测使用卷积和全连接对目标的预测框进行边界回归同时进行物品分类,用一个网络同时获得目标的类别信息和位置信息。其次,从行为语义理解视频的主要内容,进行相关广告插入。本文研究了基于多流的行为识别算法。结合RGB、光流和人体骨架三种数据的特点提高行为动作的识别率。三种数据流信息相互补充,通过将三种数据流融合判断的方式提高网络的识别准确率。光流和人体骨架的推理本身需要大量算力,采用知识蒸馏的方式迁移光流和人体骨架信息到RGB图像中,减少网络计算量。最后,本文将两部分进行结合设计基于视频的目标语义和行为语义的广告插入系统。本文设计了一个基于视频内容的广告插入系统,加强视频内容与广告内容的联系,并以类似弹窗的形式展现广告,在给用户最小观看厌恶感的同时引起用户的兴趣,实现广告插入的优化。

关键词： 行为识别   深度学习   视频安防   监控系统  

摘要： 当前人工智能领域发展迅速,计算机视觉技术在生活和工业生产中的很多领域的应用已经普及,如何将深度学习技术应用于智能视频分析领域,已成为研究的重点方向。其中,人体行为识别是当前计算机视觉领域重点研究方向,其不仅可以在医疗、自动驾驶等领域有所发展,亦可以替代人工来智能识别视频中的行人动作,为提高公共场所安全指数提供智能化方案。因此,如何提高人体行为识别算法在各种场景下的性能是目前基于视频的智能识别领域的热点问题。本文基于双流网络架构针对现有的深度行为识别模型存在的训练容易过拟合、计算资源要求高、不能充分提取长时域特征的问题,采用多种改进策略,提出了基于快慢邻域特征融合的时域分割网络模型(TSF),并利用改进后的模型针对粮仓作业这一特定场所的不安全行为进行训练调优,设计并实现了基于智能视频分析的粮仓安全作业预警系统。具体来说,本文完成了以下工作:首先,为了能够提高双流网络结构在视频识别中长时间动作识别能力,针对TSN这一模型进行改进,结合Slowfast网络提出了一个利用邻域融合策略提取长时域特征的动作识别方法。首先,将视频分段,对每段进行非对称稀疏采样,通过快慢网络提取阶段性时空特征。然后把相邻时域的特征矩阵进行拼接,获得阶段性特征,随着特征的不断丰富使得网络逐渐聚焦动作区域。最后,通过对每个阶段取得的阶段性结果进行平均加权计算,得到视频级别的结果。实验表明,本文所使用的改进方法可以使网络更快地达到最佳权重,同时有效地提高识别准确度。然后,对粮仓不安全作业行为分析,进行模型训练调优和应用,结合不安全行为标准对粮仓作业行为进行分类并生成数据集,同时使用迁移学习和分层训练方法来更好地训练模型。最后,设计并实现了基于智能视频分析的粮仓作业安全预警系统,可以自动检测粮仓内的不安全行为,对不安全行为进行及时预警来减少事故的发生,提高安全管理水平。

关键词： 智慧工地   视觉感知技术   智能视频分析   实时分析架构  

摘要： 随着社会的日益进步和技术的飞速发展,对施工场地的安全风险监管智能化、智慧化程度要求越来越高。当前,工地上的监控摄像机较多基于单个算法工作,功能较为单一;部分摄像机可能配备有多个算法以适应不同位置或场景,但在移动过程中或移动后需要重新调整设置,使用不便;且多路摄像机之间缺乏联动,无法自动分工,需要人员手动调整;如果对视频内容进行完全检测,算力需求较高、实时性低。因而,工地视频的自动检测率较低、大量视频无法进行及时检测,造成工地监控系统智能分析过程柔性度差,难以动态定义感知流程,难以形成全过程、全时域的动态多算法组合检测,甚至造成大量的视频内容浪费。针对上述问题,本文设计了一种监控视频的柔性实时分析架构FRTA;设计了动态定义感知流程,形成全过程、全时域的动态多算法组合检测的智慧工地多路视觉感知方案;设计实现了面向智慧工地的多路视觉感知系统,解决了系统设计与实现过程中的诸多问题。主要工作包括:(1)设计了监控视频的柔性实时分析架构FRTA:根据系统资源使用情况、任务紧急程度和重要程度、感知算法精度、感知算法效率等多方面因素动态选择算法、算法版本,解决了摄像机功能单一、视频内容无法及时被检测和摄像机移动监测问题;将任务编程与黑板模式的结合,高效生成视频流任务,解决数据复用并保证了视频帧序列的时序有效性,实现多智能算法同时检测分析有序视频帧的无序计算;通过视频帧唯一标识、小根堆算法设计优先队列和限时等待,保证处理完毕后的视频帧输出的有序性和实时性。(2)设计了动态定义感知流程与多路视觉感知方案:通过快速聚焦适配算法、事件分级、设定视频帧内存存在时间等设计,使用高并发技术按照任务产生顺序计算,避免大量图片存在造成内存溢出,保证了视频的流畅度和实时性;通过源流复用与任务动态绑定联结多路摄像机,实现多路视频流自动分配算法级别,实现相互配合,避免重复检测,或着重提高检测精度;将检测结果和原始视频流分离,保证了视频源流不被污染;在视频帧内绘制检测分析结果,将检测分析结果反映在视频流中。(3)设计实现了面向智慧工地的多路视觉感知系统:设计接口适配器兼容市场常见摄像机等设备;实现用户自定义视频流、智能算法组合;根据用户需求设置检测级别,弹性分配资源,避免资源浪费,减少系统建设成本;采用智能化的柔性设计,让系统易于扩展和维护,提高了工地智能化水平。

关键词： 安全管理工程   空中交通管制员   疲劳识别   行为识别   深度学习  

摘要： 人工智能技术的快速发展,为智能化技术在多领域的应用提供了技术支撑。基于视频的行为识别技术由于其实时性、高检测率等优点,逐渐应用于空中交通管理领域,成为当前的研究热点。空中交通管制员安全风险管控是中国民用航空安全研究的重要组成部分,管制员的工作状态直接或间接地影响着民航运行安全。为实时识别管制员的在岗行为,本文分析管制员特殊行为表现,从面部和肢体两个角度开展管制员行为识别的研究,提出适合管制员的面部及肢体行为识别方法。首先,分析管制员工作时的面部行为表现,确定以区分管制员嘴部哈欠行为与陆空通话行为研究目标。从管制员嘴部活动的特殊性展开研究,提出一种优先提取嘴部活动几何区域、而后结合卷积神经网络(Convolutional Neural Network,CNN)以及长短期记忆网络(Long and Short Term Memory Networks,LSTM)的管制员哈欠行为识别模型。建立管制员嘴部活动数据集CAUC-ATCM训练识别模型,从而准确区分管制员的嘴部行为。其次,分析管制员的肢体行为表现,总结管制员的正常肢体行为表现以及具有疲劳倾向的肢体行为表现,采集包括9种行为的管制员肢体行为数据集CAUC-ATCA。构建基于Open Pose的人体姿态估计方法对CAUC-ATCA数据集进行姿态估计及18个骨骼关键点提取;提出一种管制员坐姿骨骼关键点优化算法Open Pose＿ATC,得到CAUC-ATCA数据集内不同行为的骨骼关键点优化数据,为下一步的行为识别提供有效的数据支撑。最后,从面部及肢体两个方面开展管制员肢体行为实时识别研究。搭建基于Yolo V5的多人人体目标检测模型提取管制现场的人体目标;建立基于Deep Sort的目标跟踪模型实现多人的同步跟踪。提出一种基于骨骼关键点优化与时空图卷积网络结合的管制员肢体行为识别模型,利用CAUC-ATCA视频数据集训练模型以准确识别管制员的9种肢体行为,同时开展实时应用测试,证明本文的方法可用于实时的管制员行为识别。为实现对管制员行为的准确识别,本文从面部识别及肢体识别两个方面分析管制员工作的特殊性并深入研究。提出了两种分别适用于管制员嘴部活动及肢体活动的识别模型,开展管制员肢体行为实时识别实验,促进了智能技术在空管难题中的应用。

关键词： 网络文化安全   多模态特征融合   短视频   内容分析  

摘要： 随着移动智能手机的普及和网络技术快速发展,互联网正在潜移默化地影响着人们的思维方式,人们对互联网的依赖程度逐步提高。互联网极大地便利了人们的日常生活,但是网络的弊端也在逐渐暴露,如辱没英雄烈士等各种不文明现象。不良信息不仅会污染网络空间,还会造成重大经济损失,甚至可能会威胁国家的政治和国防安全。随着移动互联网技术发展和5G技术的应用,网络带宽不断增加,网络中的内容传播的主要形式已经由原来超文本方形式逐步演变到以短视频形式为主。所以,目前短视频内容安全己成为我国网络文化安全的重要组成部分。因此,需要利用视频内容分析技术对短视频内容进行智能化分析,从而挖掘出短视频中蕴含知识和信息,并及时快速应对处理,这对于净化网络空间和维护国家长治久安有着重要作用。本文针对上述问题,做了以下工作:(1)目前,有关视频内容分析的公开数据集基本上都是以英文数据集居多。对于我国网络空间文化安全研究,需要以中文短视频内容为主体开展研究。而相对于英语而言,汉语的研究就复杂了许多。本文通过爬虫技术爬取移动互联网短视频,对抖音短视频数据进行清洗和标记,最后整理数据集用于实验。(2)本文将基于深度学习的视频内容摘要提取方法与短视频标题、内容图片OCR等多维信息融合,建立了一个基于多模态特征融合的短视频内容识别模型VPW-Bert。本文使用句子特征提取模块提取三种模态信息的特征,并将自我注意机制应用到多模态特征融合中。实验表明,该方法可以弥补利用多模态特征方法分析和理解短视频内容的不足。(3)本文提出了一套适用于基于Video-Text的多任务短视频网络安全问题判别框架,可以通过修改判别模块来进行判断网络短视频信息内容存在的各种不安全问题。该框架主要包括两个模块分别是VPW-Bert模块和判别模块。该框架具有通用性和结构简单性。

关键词： 人群计数   车辆轨迹计数   智能视频分析  

摘要： 近年来,随着深度学习的快速发展,基于视频的智能分析系统成为了当前的热门研究课题。复杂的场景、多变的天气条件、在线处理的现实需求、快速增长的数据量以及无人机等各类设备的普及等一系列问题均为此带来了挑战。本文主要针对于人群计数与车辆轨迹计数两个视觉任务进行研究。对于无人机拍摄视频中的人群计数问题,本文对CSRNet人群计数网络结构进行了改进,并根据数据集特点利用光流提取、暗光增强、语义分割等模块对数据进行了有针对性的处理。在语义分割模块中,为解决数据集无语义分割标注的难题,设计实现了一种高效的半自动分割标注方法进行数据标注,使用改进的HRNetv2网络分割出建筑物区域以排除干扰。在VisDrone-CC2020数据集上的实验结果证明了此方案的有效性。针对无人机拍摄视频人群计数任务中的背景干扰问题,本文设计实现了一种改进方案,通过多尺度预测和权重分支实现多尺度特征自适应选择,最终取得了与语义分割模块一致的效果提升,值得进一步探索。对于城市交通监控视频特定路线车辆轨迹计数问题,本文设计实现了一种高效的车辆轨迹计数系统,同时满足了物联网设备在线运行的需求。本文利用暗通道去雾算法对恶劣天气状况下的视频进行预处理,以提升视频质量;为检测模块设计了检测框过滤、重分类等后处理策略,以应对测试数据集与预训练数据集的不一致性。针对在线轨迹计数任务,本文设计了一套完备的轨迹结束判断规则和高效的二级分类策略。此外,本文对系统中比较耗时的模块进行了改进优化。此方法参加了 2021 AI City Challenge竞赛并取得了第七名的成绩。

关键词： 智能视频分析技术   轨道交通   城市交通  

摘要： 城市轨道交通日益完善,轨道交通的监管工作愈发困难。在城市轨道交通中应用智能视频分析技术能够对城市交通进行动态监督,降低交通事故的发生概率。文章介绍智能视频分析技术的基础概念与应用原理,分析智能视频分析技术在实际应用中的核心技术,指明该技术在城市轨道交通中的应用要点,为相关工作的顺利进行提供参考。