关键词:
智能水利视频分析系统
FPGA边缘设备
语义分割
目标检测
行为识别
摘要:
水利视频分析系统在水利监管行业的发展过程中扮演了重要的角色,对于水资源的保护具有重要意义。近年来,随着深度学习技术的蓬勃发展,视频分析智能化技术的应用逐渐深入水利监管行业,它基于深度学习分析算法对视频的图像数据进行解析得到告警数据,逐步替代传统人工监测审核的方式,实现监管流程的自动化,提高监管效率。由于水利监控设施搭建在户外环境,通常使用嵌入式边缘设备或AI专用芯片来部署深度学习模型,而一般的嵌入式边缘设备和专用芯片只能部署几种特定的模型,灵活性较差,泛化能力弱,难以适用于多样的水利场景。FPGA是现场可编程逻辑门阵列,具有低功耗和可编程的特点,能对部署算法进行迭代升级,灵活性较高,广泛应用于边缘计算领域,比较适合复杂的水利场景。因此,本文采用Xilinx公司的FPGA边缘设备Kria KV260开发套件作为部署环境,提出了一种面向水利场景的轻量级语义分割网络和两种面向水利监控视频的分析算法,并设计实现了基于KV260的智能水利视频分析系统。本文主要的工作如下:
(1)设计了一个能部署在KV260设备上、适用于水利场景的语义分割网络。在对比目前语义分割网络特点后选择了双边分割网络Bi Se Net,并进行结构化改进,提出了适用于水利场景下的轻量型语义分割网络Water_Bi Se Net,同时采用蒸馏、量化等技术改善模型在KV260设备上的表现能力。实验表明,Water_Bi Se Net能在一定程度上提高原网络在小目标边缘的分割效果,MIo U相比于原网络提高了1.09%,运行速度快了4ms,经过量化后的模型大小仅有5.8M,在KV260上的分割速度能达到30.3ms/帧。
(2)设计了两种能部署在KV260设备上的水利场景分析算法。1)提出了一种基于深度学习的水面目标快速检测算法,该算法使用YOLOX-Tiny神经网络作为基准网络,并根据部署环境特点对网络进行深度可分离卷积替换、融入特征细化结构等处理,提高检测速度。对比实验表明,本算法对漂浮物等水面小目标的检测效果更好,m AP能够达到93.31%,且检测速度能达到9.6ms/帧,满足高实时性的要求。2)提出了一种针对往水域中扔垃圾的行为识别算法,该算法采用“两步”策略,第一步先通过Water_Bi Se Net语义分割网络得到图像中的水域、人和垃圾信息,根据三者间的相对距离进行初步判断;第二步截取满足距离条件的图像区域,并将其送入到Efficient Net-B3分类网络中进行更精确的分类。通过实验测试,该行为识别算法的平均准确率能达到94.7%,平均检测速度能达到41.2ms/帧。
(3)设计了一个基于KV260设备的智能水利视频分析系统。该系统分为采集计算层和中心管理层:采集计算层搭建在KV260设备上,充分利用设备特点,将编解码、图像前后处理、AI推理等任务合理分配给VCU、CPU和DPU等硬件组成,实现了拉流、解码、图像分析和告警信息上报等功能;中心管理层搭建在PC服务端,通过搭建流媒体服务模块和信息管理模块,实现了告警数据存储管理和多路视频展示等功能。系统测试结果表明本系统能满足水利监控视频分析的基本需求。