关键词： 深度学习   指针式仪表   EfficientDet   D2-Net   DeepLabv3  

摘要： 随着“电网2.0”、“三型两网,世界一流”、《坚强智能电网技术标准体系规划》等战略目标的提出,实现电网的安全可靠和经济高效已然成为建设的主旋律。变电站作为智能电网建设中的关键环节,其核心是通过指针式仪表进行巡视监测和控制保护,而人工采集仪表读数不仅流程繁琐、效率低下,且容易产生误读漏读等问题。本文基于深度学习的理论思想,提出了一种指针式仪表示数智能识别方法,以实现仪表示数的自动化读取。本文主要研究内容为: 针对由光照不均匀、仪表安装背景不一、仪表老化模糊等复杂场景导致的表盘检测与类别判断问题,提出了基于改进Efficient Det的目标检测模型。该方法首先在主干网络中引入Sim AM注意力模块,给具有空域抑制效应的神经元赋予更高的权重去处理视觉任务,并对Bi FPN的跨层数据流进行优化,提出了Multi-span Bi FPN特征融合策略。实验结果表明,改进Efficient Det网络的m AP达到了99.38%,相较于原模型提高了7.12%,检测性能和模型大小均优于Faster R-CNN等其他模型,能够实现复杂工况下仪表的准确定位。 针对实际工况下仪表倾斜、变形、反光等不利于示数判别的情况,提出了基于改进D2-Net的图像配准模型。该方法在D2-Net的主干网络中引入Ghost模块替换常规卷积,并在最大池化层后引入CA注意力机制,实现在降低模型计算量的同时,提高特征点和描述子检测的鲁棒性。实验结果表明,改进D2-Net网络在不同图像分辨率下的计算耗时均优于原模型,在像素阈值5px下的MMA明显高于其他算法,且在含有图像噪声的复杂场景下仍能获得足够的正确匹配项。 针对传统视觉算法在面对低质量图像分割性能不佳、鲁棒性较差等问题,提出了基于改进DeepLabv3+的表盘信息提取模型。该方法使用了更加轻量化的Mobile Netv3替换原模型的Xception作为特征提取网络,并将网络中的ASPP特征融合模块改为密集连接形式,将其由原来的独立分支法改为级联法,以增大模型的感受野。实验结果表明,改进DeepLabv3+网络的参数量仅为17.79MB,分割速度相较于原模型提升了约1倍,m IOU、m PA分别达到了91.27%和95.36%,优于原模型和U-Net等其他模型,能够有效提取低质量图像的表盘信息。 针对指针仪表的示数判读方案,提出了一种基于PCA和角度法的示数测量方法,并通过比较指针首尾端点到回转中心的向量模大小来判断指针方向。最后,构建由图像收集、处理和数据存储模块组成的示数判读系统,实验结果显示,本文方法的示数判读结果均维持在较低的误差值,满足了精准度和鲁棒性的要求。

关键词： 指针式仪表   卷积神经网络   表盘检测   表盘分割   模型部署  

摘要： 在现代化工业生产中,指针式仪表作为一种重要的监测手段,因其成本低、结构简单等固有优势,被广泛应用于工业生产中,对不同设备和工艺参数进行实时监测。传统的人工巡检抄表方式工作量大、错误率高、即时性差,且效率低。同时,极端天气和设备辐射等恶劣条件,对采集仪表数据的工作人员自身存在一定的安全隐患。因此,研究指针式仪表示数自动读取技术,具有十分重要的现实意义。 本文的主要研究内容有: (1)使用图像处理算法识别指针式仪表示数。首先,使用特征匹配算法对采集的倾斜和旋转仪表图像进行校正,使其呈现对称状态。其次,针对校正后的仪表图像进行预处理操作,包括图像二值化、膨胀和腐蚀。而后,在边缘检测基础上利用霍夫变换算法检测表盘所在圆和指针所在直线,并利用模板匹配算法定位零刻度点。最后,根据指针与零刻度线间的角度关系读取仪表示数。 (2)提出一种改进YOLOv5网络的表盘检测方法。首先,对仪表数据集进行数据标注,生成相应的训练文件,并使用YOLOv5网络训练仪表表盘检测模型。其次,针对YOLOv5网络模型检测表盘时精准度不高这一问题,对网络结构进行改进:原网络颈部部分中的所有C3模块被C2f模块替换,使用复合定位损失函数训练网络。而后,将改进的YOLOv5网络与同类型的YOLOv3、YOLOv4和YOLOv8网络进行性能对比。最后,使用最优网络模型检测仪表,根据网络返回的表盘位置信息,截取表盘图像,为下一步刻度和指针的分割奠定基础。 (3)提出一种改进UNet++网络的表盘分割方法。首先,在仪表识别后截取的表盘图像基础上,标注刻度和指针区域,生成训练使用的掩膜图。其次,使用UNet++网络训练表盘分割模型,并针对刻度分割不完整这一问题,对网络结构做出改进:在网络的下采样路径中使用不同扩张率的扩张卷积,在网络跳跃连接路径中添加注意力机制,同时使用复合损失函数训练网络。而后,利用改进的UNet++网络完整分割出表盘中的刻度和指针。最后,使用同心圆采样法将环形刻度区域展开为平面矩形,并利用距离法读取示数。 (4)将网络模型部署至嵌入式平台。为满足监测系统平台体积小、检测范围大、检测速度快的特点,选用NVIDIA Jetson Nano开发板作为嵌入式平台。首先,将PyTorch框架下训练的模型转换为神经网络交换格式,再将神经网络交换格式转换为TensorRT框架下推理加速的引擎文件;而后,通过TensorRT框架对网络模型进行张量和卷积层的合并;最后,利用TensorRT进行模型的推理加速实验,并对比加速前后的模型精度与速度。

关键词： 指针式仪表   模板匹配   YOLOv5-CCC   示数识别  

摘要： 传统指针式仪表因其具有结构简单,生产成本低等优势,在工业生产过程中有着广泛的应用场景和重要的应用价值。目前指针式仪表读数方式多为人工抄表,针对指针式仪表人工抄表的工作效率低、过失误差频繁出现等问题,基于机器视觉的自动抄表方法逐渐得到关注,目前机器视觉的自动抄表方法在检测精度和速度方面仍有提升空间,而且当前方法少有考虑表面反光对仪表示数识别带来的干扰问题,本文提出了一种基于机器视觉的指针式仪表自动读数方法,其中包括图像采集系统的搭建与数据集的建立、三特征点策略、基于形状的模板匹配、YOLOv5网络模型和表盘示数识别等。课题的研究内容分为以下几个方面。 本文提出一种三特征点策略来完成指针表示数识别,该策略的核心是定位出指针旋转中心(即表盘中心点)、指针尖端位置和零点刻度这三个特征点,再根据三特征点可以求得指针与零点刻度线的夹角,指针偏转角与仪表示数之间存在数学关系,利用这个关系便可以得到指针表的示数。本文提出两种定位特征点的方法,一种是基于多尺度HPPT(High probability preference for target,HPPT)的模板匹配法,另一种是基于YOLOv5-CCC(将融入CBAM注意力机制、CARAFE替换原有上采样和CIo U替换原损失函数的YOLOv5算法称为YOLOv5-CBAM-CARAFE-CIo U算法,简称YOLOv5-CCC算法)的深度学习法。 针对目前机器视觉的自动抄表的读数精度低和识别速度慢的问题,本文提出了一种基于多形状模板定位策略的方法。方法的核心是提出一种基于形状的目标出现的大概率偏好的模板匹配法(HPPT),通过判断匹配目标的存在概率对匹配过程进行优化,在保证匹配准确性的同时提高匹配的速度。通过实验可知,本文的方法对指针表示数识别的平均引用误差为0.20%,平均识别一张图像的速度为0.31秒。具有较高的精度和较快的检测速度,有一定的实际应用价值。 针对仪表表面反光干扰示数识别的问题,本文提出了一种YOLOv5-CCC网络模型进行目标识别,定位所需特征点来进行指针式仪表的示数识别。然后通过三特征点策略来完成指针表的示数识别。实验结果表明,YOLOv5-CCC模型在反光仪表图像上可以准确定位出仪表盘、指针和零点刻度。对带有反光的仪表进行示数识别的平均引用误差为0.35%,可以克服反光的干扰有效识别仪表示数,具备实际的应用价值。

关键词： 指针式仪表   图像处理   拟合指针   图像回归   读数计算  

摘要： 由于指针式仪表具备稳定的机械装置、便捷的部署方式、低廉的应用成本和有效的抗干扰性能,在航空航天、无人驾驶、工业制造、变电站和核电站等重要领域中广泛应用。随着计算机技术和深度学习算法的迅速发展,如何借助计算机视觉技术提高自动识别指针式仪表的读数准确率已成为该行业研究与应用的热点。针对固定式安防摄像头采集的仪表图像中存在仪表盘倾斜、旋转、指针拟合自动化性能较低以及仪表读数步骤繁杂、耗时的问题,本文基于深度学习的方法展开了相关研究,旨在实现指针式仪表图像校正和自动计算仪表读数的目标。具体研究工作如下: (1)研究仪表图像倾斜和旋转校正的方法。本文基于目标检测算法,定位并识别仪表中的刻度数字,使用最小二乘法拟合刻度所在位置的椭圆方程,利用椭圆和圆的几何关系,解决了仪表图像校正的问题。应用阈值分割算法分割指针根部,通过区域搜索算法拟合指针直线方程。使用指针附近多个刻度计算仪表读数,基于多个刻度到指针的距离提出加权角度法(WAM)提高仪表读数准确率。实验表明,在校正后的仪表图像中计算的仪表读数误差比在校正前的仪表图像中计算的读数误差降低了50%左右,表明面向仪表图像计算仪表读数时校正仪表图像的必要性。 (2)研究基于语义分割模型拟合指针直线方程的方法。为了同时在仪表图像中获得刻度和指针的量化信息,本文基于Swin-Unet语义分割模型分割刻度和指针的像素区域,设计了一个Swin Transformer图像分类模型识别刻度的数值,基于骨架提取算法和最小二乘法,提出圆环法(RM)拟合指针直线方程。根据刻度到指针的距离自适应计算加权角度法的权重,提出自适应加权角度法(AWAM)计算仪表读数。实验表明,RM算法拟合指针直线方程鲁棒性较强,解决了语义分割结果存在的锯齿状现象,可以适用于不同的语义分割模型。RM算法和AWAM算法在校正后的仪表图像中计算的仪表读数误差最低,表明想要提高仪表读数的准确率不仅取决于指针直线方程拟合的准确率,而且需要考虑指针附近多个刻度并校正倾斜和旋转的仪表图像。 (3)研究面向仪表图像直接预测仪表读数的模型。针对现有方法在时效性要求严格的场景下存在读数计算步骤繁杂和时间消耗较长的问题。本文另辟蹊径,直接使用校正后的仪表图像通过SDSM-DenseNet模型提取仪表图像不同层次的语义特征,读数修正模块(RCM)使用不同层次的语义特征预测并修正仪表读数。实验表明,相比于不同的注意力机制模型和不同的特征提取模型,SDSM-DenseNet模型计算的仪表读数准确率更高。SDSM-DenseNet模型比其他仪表读数计算方法的相对误差降低了42%左右,引用误差降低了39%左右。在计算校正的单张仪表图像读数时,SDSM-DenseNet模型仅仅需要0.021秒。

关键词： 指针式仪表   深度学习   YOLOv7-tiny   DeblurGANv2  

摘要： 在石油化工厂中,指针式仪表构造简单、维修方便、价格实惠,拥有不可取代的地位。传统模式下,通过人工巡检进行指针式仪表读数读取,长时间观察指针仪表盘读数会造成视觉疲劳,恶劣环境下容易引发安全问题,不利于自动化智能工厂的实现,巡检机器人可以大大提高巡检效率。据此问题,本文提出更高效且适合部署在巡检机器人上的指针式仪表读数识别算法。本文研究内容如下: (1)利用改进的YOLOv7-tiny网络检测仪表表盘区域。采用最新的YOLOv7-tiny网络进行表盘区域的检测,通过增加注意力机制和改进激活函数,进一步提高网络特征提取能力,并且在提高目标检测结果准确性的同时保证模型参数量基本不变,满足巡检机器人的实时响应要求。 (2)针对采集到的模糊图像,采用改进的生成式对抗网络Deblur GANv2进行图像去模糊操作,去除照片模糊抖动或表盘起雾等情况造成的影响;针对图像进一步预处理问题,提出中值滤波和双边滤波相结合的方法来去除图像中的噪声,提高去噪效果。最终得到清晰的表盘图像,有利于下一步工作的展开,为仪表读数的准确识别奠定基础。 (3)创建指针式仪表数据集。针对YOLOv7-tiny和Deblur GANv2的网络训练,本文构建两个基于石油化工厂现场的指针式仪表图像数据集,尽可能贴近实际现场情况,通过采用平移旋转、亮度变化调整、添加噪声等手段对数据集进行扩充,达到模拟复杂工况下各种状况的要求。 (4)针对提取圆心问题,提出基于DBSCAN算法的表盘圆心拟合方法,通过刻度线拟合直线的交点集合得到准确的仪表圆心位置,并通过对比实验选用更切合实际生产需求的角度法来读取仪表读数,在读数精度和计算速度间取得平衡。 最后设计一套全自动分析的仪表读数系统,便于工作人员监管仪表读数。实验结果表明,自主建造的数据集具有真实现场情况全覆盖性与高质量性,改进的YOLOv7-tiny具有高准确率与高实时响应速度,改进的Deblur GANv2具有良好的去模糊效果,同时设计的自动读数系统界面简洁明了、操作方便。经过一系列的实验与分析,最终得出结论:本文研究出一套识别精度高、计算量少的指针式仪表读数识别方法,解决了石油化工厂巡检机器人的指针式仪表读数识别准确度不高、识别速度慢的问题,同时本文的指针式仪表读数识别算法也适用于其他场景,为指针式仪表读数识别算法的设计提供参考。

关键词： 图像去雾   图像去雨   低光照增强   目标检测   指针式仪表   仪表检测  

摘要： 现有的指针式仪表检测与读数识别算法大都是基于室内场景所提出的,这些方法在室内环境识别精度高,但是到了室外环境,很难达到原有精度。除此之外,恶劣的天气环境,如雾霾、雨天、低光照等也影响着对指针式仪表的精准定位与读数识别的准确率。因此需要对恶劣天气下捕获的指针式仪表图像进行增强,来提升仪表检测与读数识别的准确性。为了更有效地增强图像,提升图像的恢复质量,并提高指针式仪表检测与读数识别的准确率,本文综述了目前已有的相关图像增强算法与指针式仪表检测与读数识别算法,提出了新的图像增强算法和仪表检测与读数识别算法,并建立了一个端到端的框架,紧密耦合了仪表成分检索和仪表读数识别,提高指针式仪表读取示数的准确性和效率,具体如下: (1)针对现有的去雾算法难以解决图像中雾霾分布不均匀且细节恢复不足的问题,设计了一个基于编码器-解码器架构的图像去雾网络。该网络利用多尺度结构强大的信息传输与特征提取能力,通过改进的特征注意力模块来增强网络对不同尺度特征的关注度和权重分配,从而提高了模型在去雾任务中的性能表现。此外,通过引入优化模块,对图像在不同尺度上进行重构,有效地增强了图像的细节信息。通过与其他去雾算法的结果进行比较,本文提出的算法在相关数据集上的平均PSNR相比于其他算法的SOTA提升了1.85dB,去雾视觉效果也优于其他算法。 (2)针对目前去雨算法难以捕获雨纹的分布信息的问题,设计了一个多尺度多阶段图像去雨网络。为了更好的将雨纹除去,本文将雨天图像分成不同的块,来提取雨天图像的局部特征,并且设计了双重注意力模块,利用注意力机制有目的地提取各通道之间的有用信息,并应用到各阶段的编解码器子网络和全局初始分辨率子网络中。另外,通过引入跨阶段特征融合,将前一个阶段丰富的语义特征传递到下一个阶段中去。实验结果表明,本文提出的算法在综合雨天数据集和真实雨天数据集中不仅具有更好地去雨效果,并且图像的细节也得到了增强,平均PSNR比其他算法的SOTA提升了0.67dB。 (3)针对现有低光照增强算法存在的色彩失真和对比度不足等问题,提出了跨分辨率低光照增强网络。该网络采用并行的多分辨率卷积流,并引入跨分辨率信息交换机制来捕获丰富的上下文信息和空间信息。使用自适应核特征融合来自动调节感受野,优化网络的表达能力。在将各分辨率流的特征输入到自适应核特征融合模块之前,对各个流的特征进行聚合,进一步提高网络的特征表达能力。另外,设计了自校准注意力来定位图像中的暗区域,从而解决光照不均匀和部分区域过暗的问题。通过与其他低光照算法进行对比,证明了本文提出的低光照增强算法的有效性,平均PSNR比其他低光照算法的SOTA提升了1.38dB,NIQE下降了0.24。 (4)针对现有的指针式仪表检测与读数识别算法在油田现场环境下准确率低、检测算法冗余、难以检测小目标等问题,对相应的仪表检测与读数识别算法做出改进。通过使用轻量化网络GhostNetV2替换目标检测算法Yolov5的原有主干网络,来实现网络的轻量化。采用较小的检测头来提升网络检测小目标的能力,并通过改变损失函数,提高模型在难以分类的样本上的性能。实验表明,本文提出的指针式仪表检测算法能够精准的检测出现场捕获的仪表图像,mAP值达到了98%,比Yolov5-L提升了5%,并且参数量大大降低,只有5.21M。此外,引入空间转换模块,将检测到的指针式仪表图像转换为更符合人们观感的正视图像,并设立一个端到端架构,紧密耦合仪表成分检索和仪表读数识别,从而提高仪表读数的准确性。