关键词： 深度学习   指针式仪表检测   Hourglass网络   YOLOv4-tiny  

摘要： 为了降低电力巡检机器人识别变电站指针式仪表的误检率,提高仪表读数识别的精度,设计了一种基于深度学习的指针式仪表检测方法。通过在YOLOv4-tiny网络结构基础上添加残差模块来提高模型的鲁棒性,并对Hourglass网络结构改进,达到精准识别指针式仪表读数的目的。为了验证所提出方法的有效性,以变电站现场仪表图像数据对方法进行测试,并将检测结果与其他方法进行对比。实验结果表明,仪表定位漏检率仅1.25%,指针定位精度在1.125%以内,整体检测时间小于0.5 s。相较于常用的Hough直线检测与ORB结合或基于U-net模型的方法,读数识别的平均误差分别降低了70.8%和58.8%,为变电站指针式仪表的读数识别提供新的思路。

关键词： 指针式仪表   旋转目标检测   密集编码标签   注意力机制   倾斜校正   示数读取  

摘要： 针对目前指针式仪表示数识别方法实用性差、累计误差大的问题,提出了一种基于旋转目标检测网络的指针式仪表示数识别方法。首先,改进网络模型YOLOv5s,生成旋转目标检测网络,同时,引入密集编码标签,解决旋转目标检测中存在的边界问题,并向模型中引入注意力模块,提升模型获取目标特征的能力;其次,利用网络输出的位置与角度信息对表盘进行倾斜校正和刻度点筛选,省去了对表盘指针进行直线检测的时间;最后,利用角度法完成仪表示数读取。实验证明,该方法读数误差较小,具有一定的抗干扰能力,进一步提高了示数读取的速度和精度。

关键词： 指针式仪表   识别   深度学习  

摘要： 目前指针式仪表数据仍然基于模板匹配等传统算法,在信噪比低的情况下识别精度低,因此采用深度学习进行指针的分级定位与识别。一级识别采用SSD算法进行仪表区域定位,计算仪表倾斜角度并修正。二级指针定位使用多方位SSD算法识别指针转动角度并转换量程。使用自建的仪表数据集进行网络训练,指针式仪表检测精度达到87%;作为拓展方向,数字式仪表检测精度达88%。实验结果表明,该算法稳定性及准确度均高于传统的指针式仪表识别算法。

关键词： 指针式压力表   仪表读数   自动识别算法  

摘要： 基于指针式压力表自动识别系统的构成,结合机器视觉理念,提出一种图像归一化算法。此算法对传统的平面二维插补算法进行改进,将压力表中的文字标识去除,并将整体圆形表盘转化为矩形图像,获取压力表刻度线表盘模板,通过对表盘刻度线进行细化和定位,形成指针式仪表读数自动识别算法。将算法集成到MFC应用程序,完成应用程序模块化设计,形成指针式压力表自动识别系统。实际应用结果表明,该识别系统可有效保障数据读数精准性,同时降低工作成本,具有一定的推广使用价值。

关键词： 指针式仪表   读数识别   目标检测   图像配准   YOLO   SuperPoint  

摘要： 指针式仪表在各个行业领域具有广泛应用,相较于数字通信仪表,其不受高电压和强电磁场环境的影响,更多应用在变电站中。指针式仪表是监测变电站各种参数的工具,其读数反映着变电站运行的状态,因此需要人员定时巡视并记录示数。人工巡查有着强度大、成本高、实时性差等缺点,且准确度易受值班人员视觉和责任心因素的影响,不符合现代工业智能化发展的需求。本文利用深度学习方法结合数字图像处理技术,实现对变电站、配电室场景中的指针式仪表的定位分类、表盘图像校正、智能读数及监测系统构建。本文的主要研究内容有: (1)针对表盘图像存在视角变化、光照不均、背景复杂等问题,建立了适用于表盘识别定位的改进YOLOv5的目标检测模型。首先,加入CBAM到原主干网络中,相较于原模型更关注目标特征信息;然后,使用Bi FPN增强特征的表示能力,对各个尺度特征进行权值融合;最后,将原YOLOv5损失CIOU函数改进为EIOU损失函数,加速了预测框的收敛,并在构建的仪表目标检测数据集上训练验证。 (2)针对表盘图像存在单应性变换,提出基于特征检测与配准方法对表盘进行校正,以获取正视仪表图像。采用SIFT特征检测方法和SuperPoint特征检测方法,对Super Point特征点检测网络使用三次样条插值替换原像素点插值方式,以更精准求解特征点。在Hpatches数据集和构建的仪表配准数据集上实验。 (3)使用k-means算法对配准后的图像二值化,再对指针进行拟合,计算指针转动角度,使用角度法求解仪表示数。与仪表人工读数进行比对,验证不同因素对读数精度的影响,同时还对系统整体误差进行分析。依据现场设备层、通信传输层、数据监测管理层结构设计了仪表智能读数与监测系统,实现了一个基于YOLOv5模型和Super Point模型的仪表智能读数与监测系统。 实验结果表明,本文所提的指针式仪表读数方法在表盘定位识别分类上获得了平均检测准确度97.1%,mAP高达98.9%的性能表现;在表盘图像配准上MMA在8像素阈值及更精准的阈值下相较于SIFT、ORB、D2-Net方法表现更好;各类仪表最终读数的平均引用误差均小于其允许误差,满足读数要求。

关键词： 巡检机器人   定位   目标检测   仪表识别  

摘要： 在工业生产中,仪表是确保设备状态稳定性和可靠性的重要装置,指针式仪表因其抗干扰能力强、维护成本低等优点在工业领域被广泛应用。对指针式仪表进行监测和记录是预防设备故障、确保生产安全的重要手段。传统人工巡检的方式存在巡检强度大、人力成本高、巡检质量不稳定等弊端,使用巡检机器人对指针仪表进行巡检可以减少人力投入、提高巡检质量和效率。然而,在实际的工业场景中,巡检机器人在不同距离和角度下所拍摄的仪表会出现不同的形态,从而影响后续的读数效果。 鉴于上述存在的问题,本文研究了巡检机器人基于双目相机的自主定位导航和基于深度学习的视觉感知,其中视觉感知部分包括对仪表的识别和读数。本文的主要研究内容如下: (1)确定了巡检机器人导航的算法框架。使用基于双目视觉的ORBSLAM3算法来估计机器人的位姿,并通过拼接双目摄像头计算的深度点云来构建可用于导航的稠密地图,在实验环境下使用A*算法成功完成对目标巡检点的初步导航。 (2)为了提高仪表这种小目标检测能力,本文对YOLOX-Tiny算法进行了改进,引入了CA(Coordinate attention)注意力机制并加入了浅层特征层进行多尺度特征融合,然后将原来的损失函数优化为Focal损失函数。在本文标注的指针仪表数据集上进行对比实验,结果表明本文改进的YOLOX-Tiny网络算法具有较好的综合检测效果,验证了算法的可行性。 (3)针对现有导航方法的精度无法满足仪表读数的问题,本文实现了巡检机器人对仪表的二次定位。通过改进后的YOLOX-Tiny网络结合双目立体技术可获得仪表对机器人具体的空间坐标。然后控制机器人靠近仪表,并根据置信度来度量相机与仪表的朝向角度,最后对图片进行透视变换以矫正仪表图像。 (4)使用语义分割完成了指针仪表的读数。首先使用Deeplabv3+网络进行语义分割,然后通过坐标转换将分割结果展开为矩形图,并使用距离法完成指针仪表的读数。实验结果表明,该算法具有良好的鲁棒性,其预测读数与人工读数相比较,相对误差小于4%。

关键词： 指针式仪表   图像配准   实例分割   残差收缩网络   注意力机制  

摘要： 随着能源消费结构调整,“5G+智能电网”等相关概念的提出,电能作为目前使用量最多的清洁能源,是人民日常生活的基础,同时也掌握着国民经济的命脉,而变电站作为能源生产与传输的枢纽,打造一种全智能变电站十分重要。变电站中的指针式仪表常依靠人工读取,容易造成误检漏检、耗费人工等问题。针对上述问题,本文利用深度学习与机器视觉技术实现了一种基于巡检机器人的指针式仪表自动识别与读数方法,主要内容为:针对传统机器视觉算法在巡检机器人拍摄过程中仪表产生畸变、拍摄模糊从而导致空间位置不精确,自动校正复杂,解决效果差的问题,提出了一种基于双通道残差收缩网络注意力机制的R2D2图像自动校正方法。在R2D2特征点匹配算法的主干网络引入CBAM残差收缩网络,将待配准图像的显著特征描述符做二次判定,判断该关键点是否有很强的重复性和替代性,对不可靠点剔除,进而寻找次优点,获得更精确的匹配结果。在仪表配准实验上可以看出本文算法表现较好,在缺少接近80%特征的待配准图像中,仍可以找到明显局部特征,且校正成功。针对由光照不均匀、仪表盘模糊等导致的表盘与指针的轮廓分割问题,提出了一种改进的Blend Mask模型。该方法借鉴闭环控制的思想引入了“反馈环节”,将迭代特征金字塔RFPN替换了原有的特征金字塔模型,分析了常见主干网络与RFPN的性能,最终与Res Net101主干网络融合。针对该改进算法提出了专门的损失函数,对比实验中,本文改进方法的损失最小。在存在过曝光、欠曝光和复合噪声的仪表实例分割实验中,本文改进算法的分割精度均达92%以上,各项评价指标均有提高,数据达到理想要求,表盘与指针分割图形的边缘更加光滑,分割区域准确。针对传统读数方法计算量大,基于统计学与图形学的直线拟合不精确的问题,提出了一种密度向量的指针方向判别法,简化了角度法读数模型,最终构建了仪表检测与判读系统。以巡检机器人为硬件依托开展指针式仪表读数实验,并开发一套实时信息显示软件。由于仪表量程较小,选择允许误差范围为0.001,实验结果表明本文基于深度学习的指针式仪表自动读数系统的读数误差均在允许范围内,相比于人工读数会更精确,适应能力强,符合实际工况下的巡检标准,达到了稳定性与可靠性要求。

关键词： 指针式仪表   深度学习   YOLOv3   MobileNetV2   TensorRT  

摘要： 自动化机器人在仪表读数自动识别任务方面的应用日益普及,这使得传统机器视觉算法和基于深度神经网络的方法都得到大量采用。然而,传统机器视觉算法鲁棒性不足且设计流程繁琐,而基于语义分割算法的深度神经网络方法计算量大、模型体积庞大且标注成本高。为克服这些问题,本文提出了一种利用YOLOv3和Mobile Net V2进行仪表检测和读数自动识别的方法,实现在自然环境中对指针式仪表的自动检测和读数识别。 为解决指针式仪表定位问题,本文对YOLOv3算法进行改进,设计Ception主干网络,并在此基础上优化了YOLOv3算法。在测试集m AP@0.5指标仅下降0.5%的情况下,模型体积缩小了28%,推理速度提高了57.4%。 本研究针对仪表读数识别问题,设计了基于Mobile Net V2的仪表读数识别方法。首先,提出一种仪表图像合成方法,通过单张仪表正视图,生成超过70,000张具有多样化示数和环境背景的仪表图像,从而创建一个丰富的图像数据集。接着,对Mobile Net V2模型进行了优化,以增强其对空间结构化图像数据预测性能。此外,还设计了一种多图预测与异常值过滤的推理策略,用于预测相邻类别之间的读数,从而进一步提高模型的预测上限。针对非均匀刻度仪表,重新设计类别分配策略,实现对非线性仪表读数的精确识别。在实际场景中,使用所提出的方法进行读数识别,误差率低于2%,预测正确率达到98.25%,满足变电站机器人巡检需求。 本文针对模型部署问题,利用Tensor RT技术对YOLOv3和Mobile Net V2模型进行量化加速。在FP32浮点精度条件下,改进后的YOLOv3模型精度降低0.9%,但推理速度提高3.65倍。同时,优化后的Mobile Net V2模型在FP32精度下,精度降低1.45%,推理速度则增长至539.249FPS。 经过最终实验验证,本研究提出的指针式仪表定位和读数识别方法可以有效地适应实际应用场景需求。相较于基于传统图像处理技术的指针式仪表读数获取方式,本方法在面对实际环境因素变化时展现出更高的稳健性,因此更适用于现实场景。

关键词： 指针式仪表   复杂背景   几何失真校正   生成对抗网络   注意力模块  

摘要： 在变电站中,广泛使用的是维护简单、价格低廉、抗干扰能力强的指针式仪表。然而,人工现场记录与读数存在一定的安全风险,而且成本高、时效性低,还可能因主观因素导致误差。因此,实现变电站指针式仪表的智能读数具有重要意义。传统的指针式仪表识别流程主要包括:图像采集、仪表检测、仪表图像失真校正、仪表图像预处理、提取刻度和指针、计算读数。目前传统的多流程指针式仪表读数识别存在以下问题:(a)在图像采集阶段,由于雨雾天气的影响,采集到的图像出现质量退化,仪表特征的可识别度降低。(b)在仪表图像检测阶段,由于变电站环境复杂,采集到的图像存在相似特征和无关信息,难以分辨背景特征与仪表特征,导致仪表检测的准确率不高。(c)变电站智能识别系统中,因监控摄像头的拍摄角度倾斜,往往会导致采集的图像存在几何失真。传统的基于透视变换的校正算法的鲁棒性不高,难以应对变电站多种类型仪表的情况。针对以上问题,提出一种指针式仪表读数智能识别方法,文章具体研究工作如下:(1)搭建了雨雾天气检测模型,将图像输入天气检测模型,根据检测结果对图像进行去雨或者去雾,获取高质量的图像,提高仪表特征的可识别度及检测的准确度。(2)对YOLOv5目标检测网络进行改进,提升仪表检测的准确度。首先在YOLOv5s的主干网络末尾添加ECA(高效通道注意力)注意力机制模块,突出指针式仪表的重要特征的同时抑制一般特征,从而强化网络对指针式仪表的辨别能力。然后将原始网络中的CIOU Loss替换为Focal-EIOU Loss,提升模型的锚框定位能力,减少计算量。(3)提出一种基于生成对抗网络的指针式仪表倾斜图像校正网络(TC-GAN),对变电站中各类指针式仪表图像的几何失真进行校正,并构建用于训练TC-GAN的正视图像数据集。网络的生成器采用编码-解码的结构,在编码后引入自注意力模块,使生成时更关注于表盘部分;判别器则采用孪生神经网络的结构,利用其强大的判别能力来衡量生成图像与真实的正视图像的相似程度。实验结果表明,在进行仪表检测前,对受到雨雾天气影响的图像进行图像去雨去雾,能有效提高仪表检测的准确度。本文提出的基于改进型YOLOv5s的指针式仪表检测模型的平均精度均值m AP达到97.04%,FPS达到74.57。该模型有效改善了复杂背景下指针式仪表检测的精度;提出的指针式仪表图像失真校正网络能够高效地生成高分辨率的正视仪表图片,实现了失真图像校正,提升了读数准确度。最后借助OpenCV机器视觉库来完成整个指针式仪表读数识别流程,包括图像预处理、指针与刻度的骨架提取以及直线拟合,并做了读数准确性验证和实时性验证,实验证明本文算法符合变电站指针式仪表读数识别任务的实时性要求,实现了指针式仪表读数识别。

关键词： 机器视觉   指针式仪表   图像配准   特征提取   仪表读数识别  

摘要： 随着计算机技术的快速发展,机器视觉已经被广泛应用于工业检测、医疗分析、军事探测等诸多方面。在工业领域中,使用机器视觉代替人工来完成对指针式仪表的自动读数,既可以消除人因为长期工作而产生疲劳、注意力不集中的问题,还可以提高读数的精度和效率。本文针对三种圆形指针式仪表图像,提出了基于图像处理的仪表自动读数识别算法。主要研究内容如下: (1)针对相机和待测仪表拍摄角度而引起的姿态误差问题,应用ORB算法对输入的待测仪表图像和预先保存的标准模板仪表图像进行特征点提取,然后采用KNN匹配策略剔除错误的匹配点对,接着利用暴力匹配对筛选出的特征点进行特征点匹配,得到透射变换所需的参数矩阵之后,对待测仪表进行透射变换完成图像配准工作,消除姿态误差。 (2)基于数字图像处理技术对校正后的仪表进行预处理操作。通过直方图均衡化和中值滤波去除噪声干扰,增强有用信息,利用自适应阈值二值化和Hough圆检测提取圆形表盘特征,使用OTSU算法提取指针特征。 (3)针对指针回转中心识别不准确,错将表盘圆心当作指针回转中心的情况,本文提出改进的SVM+HOG目标检测算法。该算法首先通过HOG特征和SVM训练模型来完成指针回转中心图像的识别,然后再采用Hough圆变换检测指针回转中心,提高指针回转中心的识别精度。 (4)对刻度均匀的圆形指针式仪表的自动读数识别进行深入研究。针对长指针类型仪表中错将指针边缘当作真实指针的情况,本文提出改进的指针特征提取算法,将指针回转中心和指针直线外端点的连线作为真实指针,完成指针识别的校正。另外,针对短指针类型仪表中指针较难提取的问题,本文基于形态学腐蚀运算,结合轮廓查找和轮廓筛选算法完成对短指针特征的提取。最后采用角度法完成仪表的自动读数,并且通过实验验证该算法的准确性和鲁棒性。 (5)对刻度不均匀的圆形指针式仪表的自动读数识别进行深入研究。在图像配准、图像预处理和指针回转中心提取的基础上,引入轮廓查找和改进的轮廓筛选算法提取仪表的大刻度特征,然后通过极坐标转换将圆环刻度展开成矩形,最后采用距离法完成仪表自动读数,并且通过实验验证该算法的准确性。