关键词： 圆形指针式仪表   圆形Hough变换   预训练模型   MobileNetV2   平均混淆矩阵  

摘要： 针对目前指针式仪表识别任务在使用深度学习算法时存在模型参数量大、计算量大、准确率较低的问题,提出一种基于改进预训练MobileNetV2网络模型与圆形Hough变换相结合的圆形指针式仪表智能检测和识别系统。首先,采用Hough变换解决复杂场景内非圆形区域的干扰问题;然后,提取圆形区域以构建数据集;最后,使用基于改进预训练MobileNetV2网络模型对圆形指针式仪表进行识别。为客观反映所提模型的性能优劣,采用平均混淆矩阵来衡量模型性能。实验结果表明,该系统在圆形指针式仪表识别任务中的识别率达到99.76%。同时,将所提模型与其他5种不同的网络模型进行对比的结果表明,该模型与ResNet50的准确率最高,但在模型参数量和模型计算量方面,所提网络模型相较于ResNet50分别降低了90.51%和92.40%,可见该模型有助于进一步在移动端或嵌入式设备中部署和实现工业级的实时圆形指针式仪表检测和识别。

关键词： 指针式仪表   Hough变换   图像识别   自动读数  

摘要： 针对不同形状的指针式仪表人工读数成本高、精度低、容易受仪表形状和环境干扰的问题,运用轨道巡检机器人搭载云台摄像头采集指针式仪表的图像,经过灰度化、中值滤波、二值化、提取感兴趣区域、开运算、指针细化、Hough变换和示值读数等步骤,实现指针式仪表的自动读数。该算法具有较好的鲁棒性,读数精度高达99%,且计算量小,在电力巡检中具有一定的推广价值。实验结果验证了算法的良好性能。

关键词： 指针式仪表   YOLOv4   RANSAC直线拟合   仪表读数识别   图像处理  

摘要： 仪表作为设备状态数据显示的终端,在变电站中有着广泛的应用,能够有效地保障变电站的安全稳定运转。其中指针式仪表以其能够在变电站室外环境中,恶劣的天气和强电磁等条件下稳定的工作性能,在变电站中大量安装。变电站中仪表读数的读取与抄录,通常采用人工巡检的方式完成,但该方法经济成本高,有一定安全风险。除此之外,人工巡检工作内容单调重复,依赖工人经验,长时间工作易引起眼疲劳,可能导致误读,不利于管理水平提升。本文分析了仪表读数自动识别面临的问题与挑战,提出了相应的仪表读数自动识别方法。本文主要针对复杂背景下仪表检测提取、仪表倾斜畸变及表盘中指针中心线拟合等问题进行了研究分析,并采用了一下解决方法。(1)搭建了基于YOLOv4指针式仪表检测平台。利用基于卷积神经网络的YOLOv4目标检测方法进行仪表检测提取。通过仪表图像数据训练指针式仪表检测模型,实现仪表区域的检测提取,提升仪表检测精度、检测速度及鲁棒性;同时结合移动机器人、网络通讯等技术,将巡检机器人相关程序与仪表读数识别算法进行整合,编写软件界面。最后建立变电站巡检机器人仪表读数识别系统,实现高效地人机交互。(2)融合二维码信息的仪表图像校正和读数识别方法。针对仪表图像倾斜校正时,表盘特征不明显易导致图像校正不便,以及读数计算时,由于仪表种类、规格众多等,造成的表盘中量程信息提取困难的问题,提出在仪表上方粘贴二维码,检测二维码的边框直线,利用边框直线的交点进行透视变换,实现仪表图像校正。同时,通过识别二维码得到先验的仪表信息,辅助仪表读数识别。(3)采用RANSAC改进的指针中心直线的准确拟合和提取方法。提取出的指针轮廓易受表盘中各种标识符的影响,指针轮廓细化后骨架中会产生离群点,离群点会干扰指针中心直线的拟合准确度,采用随机采样一致性方法排除离群点,准确拟合提取出指针中心线,提升了仪表读数识别精度。

关键词： 机器视觉   指针式仪表   表盘区域定位   仪表读数自动识别  

摘要： 在设备监测领域,指针式仪表抗电磁干扰能力强,且能适应高温高压等恶劣的工业现场环境,被广泛应用于电力行业以及环境较为恶劣的工业制造现场。采用人工巡检读表的方式人力成本高,效率低,当设备运转异常时不能够及时发现,极易发生安全事故。随着机器视觉技术的发展,通过巡检机器人对指针式仪表进行读数自动识别成为一种新的趋势。然而巡检机器人获取的仪表图像存在背景干扰大、仪表类型多样、仪表倾斜等问题,导致传统算法无法适应巡检机器人进行自动读数。针对上述问题,本文从表盘区域定位、仪表类型识别和仪表自动读数三个方面展开研究,提出了基于机器视觉的指针式仪表读数自动识别算法,搭建了指针式仪表读数自动识别系统。其主要研究内容包括:(1)针对仪表图像背景中含有管道设施、仪器按钮等背景干扰问题,引入深度学习中的Mask R-CNN网络模型对表盘区域直接检测。然后针对表盘的形状特点优化了网络模型锚框比例,并且在网络模型中设计了表盘分割环节。优化后的网络模型能够精确定位表盘区域,并且能够得到滤除背景干扰的表盘图像和对应的二值掩膜图像,为后续算法的实现奠定了基础。(2)得到表盘图像后,为了识别仪表类型从而获取仪表量程等信息,建立了指针式仪表模板库,并且在SURF算法的基础上提出了仪表类型识别算法。针对识别过程中相似特征点的干扰问题,提出设置匹配点阈值的方法来消除干扰。该算法具有较高的仪表类型识别准确率,能够为后续的仪表自动读数算法提供仪表量程、刻度线覆盖范围等信息。(3)在表盘区域定位算法和仪表类型识别算法的基础上,提出了仪表自动读数算法。针对指针提取过程中仪表图像倾斜的问题,提出了基于二值掩膜图像极端点检测的透视变换校正方法。然后使用图像的形态学操作对仪表指针进行提取,并且针对提取的仪表指针粗细不均影响偏转角计算的问题,采用快速并行细化算法进行优化。最后使用Hough变换算法得到指针偏转角,通过角度法得到了最终仪表示数。(4)在表盘定位算法、仪表类型识别算法和仪表自动读数算法的基础上,搭建了指针式仪表示数自动识别系统,开发了上位机界面,并对表盘区域定位算法、仪表类型识别算法、仪表自动读数算法进行实验验证,实验表明本文所提出的指针式仪表读数自动识别算法具有较高的准确性和实时性。

关键词： 机器视觉   设备检测   目标检测   指针式仪表   图像复原  

摘要： 在工业生产的过程中,仪表是监测设备状态的有效装置。指针式仪表由于其抗干扰能力强、维护方便等特性,在工业领域具有广泛的应用。传统人工读取示数的方法费时费力,随着巡检机器人的快速发展,基于计算机视觉技术的巡检机器人已逐渐应用于设备仪表检测的工作中。本文针对智能化程度较低,待检测设备较多且分布面广的工业环境,设计了基于巡检机器人的指针式仪表智能识别系统。该系统具备巡检目标检测、指针式仪表示数识别及运动模糊图像复原的功能,能够实现设备仪表的智能检测与读数识别。巡检目标检测:利用Yolov5深度学习算法检测视野内的仪表目标。为避免由于仪表目标过小导致识别失败,首先检测仪表箱对仪表进行粗定位,再通过相机调焦检测仪表。成功检测后,对仪表位置进行反馈,调整摄像头云台使目标位于视野中心,提高识别准确率。指针式仪表示数识别:依据检测效率与精度要求,采用传统图像处理方法进行仪表示数识别。在完成相机标定后,根据现场仪表的具体特征,选择相应的图像预处理方法进行表盘提取与指针检测,通过判断指针所处示数区间位置得到读数结果。运动模糊图像复原:为实现在移动过程中完成仪表示数的识别,提高巡检效率。利用运动模糊退化模型,对图像进行噪声分析与模糊核估计,依据所得结果采用复原算法对图像运动模糊进行处理。本文视觉检测系统的开发基于Ubuntu18.04操作系统,使用ROS平台及Pytorch深度学习框架搭建。该系统通过巡检机器人现场采集的视频制作图像测试集,并进行性能测试。结果表明系统能够达到仪表示数识别准确率高于95%、目标检测时间小于250ms/幅、仪表示数识别时间小于150 ms/幅的效果,可以高效准确的完成仪表检测以及示数识别的任务。

关键词： 巡检机器人   二维伽马函数   点扩散函数   指针式仪表  

摘要： 近年来我国石油化工产品行业发展迅猛的同时也伴随着危险事故的频发。石化工业中存在许多易燃易爆物品,事故发生时容易造成重大财产损失与人员伤亡。目前,越来越多的机器人应用于石化行业中进行巡检工作。石化爆燃环境中存在有大量指针式仪表,对仪表进行定期巡检是巡检机器人主要的工作内容也是预防安全隐患的重要途径。针对石化爆燃复杂环境中采集到的仪表图像易受外界因素干扰导致图像质量较低,识别困难的问题,本文基于图像处理技术对指针式仪表图像增强与读数识别技术展开研究,本文主要工作如下:(1)针对石化爆燃环境下巡检机器人在室外工作场景中光照条件对采集的仪表图像质量的影响,对图像光照不均匀校正技术展开研究,提出一种改进的二维伽马函数校正算法。利用多尺度高斯函数完成光照分量的提取,基于提取出的光照分量,构造了一种新型二维伽马函数,根据图像的光照分量对仪表图像亮度进行自适应调整,并通过不同光照条件下的仪表图像校正实验证明了提出算法的有效性。(2)针对复杂恶劣环境中巡检机器人获取的仪表图像易产生运动模糊的问题,研究运动模糊图像复原技术。提出一种改进的运动模糊图像点扩散函数(PSF)的模糊参数估计方法。在参数估计前,首先采用Canny算法对运动模糊图像进行边缘检测,筛选出边缘信息较多的子图像块进行模糊参数估计;之后对图像进行倒频谱分析,采用Canny算法对倒频谱进行边缘检测,通过Radon变换估计模糊角度,根据倒频谱负峰值距离估计模糊尺度,并通过模糊参数估计实验验证了本文提出的模糊参数估计方法的估计精度;最后,基于估计的PSF参数,采用维纳滤波完成仪表运动模糊图像复原。(3)在经过光照不均匀校正、运动模糊图像复原算法提高仪表图像质量后,进行指针式仪表读数识别技术研究。首先通过SURF特征提取算法与透视变换实现仪表特征提取与倾斜校正。为降低仪表表盘与指针提取的难度,对仪表图像进行自适应阈值分割与图像细化,之后通过Hough变换提取表盘,通过添加圆心约束的改进的Hough变换提取指针,最终通过角度法实现自动读数。并利用巡检机器人实验平台验证本文指针式仪表读数识别算法在各种复杂条件下的识别精度。最后,论文对所做的研究工作进行了总结,阐述了研究工作中存在的不足,并对今后需要继续研究的方向进行了展望。

关键词： 指针式仪表识别   图像处理   深度学习   DeepLabV3   系统开发  

摘要： 指针式仪表的应用非常广泛,这些仪表主要依靠人工读数,但是人工读数有着诸多缺点,相比人工读数,机器视觉不仅具备误差率小、效率高、成本低的优点,还能实现数据的互联互通。目前的指针式仪表的识别方法大多数是基于传统的像素特征和刻度线特征,这些方法容易受到光线等外界环境的影响,并且因为表盘结构变化多端导致鲁棒性非常差。而近年来深度学习在图像识别领域表现愈加突出,并且鲁棒性很强,非常适合工业场景下的指针式仪表识别。本文提出使用深度学习DeepLabV3+模型来进行指针识别,并实现了能够进行指针识别的网站。本文介绍了指针式仪表识别的背景和研究现状,分析对比了各种检测方法的效果和优缺点,选择出深度学习DeepLabV3+模型。本文针对该模型构建了数据集,进行了 60000张图片的数据标注工作。针对识别速度慢的缺点进行了改进,最终模型体积缩小了 9/10,速度提升2/3,mIOU提升了 1.3%,实验结果显示对于图像边缘的分割更加精确。对于指针拟合算法和读数算法本文也进一步进行了实验对比。同时本文研究了模型的部署方案,选择使用Tensorflow-Serving的部署模式,保证模型的识别速度和可靠性。本文进行了需求分析、概要设计、详细设计,最终实现了一个能够进行在线识别、表型管理、模型管理、用户管理、统计分析的网站。并在安全性、性能和可靠性上做了改进。经过系统测试表明,本系统功能模块能够正常使用。

关键词： 指针式仪表读数识别   图像校正   刻度值文本   极坐标变换中心提取   二级区域搜索  

摘要： 针对现有指针式仪表读数识别算法存在鲁棒性和通用性差的问题,本文对算法中的关键步骤展开了研究,并提出了一套基于深度学习的指针式仪表读数识别新算法,主要步骤包括图像校正、图像极坐标变换以及仪表示数计算。本文的主要研究内容包括:(1)基于刻度值文本的图像校正方法。针对传统图像校正方法存在仅适应某一特定仪表和鲁棒性较差等问题,且考虑到刻度值文本是仪表的通用特征,本文提出了一种基于刻度值文本特征匹配的仪表图像校正方法,能够很好地应用于不同外观仪表图像校正中。(2)基于刻度值文本的极坐标变换中心提取。目前精度较高的极坐标变换判读法大多采用基于刻度线特征提取极坐标变换中心的方式,而刻度线仅包含极少量的图像特征信息,因此使得识别算法容易受到强光和阴影等环境因素的影响。而刻度值文本图像往往具有较多的图像特征信息,由此本文提出了一种基于刻度值文本的极坐标变换中心提取方法,该方法通过引入神经网络获得非常稳定的定位及识别结果,其鲁棒性远高于基于刻度线特征的提取方法。(3)基于二级区域搜索的仪表指针和刻度线提取方法。现有的极坐标变换判读法中的指针和刻度线提取方法容易受到表盘中其他无效信息影响,从而导致提取准确性差。针对这一问题,本文提出了一种基于二级区域搜索的指针式仪表指针和刻度线提取方法,该方法有效排除了表盘中其它干扰信息对指针和刻度线提取的影响,提高了算法的准确性。本文还建立了包含不同采集环境下的指针式仪表图像的数据集,并通过实验仿真对对本文提出的算法进行了有效性验证与准确性评估。与其他方法进行了实验比较,本文所提出的这一套识别算法具有更高的可靠性和有效性。

关键词： 仪表识别   深度学习   神经网络   Mask-RCNN   自动读数  

摘要： 20世纪数字化、信息化飞速发展,传统行业的大部分老旧车间都面临着智能化改造,打造智慧工厂。许多需要人为劳动力的操作生产方式都逐渐要被自动化机器所代替。针对制药行业传统发酵车间中大量电压表、温度表等仪表都采用了价格低廉,结构简单的指针式仪表,在生产过程中仍需要消耗人力物力对指针式仪表进行读数并核对读数,但在长期用人眼检测读数过程中容易出现漏读或者误读的现象,同时还需要人为操作上传数据、记录信息,操作繁琐,时间消耗严重;并且在老旧车间中会具有安全隐患。目前对指针式仪表的自动读数,大多都是采用自动巡检机器小车按照路线对各个位置的指针式仪表进行图像采集,然后再经过一系列数字图像处理方法达到自动读数的目的。但是在对图像处理的时候基本都是采用传统的图像处理技术,比如阈值二值化进行预处理、圆形检测定位表盘,canny边缘检测,Hough变换检测直线等,提取到指针位置信息。这些传统的图像处理方法往往对拍摄的图像质量要求较高,对光照等外界环境因素没有更好的鲁棒性,且计算量庞大,对指针仪表的特征提取达不到精确稳定的效果。在人工智能爆发式发展的今天,在社会生产生活中的各个方面都离不开计算机视觉的帮助,特别是深度学习以及卷积神经网络的应用,让计算机代替人类大脑来参与到社会的生产生活已经非常普遍。为了改善指针式仪表在自动读数时的弊端,本文提出了采用基于深度学习的方法实现对指针式仪表的表盘检测和分割,首先采用训练好的SSD神经网络对仪表进行识别,当识别到仪表区域后,再采用训练好的卷积神经网络Mask-RCNN直接对图像进行指针区域检测和分割,实现对指针式仪表中表盘指针等元素的特征提取。通过与数据库中仪表模板进行配比,计算仪表指针与零刻度线的夹角,达到自动读数的目的。通过模拟实验发现,利用卷积神经网络提取指针的掩膜区域,再对掩膜区域进行直线提取获得指针指向,得到的仪表示数平均误差在0.45°,且最大误差控制在1°内。本文解决方法实现了更准确更稳定的自动读数,并且对环境等外界因素有更稳定的适应性。

关键词： 指针式仪表   深度学习   特征提取   图像校正   自动识别  

摘要： 指针式仪表以其抗干扰能力强、使用寿命长等优势,被广泛应用在各类工业场所,尤其在石油勘探一类干扰强、气候多变、多辐射的复杂环境中。在这类工作环境中指针式仪表负责对现场机械设备的工作状态进行监测,目前指针式仪表读数仍以人工抄录为主。随着工业自动化、智能化的要求不断提高,一些关于指针式仪表示数自动识别的算法相继诞生。主要分为基于传统图像处理技术的指针式仪表识别方法和基于深度学习模型的识别算法。传统算法运行速度快,但是灵活性差、抗干扰能力弱、对图像质量要求偏高;基于深度学习的算法应用场景广、抗干扰能力强,但仍然存在许多可以改进优化的地方。针对传统图像处理算法存在的缺陷和已有基于深度网络的指针仪表自动识别方法的不足,结合石油勘探环境的实际需要,本文提出一种基于改进Mask RCNN模型的指针式仪表示数自动识别方法。该方法将深度学习模型与传统图像处理技术结合,能对背景噪声复杂、电磁干扰强、光照不均等恶劣环境下的指针式仪表进行检测,经验证该方法灵活性高、应用场景广、性能稳定。本文主要研究内容如下:（1）针对原始Mask R-CNN在仪表特征边缘处存在识别能力不足的问题,改进原始Mask R-CNN实例分割网络,并提出基于改进Mask R-CNN的指针式仪表示数自动识别算法。该算法利用主流的实例分割模型Mask R-CNN提取仪表特征信息,接着运用传统的图像校正、指针线拟合等技术计算仪表示数。为了使网络能够适应小样本数据集和提升网络的训练效率,本文利用迁移学习的方法对改进后的Mask R-CNN实例分割网络进行训练。改进后的Mask R-CNN实例分割平均精度（AP）提升了2%到3%,AP50达到了97.15%。（2）为了提高指针式仪表示数自动识别算法对仪表示数的检测精度,本文结合传统图像校正算法和指针线检测算法的缺陷,提出基于Hough变换的透视变换图像校正算法和基于SVD的最小二乘法指针线检测算法。这两种方法减小了仪表的读数计算误差,实现了对整个指针式仪表自动检测算法识别精度的提升。最终,在15张指针仪表图像上对比当前多个性能优越的指针式仪表示数自动识别算法,本文提出的指针式仪表示数识别算法平均相对误差最低,其值为1.970%。（3）为了满足工业环境智能化、自动化要求,搭建了便于移植的工业指针式仪表示数自动识别算法框架,并设计了相应的人机交互软硬件平台。