关键词： 指针式仪表   YOLO   图像处理  

摘要： 指针式仪表因其良好的稳定性和耐用性,在石油化工、军事航天、电力等强电磁的复杂环境中具有数显式仪表不可替代的地位。工业环境中的仪表巡检大多依靠人工,这种方式不仅耗费大量的人力资源成本,而且易受环境影响、工作效率低。因此,提高仪表巡检智能化水平具有重要研究价值和广阔应用前景。为解决工业场景中的指针式仪表巡检读数问题,开展了深度学习技术与图像处理技术相结合的指针式仪表识别与读数方法研究。主要研究内容如下:1)针对复杂工业背景中仪表的可靠识别问题,基于yolov3初始模型设计一种改进的仪表目标检测算法。首先对仪表数据集扩充,采用k-means++算法聚类出适合仪表数据集的初始锚框以提升检测速度;然后在yolov3骨干网络中加入双通道注意力机制和残差块以提升检测及分类准确度。实验结果表明,三类仪表在数据集上训练测试的平均精度达到90.8%,相比原始yolov3提升了约2.1%。2)针对指针式仪表盘内的量程识别问题,提出一种基于yolov4模型改进的量程数字检测与识别算法。通过在主干网络部分引出一个较大的特征图,并经路径聚合网络融合后增加一个检测头以提高数字小目标检测的准确度。集成深度可分离卷积,减少模型计算量,从而提高检测速度。基于数字相对位置关系实现数值合并。3)采用瞄准和读数两步法实现示值读取,在瞄准环节,经图像预处理、粗提取、细提取、细化、直线拟合等步骤提取到指针。在读数环节,提出用量程数字、图像中心和指针直线的三者位置关系确定指针偏转角度,进而确定读数。实验结果表明,读数相对误差在5%以内。图69幅;表5个;参67篇。

关键词： 指针式仪表   读数识别   注意力机制   沙漏网络模型  

摘要： 随着机器视觉、人工智能等技术的发展，利用巡检机器人完成指针式仪表读数的任务逐渐成为主流。但是，巡检机器人获取的图像中常常存在其他生产设备等因素的干扰，并且仪表类型多、仪表图像容易倾斜，这导致现有的指针式仪表读数方法不能满足实际要求。　　针对以上问题，本文从仪表定位、仪表类型识别以及仪表读数识别的三个方面进行研究，提出了基于深度学习的指针式仪表读数方法，主要研究内容和成果如下:　　(1)针对仪表图像中背景干扰大的问题，提出了基于MobileNet-BA的指针式仪表检测网络，该网络包含MobileNet-BA模块、SPP模块、PANet模块以及检测头。其中MobileNet-BA骨干网是在MobileNetV3网络的基础上，用BA注意力机制替换原始的SE注意力机制，从而充分利用图像多尺度特征，提高网络检测精度。该仪表检测网络在本文构建的数据集上进行实验，实验结果表明，该网络的平均精度为91.8％，F1为92.67％，优于对比方法，为后续方法的实现奠定了基础。　　(2)为了识别仪表的具体类型，从而为后续的仪表读数识别提供仪表指针角度与刻度值的关系，本文提出了基于通道分组注意力的指针式仪表细粒度分类网络。该网络包含ResNet-50骨干网、特征金字塔网络以及类别回归模块，在类别回归模块中通过通道分组注意力模型处理特征图，生成注意力图，从而让网络更好的关注图像区分性区域。该网络在本文构建的数据集上进行了实验，实验结果表明，该网络总体正确率为98.1％，优于对比方法。　　(3)为了获取指针角度，提出了基于改进堆叠沙漏网络模型的指针式仪表关键点检测网络。在原始的沙漏网络中加入了通道混洗模块，提出了改进的沙漏网络模型，该网络能促进不同尺度间特征信息的流动，从而增强网络的检测精度。通过检测网络获取到仪表的五个关键点，通过表盘区域视角校正与反三角函数得到指针的角度，利用指针角度与刻度值的关系获得最终的仪表读数。该仪表关键点检测网络在本文构建的数据集上的检测效果优于对比方法。　　本文从变电站生产场景中抓取了100张图片共含148个指针式仪表，利用本文提出指针式仪表读数识别方法进行读数，识别正确率为92.57％，说明该方法能较好的适用于巡检机器人完成指针式仪表的巡检任务。

关键词： 目标检测   树莓派   图像分割   指针式仪表   云平台  

摘要： 指针式仪表由于其示数识别的可靠性高、使用维护方便快捷、价格便宜、适用于各种恶劣使用环境等优势,被广泛应用在电力、化工等领域。目前,电厂中的许多设备的运行状态显示采用了指针式仪表,如气压表、温度表、油温表、油压表等。对这些指针式仪表数据记录及读取主要是靠人眼近距离的观测,人工手动记录,该方法存在着人力成本高、数据较为分散并且主观性强、很难保证及时处理隐患等诸多问题。根据电力企业信息化管理的要求,需要对这些仪表示数进行自动化读取,然而这些指针式仪表由于不具备通讯接口,无法实现测量数据的自动采集及传输,因此急需开展指针式仪表自动巡检及数据采集技术应用研究。本文将图像处理技术与云技术相结合,并以树莓派小车为自动巡检硬件平台,研究设计了仪表读数识别系统以及云平台通讯系统,以期为电厂指针式仪表自动巡检及数据读取提供技术支撑。具体研究内容如下:(1)设计了一种轻量化的YOLOv4仪表盘检测模型。针对算力有限的自动巡检平台,对YOLOv4目标检测模型进行轻量化的改进,剔除了 YOLOv4原来的主干特征提取网络CSPDarknet53,融合轻量化MobileNetv3网络到YOLOv4网络结构中,并将PANet网络中标准卷积替换为深度可分离卷积,该轻量化模型在NVIDIA Geforce GTX 1050Ti 4G显卡上对于分辨率为320×320的图像检测速率为22帧/s,均值平均精度(mAP)为99.92%;(2)设计了仪表指针与刻度线分割算法和仪表读数算法。针对图像会受到外界因素影响导致图像质量不高等不良情况,分割指针与刻度线算法在保证精度的同时兼顾自动巡检平台的算力,将DeepLabv3+的主干网络部分Xception替换为融合了空洞卷积的轻量化网络MobileNetv2,改进后的模型在NVIDIA Geforce GTX 1050Ti 4G显卡上对于分辨率为320×320的图像检测速率为21帧/s,均交并比(mIoU)为89.77%。在分割信息的基础上利用透视变换进行倾斜校正,对校正后的图像进行空间变换并与距离法结合,可实现仪表的读数且引用误差(测量的绝对误差值与满量程值之比)小于4%;(3)搭建了云平台系统。以云服务器为核心,实现服务器与巡检小车平台通信,将巡检小车图像处理所获得的数据存储到云服务器的数据库或本地;开发微信公众平台,实现根据用户发出的指令来读取仪表巡检结果;(4)开发了一套以树莓派小车为自动巡检平台的仪表读数系统。在实验室内,模仿电厂仪表的位置,通过自动巡检平台搭载的工业摄像头、相机云台等硬件设备,实现自动巡检平台在模拟电厂环境中仪表读数数据的自动读取、数据传输到云服务器以及在移动微信客户端查看巡检信息的功能且最终仪表读数的引用误差均在4%以下。

关键词： 指针式仪表   图像预处理   刻度提取   椭圆拟合   透视变换   极坐标变换  

摘要： 随着经济的飞速发展,人民的社会生产生活对电力的依赖程度越来越高,国家电网的重要程度日益凸显。国家也对电网的发展提出了“建设坚强智能电网”的新目标和新要求。作为电网的重要组成部分,变电站能否正常稳定运行关系着人民的切身利益,自动监测变电站的运行以及排除其安全隐患成了电网智能化、自动化发展的一个重要方向。指针式仪表具有制造成本低、易维护、结构简单、抗电磁干扰能力强以及能够直观地反映被测量的变换范围和趋势等特点。因此尽管数字仪表已经取代了大量指针式仪表,变电站中仍存在大量指针式仪表需要人工读取示数,不利于其自动化管理。随着科学技术的发展,巡检机器人、无人机等智能设备逐渐进入电力系统,在自动监测环节发挥了重要的作用。通过巡检机器人的摄像机进行拍摄,对获取的照片进行一系列图像处理操作,获取仪表示数的方法具有很高的应用价值,对电网智能化的发展起到了至关重要的作用。本文针对现有指针式仪表识别方法的局限性,对指针式仪表示数识别方案进行了研究与设计,主要内容包括:首先,现有的指针式仪表示数识别算法通常只能对正面拍摄的仪表图像进行识别,对于拍摄角度偏移,有较大倾斜的指针式仪表的识别,当前的算法无法满足工业界的要求。而目前检测方案中消除图像畸变的方法大多基于特定类型仪表的特定特征设计,其通用性不足。针对该问题本文研究了图像配准、透视变换等消除图像畸变方法,给出了一种基于刻度圈粗提取和最小二乘椭圆拟合的透视变换方法消除仪表图像的畸变,可以有效地处理有较大倾斜的指针式仪表。其次,目前指针式仪表识别算法中对仪表图像受到曝光不足或过曝光、有雾等影响的情况的研究较少,这些情况的出现都会影响识别的精度。本文在通过双边滤波器去除噪声的基础上,应用直方图均衡化和带颜色恢复的Renitex算法进行图像增强,并通过对比试验验证了图像预处理方法的有效性和必要性。最后,目前指针式仪表识别算法的整体方案中,难以避免地需要正面拍摄的占比较大的原始仪表图像作为模板用于识别过程,而受变电站环境影响,无法提供模板的情况时有出现。另一方面,需要提供模板的检测方案其通用性大大受限。针对该问题,本文设计了完整的不需要预先提供模板图像的包括仪表表盘检测、仪表图像预处理、表盘信息提取、仪表示数计算的指针式仪表示数识别方案,并通过实验验证了该方案的准确性和稳定性。

关键词： 指针式仪表   读数识别   倾斜矫正   Mask R-CNN   尺度不变特征变换  

摘要： 工业指针式仪表以其可靠性高、维修成本低等优势被广泛应用于工业生产制造中,并且大多数采用人工进行读数,这样不仅会造成生产效率低,还会由于人的疲劳程度等因素对读数带来误差。虽然国内外学者已经对指针式仪表读数识别有了很大的研究,但是由于指针式仪表易受光照等外界因素的影响,目前还存在许多问题与挑战。本文研究了一种工业指针式仪表读数识别算法,具体研究内容如下:(1)针对指针式仪表安装环境复杂导致采集到的图片中仪表存在倾斜的问题,研究了一种改进的指针式仪表图像倾斜矫正的方法。首先将尺度不变特征变换方法确定的特征点位置作为候选特征点,然后依据每个候选特征点圆形邻域上像素值的变化对候选特征点进行筛选,最后保留符合条件的作为特征点并利用其对仪表图片进行倾斜矫正。结果表明,改进后的倾斜矫正方法检测的特征点有效率提高了4.14%,并且利用本章方法均可将仪表表盘矫正为正视状态。(2)针对指针式仪表中表盘信息丰富导致刻度线和指针区域难以提取的问题,研究了一种基于Mask R-CNN的改进的指针式仪表读数区域分割方法。首先以Mask R-CNN分割指针的指针区域为基础,在原图上将指针针尖处的边缘点作为中心点构建矩形,然后采用轮廓跟踪算法对矩形内的指针区域进行检测,最后将两部分指针区域进行合并得到最终的指针分割结果。结果表明,改进后的分割方法在分割精度上提升了0.81%,达到了99.32%。(3)针对指针式仪表读数识别精度不高的问题,研究了一种读数识别与计算的方法。首先采用极坐标变换对刻度线区域进行调整,然后利用投影完成刻度线的定位;接着对指针的二值掩码提取其轮廓的中心线,并且根据指针的旋转中心、轮廓质心和指针中心线两端点的距离关系判断指针的指向;最后结合表盘整体刻度线及对应刻度值,根据指针和指针相邻的两条刻度线之间的距离关系计算出指针对应的读数。结果表明,采用此方法计算的读数误差可以达到分度值的1/4。

关键词： 指针式仪表   自动读数   自然场景   深度学习   计算机视觉  

摘要： 指针式仪表是广泛应用于工业领域的测量仪器,如压力表、温度表、水位表等。但是由于环境,技术等限制,大多数工业领域的指针式仪表都仍然采取人工读表的方式。在计算机视觉技术与图像处理技术发展的今天,自动读取指针式仪表的数值已经成为了研究热点。然而,现在的自动读数算法在自然场景下的读数精度不高,在工业场景下(变电站、燃气站等)应用效果不好。因此,本文基于深度学习,对指针式仪表的自动读数方法展开研究,力求研究一种能在自然场景下进行高精度自动读表的方法。具体研究内容如下:第一,指针式仪表表盘检测模型研究。首先,本文使用基于目标检测算法Yolov4的改进算法对目标仪表进行定位并放大目标表。其次,引入空洞卷积、Densenet、SAM等网络结构,用于提升模型在自然条件下的精度。经过实验验证,本文提出的表盘检测模型可以在自然场景下收集的表盘数据集上取得93.27%的精度,高于原始Yolov4模型。第二,指针式仪表读数识别方法研究。首先,使用基于Unet的语义分割模型提取指针区域,并通过此指针区域,拟合出指针角度。其次,融合了字符检测算法CRAFT和文本识别算法E2E-MLT,并将其应用于识别表上的刻度文本和单位。在这一阶段,通过识别表盘刻度文本的位置,定位圆心,用于后续极坐标化。之后,将表的刻度区域转换到极坐标系统下,并设计了一个轻量级卷积神经网络,用于定位每个刻度所对应的主刻度线。最后,设计算法结合上述信息,计算读数。第三,模型应用验证。首先,为了训练和验证本文所提出的深度学习模型,本文从燃气站、油田、发电厂等真实工业场景下采集指针式仪表的图像,并进行分类,构造数据集。之后,对每个深度学习模型进行训练和验证,并对图像进行读数,对比前人的自动读表算法。最后,对本文提出的基于深度学习的指针式仪表自动读数方法进行真实场景验证。将本文方法部署到移动巡检机器人上,并在大型工业场景下进行读数测试,并对比人工读数,验证方法的有效性。

关键词： 深度学习   目标检测   图像处理   旋转检测  

摘要： 工业仪表在石油钻井现场中被广泛应用,为了实现石油钻井现场的数字化转型以及智能化发展,需要对仪表的数据进行实时的采集,但由于环境条件的限制当前现场仍存在大量的指针式仪表难以自动传输数据,因此提出了基于深度学习的方案对指针式仪表图像进行自动识别,获取仪表数据,实现井场的数字化管理、控制。本论文的主要工作内容如下:(1)提出了基于MobileNet+SSD的三步式仪表图识别方案。首先提出了MobileNet改进的SSD目标检测框架对仪表图像进行背景去除。然后根据现场采集图像存在的光照不均、图像抖动、仪表旋转等问题,分别提出了基于Gamma增强的改进Retinex算法、模板匹配与缓存帧改进的维纳滤波以及基于改进HOUGH检测的旋转校正算法进行解决。提出了圆心判断法以及按角度比例计算法获取最后指针位置。最后通过实验证明了该方案准确率高,鲁棒性高等优点。(2)为满足井场监控实时性的要求,深度刨析了YOLOv5s的内部框架,架构了基于CSL算法的YOLOv5s的旋转目标检测仪表识别框架。针对CSL算法嵌入YOLOv5s后存在的分类局限导致的编码计算量过大问题,采用二进制编码代替原有编码降低模型参数计算量;针对CSL算法检测指向性不明确导致的角度检测局限的问题,提出了预缓存算法拓宽角度检测范围实现全角度检测。最后通过实验对比验证了该方案在实际工程应用中,不仅可以保证准确率,还可以实现检测数据的实时监控。论文算法为现场指针式仪表实现仪表数据获取和井场数字化奠定理论基础,具有一定的工业推广价值,为指针式仪表识别提供了新的发展思路。

关键词： 指针式仪表识别   表盘分割   深度学习   Mask R-CNN  

摘要： 指针式仪表由于造价低廉且读数不易受到环境等因素的影响,被广泛的应用于石油、化工、航天等领域。然而,由于指针式仪表没有数字化接口,使用人工读取数据会存在效率低下的问题。因此,对指针式仪表的示数进行智能化读取具有重大意义。目前,传统的指针式仪表读数识别算法只能在特定的环境或固定的位置运行,没有较高的可靠性。随着深度学习的发展,本文将数字图像处理技术和深度学习相关技术相结合,对指针式仪表示数的智能识别进行深入研究,主要包括以下三个方面:(1)表盘的定位与分割。本文提出了基于改进的Mask R-CNN算法的指针式仪表表盘的自动识别方法,对包含自然环境的仪表图片进行表盘的定位和分割,减少后续图像处理过程中的计算量。实验表明,改进后的Mask R-CNN算法的目标检测精度提升了2.1%,实例分割精度提升了1.9%。相对于传统的表盘定位算法,本算法具有准确度高、鲁棒性强的特点。(2)表盘的预处理。本文对采集到的仪表图像的特点进行深入研究,发现在进行图像采集时很难保证摄像机与仪表盘始终保持在同一个水平面,仪表盘区域会产生不同程度的倾斜。因此,使用透视变换对仪表盘进行倾斜矫正。在此基础上,对图像进行灰度化、二值化和连通域标记等预处理,以实现表盘图像特征的强化。(3)指针的定位与拟合以及仪表示数读取。首先使用最小二乘法对指针进行提取和细化。随后采用投影法对表盘中的数字和刻度线进行分割,在此基础上,利用改进后的Le Net-5卷积神经网络对表盘中的数字进行识别。实验结果表明,经过改进的Let Net-5对数字的识别准确度达到了98.94%。最后,结合角度法对仪表示数进行计算。与人工读数进行对比,发现该算法读数更加精确且高效。本文提出的基于深度学习的指针式仪表检测与识别方法,实现了仪表的精确检测、图像校正和示数识别。并且本文所提出的改进的Mask R-CNN算法相比于传统的Mask R-CNN算法,读数识别精度更高,鲁棒性更强,并且适用于各种复杂环境,为指针式仪表的目标检测和自动读数提供了一种可行的思路。

关键词： Riesz分数阶导数   角度向量法   RSSD   YOLOX   Softer-NMS  

摘要： 随着我国工业自动化的快速发展,传统的仪表人工采取方式由于自身的种种局限,已经逐渐无法满足工业自动化中高实时性和高鲁棒性的采集要求。因此在技术进步和工程实际需求的推动下,智能巡检方式逐渐得到了广泛应用,其中基于神经网络技术更是凭借其识别精度高以及运算速度快等优势成为了机器视觉方法中的重点研究内容。本文的研究目的是通过较少的成本,设计并开发出一套指针式仪表识别读数系统,用于变电所等复杂环境下指针式仪表的自适应识别读数。首先,本文针对指针式仪表可能受到天气原因造成图像雾化的问题,引入了基于暗通道的仪表图像去雾方法,使用暗通道算法在一定程度上减少了雾气遮挡产生的影响。通过结合Riesz分数阶导数和反锐化掩膜算法创新频域图像增强算法,并应用到仪表图像增强有用信息细节。最后利用仿射变换法完成坐标系之间的转换以实现舵机智能调整摄像机。其次针对仪表表盘定位识别问题,详细说明传统目标检测算法用于仪表表盘识别定位的缺点,然后引进同步采用池化和反卷积进行特征融合的RSSD目标检测网络,成功提高了定位识别仪表表盘的准确率与鲁棒性。对于目标检测网络数据集的短缺,采取自制仪表数据集的方法,通过充分训练进一步提升RSSD网络模型的精度与稳定性。再次,针对仪表图像在巡检机器人工作时出现运动模糊与倾斜问题,通过运动模糊的逆过程完成复原,且利用透视变换法对具有一定倾斜角度的仪表图像进行纠正,获取质量较好的仪表图像。在指针识别定位与读数问题上,通过引进加入改进柔性非极大抑制策略Softer-NMS和角度向量法创新YOLOX网络模型,实验证明具有高准确率和速率。最后,基于Pycharm平台、Python开发语言,结合Qt、Open CV开源库设计并开发了指针式仪表识别读数系统的配套软件,且通过该系统在实地情况对开关柜上的电压表进行了识别读数试验,验证了方法的可行性及有效性。

关键词： 变电站仪表   Modi-YOLOv3-Tiny   图像预处理   读数识别  

摘要： 在变电站的智能化升级趋势下,变电站的电气设备类型和数量都在变多,表征这些设备运行状态的指针式仪表也越来越多。依靠传统的人工巡检方式,将会越来越受限于复杂多变的变电站环境,对这些仪表进行读数记录工作量较大,影响读数记录的准确性,同时长时间暴露于各种变电站高压电气设备之间,也会给巡检人员的生命安全带来一定的隐患,所以基于巡检机器人的自动巡检方式进行仪表自动识别,因效率高、精度高而得到大力发展。本文针对现有的变电站指针式仪表自动识别方案无法满足巡检过程中的实时性要求、以及面对复杂变电站环境适应性差的问题,基于机器视觉、人工智能的深度学习技术开展变电站指针式仪表的自动识别研究,主要的研究内容如下:1)构建自然场景下变电站指针仪表数据集,并通过几何图像随机变换、对比度随机调整、亮度随机调整对图像数据集进行加强;2)针对YOLOv3-Tiny网络在表盘检测的平均准确率上,相比于Faster R-CNN、YOLOv3的劣势,提出了基于VGGNet的YOLOv3-Tiny网络的改进,将VGGNet网络中特征提取卷积层改进方法引用到本文的YOLOv3-Tiny网络中,得到改进后的Modi-YOLOv3-Tiny网络;3)图像预处理中,提出仪表图像降噪先通过中值滤波滤除脉冲噪声,再通过双边滤波滤除高斯噪声的方法,并提出了基于边缘检测的图像二值化;4)提出了基于DBSCAN算法的表盘圆心拟合,对表盘刻度线拟合直线的交点集合区域进行圆心拟合,提高了准确率;5)仪表的读数识别,采用了将环状刻度区域矩形化的距离法和利用指针拟合直线与刻度线夹角的角度法,并经过实验对比发现角度法在识别速度上更有优势,更满足实时性要求。