123,123

基于深度回归的指针仪表读数识别方法

2020年信息技术与网络安全第12期

彭昆福1，王子磊1，王磊2，顾杨2

1中国科学技术大学信息科学技术学院，安徽合肥230027； 2.国网安徽省电力有限公司检修分公司，安徽合肥231131

摘要： 现有仪表读数识别方法通过检测指针和刻度获取读数，对输入的仪表图像质量要求较高，为此提出一种新的基于深度回归的指针仪表读数识别方法。该方法首先由仪表图像获取图像特征，然后通过方向回归模块预测指针方向，最后根据指针角度计算仪表读数。相比于其他方法，该方法采用端到端的回归方式进行直接学习，具有更强的识别能力。在较大规模变电站仪表图像数据集上，该方法取得了97.2%的读数精度，相比于基于Mask R-CNN的仪表读数识别方法提高了7.4%。定性分析和定量分析结果表明，相比于现有的仪表读数识别方法，该方法对表盘图像干扰具有更强的鲁棒性。

關鍵詞： 指针仪表读数识别深度学习端到端回归

中圖分類號： TP319.4
文獻標識碼： A
DOI： 10.19358/j.issn.2096-5133.2020.12.007
引用格式：彭昆福，王子磊，王磊，等. 基于深度回歸的指針儀表讀數(shù)識別方法[J].信息技術與網絡安全，2020，39(12)：37-43.

Pointer meter reading recognition by deep regression

Peng Kunfu1，Wang Zilei1，Wang Lei2，Gu Yang2

1.School of Information Science and Technology，University of Science and Technology of China，Hefei 230027，China； 2.State Grid Anhui Maintenance Company，Hefei 231131，China

Abstract： Existing pointer meter recognition methods usually predict the results by detecting pointer and scale marks, thus require high-quality meter images, which have weak robustness to interferences such as dial blurring, glistening, stains, and yellowing. To address this issue, we propose an end-to-end pointer meter reading recognition method by deep regression, which firstly extracts rich features from the meter image, then regresses the orientation of the pointer using an orientation regression module, and finally calculates the value of the meter reading from the pointer angle. Benefitted from the end-to-end training and novel regression way, our proposed method can achieve better recognition performance. We conduct experiments on a large scale dataset of pointer meters of substations and our method achieves an average recognition accuracy of 97.2%, which is higher by 7.4% than the Mask R-CNN based method. Qualitative and quantitative analysis results show that our method possesses stronger robustness to various dial interferences than the existing method.

Key words : pointer meter；reading recognition；deep learning；end-to-end；regression

0 引言

隨著數(shù)字化、智能化的普及，大部分工業(yè)場景都采用數(shù)字儀表，但是對于電力行業(yè)，指針儀表由于其穩(wěn)定性、抗干擾性優(yōu)勢，仍廣泛應用于我國的電力實際監(jiān)控中^[1]。但大部分指針儀表的讀取仍依靠人工進行，要求工作人員到現(xiàn)場進行數(shù)據記錄，費時費力、容易出錯。因此，指針儀表讀數(shù)自動識別技術的研究具有重要意義^[2]。

關于指針儀表自動識別的研究早期已經出現(xiàn)，這些工作^[3-6]主要基于傳統(tǒng)計算機視覺技術。參照人工儀表讀數(shù)的原理，傳統(tǒng)方法大致由儀表檢測、儀表分類、儀表校正、預處理、指針檢測、刻度檢測、讀數(shù)計算幾個步驟組成，但由于采用表征能力比較弱的人工圖像描述方法，同時又依賴比較強的先驗信息，因此對圖像質量要求較高，在復雜條件下的識別性能不盡人意。

當前，深度學習因其強大的表征能力已經開始應用于指針儀表自動識別領域。文獻[7]較早采用Faster R-CNN進行儀表檢測，然后通過自適應閾值分割、連通域分析和中心投影來檢測指針和刻度，最終根據指針與刻度之間的角度計算讀數(shù)。在此基礎上，文獻[8]對Faster R-CNN結構進行針對性優(yōu)化，并融入表盤鏡面反射消除方法，從而提升模型的魯棒性。與此類似，文獻[9]利用9層卷積神經網絡進行儀表檢測，然后利用橢圓變換進行儀表校正，接著利用Hough變換檢測指針；文獻[10]通過全卷積網絡(Fully Convolutional Network，F(xiàn)CN)檢測儀表，然后進行圖像濾波和校正，最后通過極坐標徑向灰度統(tǒng)計的方法檢測指針；文獻[11]利用YOLO9000檢測儀表，然后利用EAST(Efficient and Accurate Scene Text detector)算法識別儀表刻度數(shù)值，并根據數(shù)值位置提取指針。相比于傳統(tǒng)方法，這些方法的性能有所提升，但深度神經網絡都只應用在儀表檢測階段，后續(xù)讀數(shù)識別流程仍基于傳統(tǒng)計算機視覺方法，沒有充分發(fā)揮深度學習的優(yōu)勢，因此仍然存在傳統(tǒng)方法讀數(shù)不精確的問題。

近期，一些方法開始在讀數(shù)識別階段應用深度學習方法。文獻[12]提出利用基于PrRoIPooling(Precise RoI Pooling，精確感興趣區(qū)域池化)的Mask R-CNN同時完成儀表檢測和表盤、指針分割，并對分割出的表盤進行橢圓變換從而得到指針方向，但是該方法只適用于圓形儀表。文獻[13]提出先對圖像進行去霧、補全、超分辨等一系列預處理，然后用Mask R-CNN進行儀表檢測和指針分割，但是該預處理過程比較復雜。文獻[14]提出利用Mask R-CNN對儀表圖像進行指針關鍵點和刻度關鍵點檢測，然后從指針和關鍵點計算儀表讀數(shù)，該方法能夠適應不同形狀的儀表，也無需復雜的預處理，但關鍵點檢測性能容易受到表盤模糊、反光、臟污、泛黃等條件的干擾，因此性能仍有待提升。文獻[15]提出采用Faster R-CNN進行儀表和指針區(qū)域檢測，然后利用U-Net對檢測出的儀表和指針區(qū)域分別進行刻度和指針分割，最后利用仿射變換校正儀表，但是該方法的采用網絡較大，特征冗余度較高。

針對指針儀表讀數(shù)的這些問題，受到場景文本識別工作TextSnake^[16]的啟發(fā)，本文提出一種新的基于深度回歸的儀表讀數(shù)識別方法，該方法不顯式地檢測指針和關鍵點，而是將指針檢測、刻度識別、干擾抑制隱式地結合起來，通過回歸方法實現(xiàn)對儀表圖像的端到端處理。具體地，給定一張儀表圖像，先通過ResNet50^[17]獲取圖像特征，然后利用一個方向回歸模塊從特征回歸儀表指針方向，最后根據指針角度獲取儀表讀數(shù)。實驗證明，本文方法對表盤模糊、反光、臟污、泛黃等抗干擾性強，讀數(shù)識別精度相比于基于Mask R-CNN的儀表讀數(shù)識別方法顯著提高。

本文詳細內容請下載:http://ihrv.cn/resource/share/2000003224

作者信息:

彭昆福1，王子磊1，王磊2，顧楊2

(1中國科學技術大學信息科學技術學院，安徽合肥230027；

2.國網安徽省電力有限公司檢修分公司，安徽合肥231131)

原創(chuàng)聲明：此內容為AET網站原創(chuàng)，未經授權禁止轉載。

相關內容