文獻(xiàn)標(biāo)識(shí)碼: A
DOI: 10.19358/j.issn.2096-5133.2020.12.007
引用格式: 彭昆福,王子磊,王磊,等. 基于深度回歸的指針儀表讀數(shù)識(shí)別方法[J].信息技術(shù)與網(wǎng)絡(luò)安全,2020,39(12):37-43.
0 引言
隨著數(shù)字化、智能化的普及,大部分工業(yè)場(chǎng)景都采用數(shù)字儀表,但是對(duì)于電力行業(yè),指針儀表由于其穩(wěn)定性、抗干擾性優(yōu)勢(shì),仍廣泛應(yīng)用于我國(guó)的電力實(shí)際監(jiān)控中[1]。但大部分指針儀表的讀取仍依靠人工進(jìn)行,要求工作人員到現(xiàn)場(chǎng)進(jìn)行數(shù)據(jù)記錄,費(fèi)時(shí)費(fèi)力、容易出錯(cuò)。因此,指針儀表讀數(shù)自動(dòng)識(shí)別技術(shù)的研究具有重要意義[2]。
關(guān)于指針儀表自動(dòng)識(shí)別的研究早期已經(jīng)出現(xiàn),這些工作[3-6]主要基于傳統(tǒng)計(jì)算機(jī)視覺(jué)技術(shù)。參照人工儀表讀數(shù)的原理,傳統(tǒng)方法大致由儀表檢測(cè)、儀表分類、儀表校正、預(yù)處理、指針檢測(cè)、刻度檢測(cè)、讀數(shù)計(jì)算幾個(gè)步驟組成,但由于采用表征能力比較弱的人工圖像描述方法,同時(shí)又依賴比較強(qiáng)的先驗(yàn)信息,因此對(duì)圖像質(zhì)量要求較高,在復(fù)雜條件下的識(shí)別性能不盡人意。
當(dāng)前,深度學(xué)習(xí)因其強(qiáng)大的表征能力已經(jīng)開始應(yīng)用于指針儀表自動(dòng)識(shí)別領(lǐng)域。文獻(xiàn)[7]較早采用Faster R-CNN進(jìn)行儀表檢測(cè),然后通過(guò)自適應(yīng)閾值分割、連通域分析和中心投影來(lái)檢測(cè)指針和刻度,最終根據(jù)指針與刻度之間的角度計(jì)算讀數(shù)。在此基礎(chǔ)上,文獻(xiàn)[8]對(duì)Faster R-CNN結(jié)構(gòu)進(jìn)行針對(duì)性優(yōu)化,并融入表盤鏡面反射消除方法,從而提升模型的魯棒性。與此類似,文獻(xiàn)[9]利用9層卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行儀表檢測(cè),然后利用橢圓變換進(jìn)行儀表校正,接著利用Hough變換檢測(cè)指針;文獻(xiàn)[10]通過(guò)全卷積網(wǎng)絡(luò)(Fully Convolutional Network,F(xiàn)CN)檢測(cè)儀表,然后進(jìn)行圖像濾波和校正,最后通過(guò)極坐標(biāo)徑向灰度統(tǒng)計(jì)的方法檢測(cè)指針;文獻(xiàn)[11]利用YOLO9000檢測(cè)儀表,然后利用EAST(Efficient and Accurate Scene Text detector)算法識(shí)別儀表刻度數(shù)值,并根據(jù)數(shù)值位置提取指針。相比于傳統(tǒng)方法,這些方法的性能有所提升,但深度神經(jīng)網(wǎng)絡(luò)都只應(yīng)用在儀表檢測(cè)階段,后續(xù)讀數(shù)識(shí)別流程仍基于傳統(tǒng)計(jì)算機(jī)視覺(jué)方法,沒(méi)有充分發(fā)揮深度學(xué)習(xí)的優(yōu)勢(shì),因此仍然存在傳統(tǒng)方法讀數(shù)不精確的問(wèn)題。
近期,一些方法開始在讀數(shù)識(shí)別階段應(yīng)用深度學(xué)習(xí)方法。文獻(xiàn)[12]提出利用基于PrRoIPooling(Precise RoI Pooling,精確感興趣區(qū)域池化)的Mask R-CNN同時(shí)完成儀表檢測(cè)和表盤、指針?lè)指睿?duì)分割出的表盤進(jìn)行橢圓變換從而得到指針?lè)较?,但是該方法只適用于圓形儀表。文獻(xiàn)[13]提出先對(duì)圖像進(jìn)行去霧、補(bǔ)全、超分辨等一系列預(yù)處理,然后用Mask R-CNN進(jìn)行儀表檢測(cè)和指針?lè)指?,但是該預(yù)處理過(guò)程比較復(fù)雜。文獻(xiàn)[14]提出利用Mask R-CNN對(duì)儀表圖像進(jìn)行指針關(guān)鍵點(diǎn)和刻度關(guān)鍵點(diǎn)檢測(cè),然后從指針和關(guān)鍵點(diǎn)計(jì)算儀表讀數(shù),該方法能夠適應(yīng)不同形狀的儀表,也無(wú)需復(fù)雜的預(yù)處理,但關(guān)鍵點(diǎn)檢測(cè)性能容易受到表盤模糊、反光、臟污、泛黃等條件的干擾,因此性能仍有待提升。文獻(xiàn)[15]提出采用Faster R-CNN進(jìn)行儀表和指針區(qū)域檢測(cè),然后利用U-Net對(duì)檢測(cè)出的儀表和指針區(qū)域分別進(jìn)行刻度和指針?lè)指?,最后利用仿射變換校正儀表,但是該方法的采用網(wǎng)絡(luò)較大,特征冗余度較高。
針對(duì)指針儀表讀數(shù)的這些問(wèn)題,受到場(chǎng)景文本識(shí)別工作TextSnake[16]的啟發(fā),本文提出一種新的基于深度回歸的儀表讀數(shù)識(shí)別方法,該方法不顯式地檢測(cè)指針和關(guān)鍵點(diǎn),而是將指針檢測(cè)、刻度識(shí)別、干擾抑制隱式地結(jié)合起來(lái),通過(guò)回歸方法實(shí)現(xiàn)對(duì)儀表圖像的端到端處理。具體地,給定一張儀表圖像,先通過(guò)ResNet50[17]獲取圖像特征,然后利用一個(gè)方向回歸模塊從特征回歸儀表指針?lè)较?,最后根?jù)指針角度獲取儀表讀數(shù)。實(shí)驗(yàn)證明,本文方法對(duì)表盤模糊、反光、臟污、泛黃等抗干擾性強(qiáng),讀數(shù)識(shí)別精度相比于基于Mask R-CNN的儀表讀數(shù)識(shí)別方法顯著提高。
本文詳細(xì)內(nèi)容請(qǐng)下載:http://ihrv.cn/resource/share/2000003224
作者信息:
彭昆福1,王子磊1,王 磊2,顧 楊2
(1中國(guó)科學(xué)技術(shù)大學(xué) 信息科學(xué)技術(shù)學(xué)院,安徽 合肥230027;
2.國(guó)網(wǎng)安徽省電力有限公司檢修分公司,安徽 合肥231131)