基于DenseNet和深度運(yùn)動圖的行為識別算法
2020年信息技術(shù)與網(wǎng)絡(luò)安全第1期
張健，張永輝，何京璇
（海南大學(xué)，海南 ?？?570228）
摘要： 結(jié)合深度信息以及RGB視頻序列中豐富的紋理信息，提出了一種基于DenseNet和深度運(yùn)動圖像的人體行為識別算法。該算法基于DenseNet網(wǎng)絡(luò)結(jié)構(gòu)，首先獲取彩色紋理信息和光流信息，然后從同步的深度視頻序列獲取深度信息，以增強(qiáng)特征互補(bǔ)性；再將空間流、時間流和深度流三種特征信息分別作為網(wǎng)絡(luò)的輸入；最后通過LSTMs進(jìn)行特征融合和行為分類。實驗結(jié)果表明，在公開的動作識別庫UTDMHAD數(shù)據(jù)集上，該算法識別準(zhǔn)確率為 92.11%，與該領(lǐng)域中的同類算法相比表現(xiàn)優(yōu)異。
中圖分類號：TP391.4
文獻(xiàn)標(biāo)識碼：A
DOI： 10.19358/j.issn.2096-5133.2020.01.012
引用格式：張健，張永輝，何京璇?；贒enseNet和深度運(yùn)動圖的行為識別算法［J］。信息技術(shù)與網(wǎng)絡(luò)安全，2020,39（1）：63-69.
文獻(xiàn)標(biāo)識碼：A
DOI： 10.19358/j.issn.2096-5133.2020.01.012
引用格式：張健，張永輝，何京璇?；贒enseNet和深度運(yùn)動圖的行為識別算法［J］。信息技術(shù)與網(wǎng)絡(luò)安全，2020,39（1）：63-69.
Action recognition algorithm based on DenseNet and depth motion map
Zhang Jian,Zhang Yonghui,He Jingxuan
（Hainan University,Haikou 570228,China）
Abstract： This paper proposes a human behavior recognition algorithm based on DenseNet and DMM,which integrates depth information and rich texture information in RGB video sequence.Based on the DenseNet network structure,the algorithm firstly obtains color texture information and optical flow information,and then obtains depth information from synchronous depth video sequence to enhance feature complementarity.Three kinds of characteristic information are used as the input of spatial flow network,temporal flow network and deep flow network.Then LSTMs is used for feature fusion and behavior classification.Experimental results show that the recognition rate of UTDMHAD data set is 92.11%,which is an excellent performance compared with similar algorithms in this field.
Key words : action recognition;depth motion maps;DenseNet;optical flow
0 引言
近年來，有關(guān)人體行為識別的研究層出不窮，現(xiàn)如今已成為計算機(jī)視覺研究中日益關(guān)注的熱點(diǎn)。其中，對視頻中目標(biāo)的行為識別一直以來都是一個非?；钴S的研究領(lǐng)域。雖然在對于靜止圖像識別的研究上取得了很大的成功，但是對視頻類的行為識別如今仍是一個富有挑戰(zhàn)性的課題。
在行為識別領(lǐng)域中，卷積神經(jīng)網(wǎng)絡(luò)得到了廣泛的應(yīng)用。早期的研究人員主要嘗試融合光流與RGB視頻幀來提高行為識別準(zhǔn)確率。RGB視頻內(nèi)的細(xì)節(jié)信息非常豐富，但缺乏深度信息，其識別準(zhǔn)確率常常受光照變化、陰影、物體遮擋等因素的干擾。如文獻(xiàn)［2］在2014年首次提出了創(chuàng)造性的雙流網(wǎng)絡(luò)，通過從RGB視頻序列提取時空信息進(jìn)行識別；文獻(xiàn)［3］用基于長短期記憶的多尺度卷積神經(jīng)網(wǎng)絡(luò)來提取多層次表觀特征，從而學(xué)習(xí)長周期的高層時空特征；文獻(xiàn)［4］使用在ImageNet上進(jìn)行預(yù)訓(xùn)練的DenseNet來搭建雙流卷積神經(jīng)網(wǎng)絡(luò)，從中提取空間和時間特征，然后微調(diào)來進(jìn)行單幀活動預(yù)測。
本文詳細(xì)內(nèi)容請下載：http://ihrv.cn/resource/share/2000003117
作者信息：
張健，張永輝，何京璇
（海南大學(xué)，海南 ?？?570228）
此內(nèi)容為AET網(wǎng)站原創(chuàng)，未經(jīng)授權(quán)禁止轉(zhuǎn)載。