日常生活中人與人之間的交流除了語(yǔ)言、文字、圖片等之外，手勢(shì)等動(dòng)作的交流也是一種必不可少的方式，甚至在某些特定的場(chǎng)合，手勢(shì)交流會(huì)起著主導(dǎo)的作用。但是在人與手機(jī)等手持設(shè)備的人機(jī)交互方式上，往往只有傳統(tǒng)的鍵盤與觸屏方式，這兩種交互方式都是通過(guò)文字為媒介實(shí)現(xiàn)的。為了提高手持設(shè)備的便捷性，其他形式的交互方式顯得必不可少。而隨著MEMS技術(shù)與工藝的進(jìn)步，微型陀螺儀與加速度計(jì)的出現(xiàn)無(wú)疑為擴(kuò)展人機(jī)交互方式提供了一種新思路。目前，對(duì)于基于慣性傳感器的手持設(shè)備的姿態(tài)識(shí)別已經(jīng)引起了越來(lái)越多的的公司與機(jī)構(gòu)的關(guān)注。在目前，基于MEMS的慣性傳感器已經(jīng)在大量的工業(yè)產(chǎn)品中得到了應(yīng)用，例如從2007年開(kāi)始熱銷的iPhone手機(jī)與任天堂的Wii游戲機(jī)等產(chǎn)品中就應(yīng)用到了微加速度計(jì)。由微加速度計(jì)所帶來(lái)的前所未有的用戶體驗(yàn)代表著一種新的人機(jī)交互方式的開(kāi)始，而此種方式的核心內(nèi)容之一就是快速而精確地識(shí)別出手機(jī)當(dāng)前的姿態(tài)。對(duì)此，近年來(lái)已經(jīng)有很多人進(jìn)行了大量的工作，例如，Jang與 Park在2004年將手持設(shè)備測(cè)得的加速度信號(hào)分為靜態(tài)的和動(dòng)態(tài)的，并給出了相應(yīng)的識(shí)別方法[1]，F(xiàn)erscha和Resmritas則將手勢(shì)基于一定的規(guī)則分為了基本手勢(shì)與組合手勢(shì)，并以此建立相應(yīng)的手勢(shì)數(shù)據(jù)庫(kù)[2-3]。目前的研究絕大部分都是基于在手持設(shè)備中集成微加速度計(jì)而來(lái)，因而設(shè)備的應(yīng)用與姿態(tài)的檢測(cè)就存在很大的局限性。微陀螺儀的加入在很大程度上解決了這個(gè)問(wèn)題。在本文的研究中，就探討了一種基于微加速度計(jì)與微陀螺儀的手機(jī)姿態(tài)識(shí)別方法。測(cè)試中采用了ST的三軸數(shù)字式加速度計(jì)LIS331DLH,量程為±2 g，16 bit，靈敏度為16 384 LSB/g；微陀螺儀采用Epson公司的XV-3500CB,為模擬傳感器，16 bit,靈敏度為0.4 mV/deg/s，量程±600 deg/s。
1 手勢(shì)動(dòng)作識(shí)別的預(yù)處理
　    一般來(lái)講，剛體的運(yùn)動(dòng)可以分為隨質(zhì)心的平動(dòng)以及繞質(zhì)心的轉(zhuǎn)動(dòng)[4]，換言之，知道剛體質(zhì)心（或剛體上某一點(diǎn)）的加速度向量(a=ax+ay+az)與角速度向量(ω=ωx+ωy+ωz)后就可以計(jì)算出該剛體的運(yùn)動(dòng)狀態(tài)。在日常應(yīng)用中，手機(jī)等手持設(shè)備往往可以視為一個(gè)剛體，通過(guò)集成于手持設(shè)備中的三軸加速度計(jì)與三軸陀螺儀就可以準(zhǔn)確地感知手機(jī)等的運(yùn)動(dòng)狀態(tài)(在沒(méi)有考慮傳感器誤差的情況下)。本文的工作正是基于三軸加速度計(jì)與三軸陀螺儀輸出的六個(gè)自由度的數(shù)據(jù)。
　    實(shí)際中，手機(jī)的動(dòng)作根據(jù)傳感器感知結(jié)果可分為敲擊（Tap）、旋轉(zhuǎn)甩動(dòng)（Rotation Shake）、甩動(dòng)（Shake）、直線運(yùn)動(dòng)（Linear Move）、非直線運(yùn)動(dòng)(Nonlinear  Move)等幾個(gè)動(dòng)作，動(dòng)作區(qū)分如圖1所示。為了準(zhǔn)確識(shí)別這些動(dòng)作，就需要提取出這些動(dòng)作的特征，而且這些特征要在信號(hào)表現(xiàn)上具有明顯的差異性。以加速度計(jì)為例，當(dāng)加速度計(jì)信號(hào)產(chǎn)生劇烈突變時(shí),可能的手機(jī)手勢(shì)是Tap或Rotation Shake等，但進(jìn)一步分析后可以得知Tap的加速度尖峰會(huì)比較短暫(大約在5 ms以內(nèi))，與之相反，Rotation Shake的加速度尖峰就要長(zhǎng)得多(大約在40 ms左右)。因此，可以把尖而短的加速度信號(hào)看作是Tap的特征信號(hào)。

    通過(guò)大量動(dòng)作試驗(yàn)，可以獲得到各種動(dòng)作對(duì)應(yīng)的傳感器信號(hào)，通過(guò)分析可以設(shè)定出大致的各種動(dòng)作所對(duì)應(yīng)的信號(hào)特征，進(jìn)而根據(jù)此特征對(duì)手持設(shè)備的當(dāng)前狀態(tài)進(jìn)行判斷。具體判斷流程如圖2所示。

    雖然慣性MEMS傳感器可分為模擬式和數(shù)字式，但是通過(guò)A/D轉(zhuǎn)換后都成為了一系列的時(shí)間序列，或者說(shuō)是離散信號(hào)。而如何去除誤差，首先需知道慣性傳感器的誤差模型，一般其誤差是由角度隨機(jī)游走誤差、角速率隨機(jī)游走、閃速噪聲、馬爾科夫誤差等組成[5],從表現(xiàn)出來(lái)的統(tǒng)計(jì)特性可以將其分為平穩(wěn)信號(hào)誤差和非平穩(wěn)信號(hào)誤差。工程上，將慣性傳感器的誤差分為有規(guī)律的漂移、隨機(jī)誤差、抖動(dòng)誤差。其中有規(guī)律的漂移可以通過(guò)減去一個(gè)補(bǔ)償值消除；隨機(jī)誤差用濾波的方法；抖動(dòng)誤差其實(shí)并不是誤差的范疇，用清零校準(zhǔn)可以消去。從實(shí)驗(yàn)數(shù)據(jù)發(fā)現(xiàn)，隨著時(shí)間和采樣點(diǎn)數(shù)的增加，隨機(jī)誤差很接近于一個(gè)平穩(wěn)分布。而在圖2 的流程圖中，傳感器信號(hào)預(yù)處理這一步主要就是進(jìn)行誤差的消除，其大致包括以下幾個(gè)方面：
    (1) 對(duì)慣性傳感器信號(hào)進(jìn)行靜態(tài)誤差補(bǔ)償；
    (2) 分別獲得加速度能量信號(hào)與角速度能量信號(hào)；
    (3) 對(duì)傳感器信號(hào)與加速度、角速度能量信號(hào)進(jìn)行去噪（平滑）處理。
    其中第一步較為簡(jiǎn)單，可以對(duì)傳感器信號(hào)（六軸）分別加上一個(gè)靜態(tài)補(bǔ)償值，這個(gè)補(bǔ)償值可以由經(jīng)驗(yàn)確定（即在算法中直接加上），也可以在使用中測(cè)試得到，即在每次開(kāi)機(jī)后選取一小段靜態(tài)信號(hào)計(jì)算獲得。
   
    由式(5)可知，實(shí)際上增益系數(shù)Kk實(shí)時(shí)修正測(cè)量值和上一時(shí)刻估計(jì)值，這樣的濾波是一種連續(xù)的迭代方法，且存儲(chǔ)只需上一時(shí)刻的值，占有空間少，因此比較適合計(jì)算能力與存儲(chǔ)空間都比較有限的移動(dòng)手持設(shè)備。
    為了測(cè)試卡爾曼濾波的效果，這里取了一組繞著X軸旋轉(zhuǎn)的微陀螺儀的數(shù)據(jù)。由圖3可知，Q=0時(shí)，平滑效果最好，即方差最小，但是卻存在一個(gè)問(wèn)題：在降低高頻噪聲的同時(shí)，也降低了低頻的有用信號(hào)。而研究的目的是在降低高頻信號(hào)的同時(shí)卻不影響低頻的有用信號(hào)。因此，在這里設(shè)一個(gè)Q，使得Pk-=Pk-1+Q，Q的取值與R相差不大，這樣就巧妙地實(shí)現(xiàn)了既降低了高頻噪聲又盡量保持了低頻的有用信號(hào)的目的。這里的R是常數(shù)，因?yàn)槲⑼勇輧x的隨機(jī)誤差隨著時(shí)間增加，經(jīng)實(shí)驗(yàn)非常接近平穩(wěn)分布，故其二階矩為常數(shù)。

　平滑要求噪聲的幅值盡量地衰減，有用的信號(hào)盡量地保持原形，而對(duì)于線性平滑濾波只能滿足最小均方誤差的原則。也就是說(shuō)窗口足夠長(zhǎng)可以使得曲線很平滑，但是不能保證低頻信號(hào)的不變形。對(duì)于非線性的平滑，理論上是可以做到既保持低頻原形又能衰減高頻，可以取任何加權(quán)值，而且面對(duì)隨機(jī)的有用低頻有用信號(hào)，固定不改的加權(quán)值和窗口值就會(huì)顯得捉襟見(jiàn)肘了。對(duì)于卡爾曼濾波，其增益矩陣（系數(shù)）如何取值才是一個(gè)最優(yōu)的選擇。
2 手勢(shì)動(dòng)作識(shí)別
    手勢(shì)動(dòng)作識(shí)別可以分作廣義的識(shí)別與狹義的識(shí)別，以圖2為例，廣義的識(shí)別可以包括流程圖中的起點(diǎn)識(shí)別、信號(hào)類型分類與動(dòng)作識(shí)別三步。事實(shí)上，在很多工作中這三步都是緊密聯(lián)系著的。
　在動(dòng)作識(shí)別的方法上，可以采用建立隱式與馬爾科夫模型進(jìn)行判斷[8]，一種思路是波形匹配[9]，即事先在手機(jī)中存儲(chǔ)一系列的標(biāo)準(zhǔn)動(dòng)作模板，當(dāng)檢測(cè)到手機(jī)有動(dòng)作發(fā)生時(shí)便將該動(dòng)作的傳感器波形與標(biāo)準(zhǔn)動(dòng)作模板庫(kù)中的動(dòng)作波形進(jìn)行匹配處理，以此來(lái)判斷動(dòng)作類型。該方法主要是運(yùn)用了動(dòng)態(tài)時(shí)間歸整DTW（Dynamic Time Warping）算法，DTW算法是一種時(shí)序匹配算法。它是通過(guò)計(jì)算兩個(gè)序列之間的距離來(lái)做出相應(yīng)的判斷，該算法是基于動(dòng)態(tài)規(guī)劃（DP）的思想，可以用于在信號(hào)長(zhǎng)短不一的情況下進(jìn)行模板匹配，是語(yǔ)音識(shí)別中出現(xiàn)較早、較為經(jīng)典的一種算法。其思路為，假設(shè)d(p,q)為兩點(diǎn)p、q之間的距離，則時(shí)序P={p1,p2,…pm}與Q={q1,q2,…qn}之間的距離D(P,Q)計(jì)算方法如下：

　    在實(shí)際工作中，針對(duì)此種思路也做出了測(cè)試，以Tap（敲擊）為例，主要根據(jù)三軸加速度的能量來(lái)對(duì)敲擊動(dòng)作進(jìn)行識(shí)別，因?yàn)橄鄬?duì)于采用加速度及加速度能量信號(hào)而言，加速度能夠很好地反映作用于手機(jī)的力的變化率，而敲擊最主要的特征，即作用于手機(jī)的力的變化率很大。如圖4、圖5所示為3次敲擊下三軸加速度信號(hào)與加速度能量信號(hào)。

    在此種思路下，對(duì)加速度能量信號(hào)進(jìn)行模版匹配。通過(guò)對(duì)比發(fā)現(xiàn)，該信號(hào)波形與三次敲擊的模版信號(hào)最為匹配，故而可以判定此時(shí)對(duì)手機(jī)進(jìn)行了一次“三次敲擊”的動(dòng)作。經(jīng)過(guò)大量的試驗(yàn)統(tǒng)計(jì)，發(fā)現(xiàn)這種方法的準(zhǔn)確率可以達(dá)到95%以上。
　    然而這種方法也存在一定的缺陷，即如果動(dòng)作較多，則模版也比較多。依舊以Tap為例，在試驗(yàn)中準(zhǔn)備了“單次敲擊”、“雙次敲擊”與“三次敲擊”三個(gè)模板。故而在試驗(yàn)中更傾向于另一種方法，即不進(jìn)行特定的模版匹配，只是提取信號(hào)的特征點(diǎn)進(jìn)行判斷。以圖4的敲擊為例，依舊采用加速的能量信號(hào)進(jìn)行判斷，首先提取到“敲擊發(fā)生”的特征信號(hào)，進(jìn)而在接下來(lái)的一段時(shí)間里進(jìn)行敲擊次數(shù)的識(shí)別，并最終反饋回敲擊的次數(shù)。該方法在測(cè)試中的準(zhǔn)確率依舊可以達(dá)到95%以上。
    在這種方法中，其中一個(gè)關(guān)鍵的地方在于判斷動(dòng)作的類型及其起始點(diǎn)?？紤]到數(shù)據(jù)的傳遞性以及判斷效率，設(shè)置了動(dòng)作的優(yōu)先級(jí)，具體思路如圖6所示。

    由傳感器輸出的原始信號(hào)為一組六維信號(hào)s1={ax,ay,az,ωy,ωz}T，經(jīng)過(guò)預(yù)處理后得到一組四維信號(hào)s2={as,ωs,ass,ωss}T，其中as與?棕s分別表示加速度能量信號(hào)與角速度能量信號(hào)，ass與?棕ss是as與?棕s分別經(jīng)由卡爾曼濾波得到。把s2送入流程進(jìn)行判斷，此處把濾波前的信號(hào)送入判斷是因?yàn)橛行﹦?dòng)作的特征信號(hào)就是屬于高頻信號(hào)。判斷完成后，則將加速度與角速度的相應(yīng)信號(hào)截取送入相應(yīng)的處理模塊進(jìn)行后期處理，在后期處理中，將反饋回動(dòng)作的具體信息，如敲擊的次數(shù)、旋轉(zhuǎn)的角度與旋轉(zhuǎn)軸等。這種方法與前一種相比其優(yōu)點(diǎn)在于不需要太多的空間來(lái)存儲(chǔ)模版信息，在匹配時(shí)的計(jì)算量也遠(yuǎn)小于前者。
　    作為檢驗(yàn)，以一種組合動(dòng)作的檢測(cè)為例，該動(dòng)作要求：x軸向下運(yùn)動(dòng)一段距離，再旋轉(zhuǎn)甩動(dòng)，即模擬用手機(jī)當(dāng)鑰匙開(kāi)門的動(dòng)作。其部分關(guān)鍵數(shù)據(jù)如圖7所示，其中第一行為x軸加速度數(shù)值，第二、第三行分別為濾波后的加速度與角速度能量信號(hào)。此時(shí)，如果用第一種方法則至少需要建立以下兩個(gè)模版：x軸向下的線性運(yùn)動(dòng)模版、x軸向下的旋轉(zhuǎn)甩動(dòng)模版。并實(shí)時(shí)對(duì)慣性傳感器信號(hào)進(jìn)行模版匹配。而在第二種方法下，創(chuàng)造性地提出了一種簡(jiǎn)單的思路：先檢測(cè)旋轉(zhuǎn)甩動(dòng)，檢測(cè)到后再向前檢測(cè)線性運(yùn)動(dòng)。如此就不需要建立太多額外的存儲(chǔ)參數(shù)，整個(gè)系統(tǒng)的響應(yīng)時(shí)間也得到了很好的控制，其流程如圖8所示。

    動(dòng)作的識(shí)別結(jié)果顯示：采用第二種識(shí)別方式，可以迅速而準(zhǔn)確地識(shí)別出該組合動(dòng)作，從動(dòng)作結(jié)束到顯示出識(shí)別結(jié)果，手持設(shè)備所花費(fèi)的時(shí)間可以控制在1 s以內(nèi)，這也從一個(gè)側(cè)面證實(shí)了該識(shí)別方法的可行性。
    本文通過(guò)對(duì)微加速度計(jì)與微陀螺儀信號(hào)的研究，結(jié)合實(shí)際提出了兩種比較可靠的手機(jī)等手持設(shè)備的手勢(shì)動(dòng)作識(shí)別方法，綜合考慮各種因素，得到了一種可以快速而準(zhǔn)確地識(shí)別出手機(jī)手勢(shì)動(dòng)作的方法，以及一種簡(jiǎn)單而有效的信號(hào)預(yù)處理方法。如今，微加速度計(jì)已經(jīng)成功集成到手機(jī)中，微陀螺儀的加入也是大勢(shì)所趨，通過(guò)對(duì)兩種MEMS慣性傳感器的綜合研究，快速準(zhǔn)確地識(shí)別出手機(jī)的手勢(shì)動(dòng)作，可以極大地提高人機(jī)交互的效率，豐富手機(jī)的使用范圍。
參考文獻(xiàn)
[1] JANG I J， PARK W B. Signal processing of the acceler ometer for gesture awareness on handheld devices[C]. In Proceedings of the IEEE International Workshop on Robot  and Human Interactive Communication, 2003:139-144.
[2] FERSCJA A，RESMRITA S. Gestural interaction in the pervasive computing landscape[J].Elektrotechnik & Informationstechnik, 2007,124(l):17-25.
[3] CHEN Q, PETRIU E M, GEORGANAS N D. 3D hand tracking and motion analysis with a combination approach of statistical and syntactic analysis. HAVE 2007: Proc. IEEE Int. Workshop on Haptic, Audio and Visual Environments and Their Applications, 2007:56-61.
[4] 朗道，栗費(fèi)席茲．理論物理學(xué)教程：第1卷，力學(xué)[M]． 5版．李俊峰，譯．北京：高等教育出版社，2007：108-136．
[5] NASER E S,NASSAR S, NOURELDIN A.Wave denoising for IMU alignment[J].IEEE A&E System Magazine.2004,19(10):32-39.
[6] MADGWICK S O H.An efficient orientation filter for inertial and inertial/magnetic sensor arrays. April, 2010.
[7] LUTOVAC M D,TOSIC D V. Filter Design for signal Processing using MATLAB and Mathematica[M]. Prentice Hall, 2001.
[8] Kong Junqi, Wang Hui. Gesture recognition model based on 3D Accelerations[C]. Proceedings of 2009 4th International Conference on Computer Science & Education.2009.
[9] Min Junki, CHOE B W, CHO S B. A selective templatematching algorithm for short and intuitive gesture UI of  accelerometer-builtin mobile phones. Nature and Biologically Inspired Computing (NaBIC), 2010 Second World  Congress on. 2010:660-665.