楊文璐，占 嬋

　　（上海海事大學(xué) 信息工程學(xué)院，上海 201306）

　　摘  要： 針對腦卒中患者后期的康復(fù)訓(xùn)練需求，設(shè)計并實現(xiàn)了一個基于Kinect傳感器的實時康復(fù)訓(xùn)練指導(dǎo)系統(tǒng)。該系統(tǒng)利用Kinect傳感器實時采集人體動作信息，同時通過與標準動作庫中的關(guān)鍵姿勢序列進行比對，得出相應(yīng)的匹配結(jié)果，指引患者進行正確的康復(fù)訓(xùn)練。實驗表明該系統(tǒng)能夠準確地判斷動作的完成度，對康復(fù)訓(xùn)練具有指引作用。

　　關(guān)鍵詞： Kinect傳感器；康復(fù)訓(xùn)練；運動指導(dǎo)；關(guān)鍵姿勢匹配

0 引言

　　在腦卒中患者的后期治療中，康復(fù)訓(xùn)練是一種強大的干預(yù)，能夠有效地促進患者的康復(fù)[1]?？祻?fù)訓(xùn)練是一個長期的過程，相同的康復(fù)動作往往需要成千上萬次的重復(fù)練習(xí)。因此，可以進行自主康復(fù)鍛煉的患者常需要在無人監(jiān)視的情況下進行自主康復(fù)訓(xùn)練。然而，康復(fù)訓(xùn)練的內(nèi)容需要專業(yè)醫(yī)生為患者量身定制，不遵循規(guī)范的康復(fù)訓(xùn)練不僅達不到預(yù)期的康復(fù)效果，而且可能造成對患者身體的傷害。當前的康復(fù)指引通常僅限于康復(fù)醫(yī)生的當面指導(dǎo)和書面或視頻的指示，這使得患者在訓(xùn)練過程中無法得到及時的反饋信息，無法判斷自己的康復(fù)方式是否正確，臨床醫(yī)生也無法獲取患者的康復(fù)訓(xùn)練信息，難以對下一步的康復(fù)治療做出及時的調(diào)整。

　　基于以上康復(fù)訓(xùn)練的需求，本文設(shè)計并實現(xiàn)了一個基于Kinect傳感器的康復(fù)訓(xùn)練指導(dǎo)系統(tǒng)，利用Kinect傳感器獲取人體關(guān)節(jié)點坐標[2]，采用關(guān)鍵姿勢匹配的方式跟蹤康復(fù)動作的進度，計算動作偏差，從而引導(dǎo)患者進行正確的康復(fù)訓(xùn)練。該系統(tǒng)使得患者在家庭環(huán)境下也能進行安全、高效的康復(fù)鍛煉，此外系統(tǒng)中記錄的康復(fù)數(shù)據(jù)有利于康復(fù)醫(yī)生及時調(diào)整康復(fù)計劃，提高患者的康復(fù)效率。

1 總體設(shè)計

　　參照真實的康復(fù)訓(xùn)練過程，設(shè)計了基于Kinect體感交互技術(shù)的康復(fù)訓(xùn)練指導(dǎo)系統(tǒng)。系統(tǒng)總體結(jié)構(gòu)如圖1所示。該系統(tǒng)通過Kinect傳感器實時采集人體運動信息，獲取人體運動過程中關(guān)節(jié)點的三維坐標，并將三維坐標時間序列轉(zhuǎn)換為角度時間序列。模板訓(xùn)練時采用模糊C均值聚類算法（FCM）搜尋到各動作序列中的關(guān)鍵姿勢作為模板，并將角度時間序列表示的姿勢與數(shù)據(jù)庫（存放專業(yè)康復(fù)醫(yī)生為患者量身定制的康復(fù)動作的模板）里模板庫中的關(guān)鍵姿勢進行匹配，并在系統(tǒng)界面上將匹配結(jié)果反饋給患者，引導(dǎo)患者做出正確的康復(fù)動作。

2 系統(tǒng)實現(xiàn)

　　2.1 骨骼數(shù)據(jù)的獲取

　　骨骼追蹤技術(shù)是Kinect的核心技術(shù)之一[3]。啟動Kinect傳感器后，Kinect傳感器通過發(fā)射和接收紅外數(shù)據(jù)可以獲取人體20個關(guān)節(jié)點的三維坐標位置。坐標數(shù)據(jù)對不同體型的人十分敏感，為減小體型差異造成的誤差，本系統(tǒng)利用兩點法[4]將三維坐標數(shù)據(jù)轉(zhuǎn)化為16個角度數(shù)據(jù)。每個動作都可以用一個二維矩陣PＮ×Ｍ來表示，其中Ｎ為該動作總的幀數(shù)，Ｍ的值為16，代表16個角度。

　　2.2 關(guān)鍵姿勢的提取

　　在2.1節(jié)中，用角度時間序列表示了動作的具體信息。系統(tǒng)中采用模糊C均值聚類（FCM）算法提取動作中的關(guān)鍵姿勢，關(guān)鍵姿勢也是由一組角度向量來表示的。模糊C均值聚類是用隸屬度確定每個數(shù)據(jù)點屬于某個聚類程度的一種聚類算法，是早期硬C均值聚類（HCM）的一種改進[5]。

　　動作的二維矩陣PＮ×Ｍ可以看作是Ｎ個姿勢序列，F(xiàn)CM算法在標準動作的Ｎ個姿勢序列中提取關(guān)鍵姿勢。其具體方法如下：

　　把n個向量xi（i=1，2，3…，n）（即PＮ×Ｍ的行向量）分為c個模糊組，并求出每個模糊組的聚類中心C=（c1，c2，…，cc），使得非相似性指標的價值函數(shù)達到最小。

　　U=uij∈[0，1]（1）

　　其中，uij表示數(shù)據(jù)點xi屬于聚類中心cj的概率。

　　FCM聚類算法的目標函數(shù)為：

　　其中m是一個加權(quán)指數(shù)，m∈［1，∞）。

　　聚類中心的計算公式如下：

　　FCM算法的具體步驟如下：

　?。?）隨機初始化uij。

　?。?）利用uij來計算聚類中心，如式（3）。

　　（3）利用上一步得到的聚類中心來重設(shè)uij的值，uij=。

　　（4）重新計算每一類的聚類中心，直到聚類中心不再改變，算法終止。

　　通過對標準動作角度序列的FCM聚類，將動作聚為3類，得到3個聚類中心，將其作為關(guān)鍵姿勢；另外，由于起始姿勢和動作完成時的姿勢是判斷動作開始和結(jié)束的關(guān)鍵，因此同樣將這兩個姿勢作為關(guān)鍵姿勢。故共有5個關(guān)鍵姿勢，表示為：

　　pose1=[θ1，1，θ1，2，…，θ1，16]；

　　pose2=[θ2，1，θ2，2，…，θ2，16]；

　　pose3=[θ3，1，θ3，2，…，θ3，16]；

　　pose4=[θ4，1，θ4，2，…，θ4，16]；

　　pose5=[θ5，1，θ5，2，…，θ5，16]。

　　2.3 關(guān)鍵姿勢的匹配

　　為實現(xiàn)系統(tǒng)的動作指導(dǎo)功能，首先須判斷當前的動作是否與標準動作一致。本系統(tǒng)采用關(guān)鍵姿勢匹配的方式來實現(xiàn)這一功能，其主要方法是計算姿勢之間的相似性。在數(shù)據(jù)庫中存放了用關(guān)鍵姿勢來表示的標準的動作模板。

　　系統(tǒng)運行時，Kinect以30幀/s的速度采集動作數(shù)據(jù)。將實時采集到的數(shù)據(jù)用2.1節(jié)所述的方法轉(zhuǎn)化為角度數(shù)據(jù)，并與模板中的關(guān)鍵姿勢進行歐式距離匹配[6]，歐式距離計算公式如下：

　　設(shè)置匹配距離閾值λ，當Dis<λ時，關(guān)鍵姿勢匹配成功，此時系統(tǒng)認為完成了該關(guān)鍵姿勢相對應(yīng)的分動作。對于每個動作都將相應(yīng)的關(guān)鍵姿勢模板與實時動作進行順序匹配，前一個關(guān)鍵姿勢匹配成功后將自動跳轉(zhuǎn)到下一個關(guān)鍵姿勢進行匹配。若5個分動作均順序匹配成功，則認為該動作完成。

　　圖2是正確動作下左手側(cè)提180°的5個關(guān)鍵姿勢歐式距離匹配結(jié)果。圖中橫線以下的點表示匹配成功的點。易看出該動作與標準動作的5個關(guān)鍵姿勢均匹配成功。

　　匹配流程如圖3所示。當相應(yīng)的關(guān)鍵姿勢與當前的動作有6幀匹配成功時，則系統(tǒng)認為相應(yīng)的分動作完成，并開始下一個關(guān)鍵姿勢的匹配，直到動作完成為止。動作完成后系統(tǒng)給出總的得分。得分結(jié)果是由各分動作的完成情況綜合決定的。

　　2.4 結(jié)果反饋

　　本系統(tǒng)是在Unity3D中開發(fā)實現(xiàn)的，其交互界面如圖4所示，界面右上角為患者播放標準動作的錄制視頻，患者只需模仿視頻中的動作即可。界面右下方是周圍環(huán)境的彩色圖像。界面中間虛擬人物的動作與患者的動作數(shù)據(jù)進行了綁定，虛擬人物的動作與當前患者的動作一致。動作完成后界面將顯示每個分動作的得分和總的得分。若匹配失敗，界面將在相應(yīng)的位置顯示“動作錯誤”。每個分動作的匹配結(jié)果均會實時地展示在界面上，以達到對患者動作進行指引的目的。

3 實驗結(jié)果與分析

　　為驗證系統(tǒng)的可靠性，選取20名健康的志愿者，其中8名女性，12名男性，年齡均在22~28歲之間，在系統(tǒng)提示下完成康復(fù)動作，每個動作類型均重復(fù)5次。表1列出了系統(tǒng)的關(guān)鍵姿勢匹配結(jié)果，其中錯誤動作1是只完成了整個動作中的前4個分動作，錯誤動作2是只完成了整個動作中的前3個分動作，錯誤動作3是只完成了整個動作中的前2個分動作，錯誤動作4是只完成了整個動作中的前1個分動作。

　　實驗結(jié)果表明，用關(guān)鍵姿勢匹配的方法判斷動作是否完成是可行的，該系統(tǒng)能夠準確地反饋動作信息，實時告知患者動作的完成度。當用戶的動作在某一過程中出現(xiàn)錯誤時，相應(yīng)的關(guān)鍵姿勢將匹配失敗，此時系統(tǒng)能夠及時地將錯誤的信息反饋給用戶，提示患者該過程中的動作不到位。該系統(tǒng)在監(jiān)視用戶動作的同時具有動作指引功能，并且能夠記錄患者的康復(fù)訓(xùn)練信息，便于康復(fù)醫(yī)生及時調(diào)整康復(fù)計劃，有利于患者進行科學(xué)、高效的康復(fù)訓(xùn)練。

4 結(jié)束語

　　本系統(tǒng)將Unity3D中的虛擬人物與Kinect傳感器獲取的骨骼位置信息進行綁定，從而控制虛擬人物的運動，虛擬現(xiàn)實的渲染為康復(fù)訓(xùn)練增添了樂趣；將整個動作分解為幾個關(guān)鍵姿勢再進行匹配的方式，實現(xiàn)了對動作完成度的評估，并讓患者及時糾正動作過程中的錯誤，克服了只進行整體評判時對動作過程中出現(xiàn)的錯誤敏感度不高的問題。此系統(tǒng)對硬件設(shè)備要求不高，實時性好，可為家庭式康復(fù)系統(tǒng)的開發(fā)提供參考。

　　參考文獻

　　[1] LEE J D， HSIEH C H， LIN T Y. A Kinect-based tai chi exercises evaluation system for physical rehabilitation [C]. IEEE International Conference on Consumer Electronics（ICCE），2014：177-178.

　　[2] BISWAS K K， KUMAR B S. Gesture recognition using Microsoft Kinect[C]. Proceedings of the 5th International Conference on Automation， Robotics and Application： IEEE，2011：100-103.

　　[3] 余濤，葉金永，邵菲杰，等.Kinect核心技術(shù)之骨架追蹤技術(shù)[J].數(shù)字技術(shù)與研究，2012（10）：115.

　　[4] 戰(zhàn)蔭偉，于芝枝，蔡俊.基于Kinect角度測量的姿勢識別算法[J].傳感器與微系統(tǒng)，2014，33（7）：129-131.

　　[5] Lv Fengjun， NEVATIA R． Single view human action recognition using key pose matching and viterbi path searching[C]. Proc of IEEE Conference on Computer Vision and Pattern Recognition， 2007：1-8．

　　[6] 宣國榮.模式識別中歐式距離特征選擇新方法[J].中國電子學(xué)術(shù)雜志，1984（6）：5-12.