楊文璐，占 嬋

　?。ㄉ虾：Ｊ麓髮W(xué) 信息工程學(xué)院，上海 201306）

　　摘  要： 針對(duì)腦卒中患者后期的康復(fù)訓(xùn)練需求，設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)基于Kinect傳感器的實(shí)時(shí)康復(fù)訓(xùn)練指導(dǎo)系統(tǒng)。該系統(tǒng)利用Kinect傳感器實(shí)時(shí)采集人體動(dòng)作信息，同時(shí)通過(guò)與標(biāo)準(zhǔn)動(dòng)作庫(kù)中的關(guān)鍵姿勢(shì)序列進(jìn)行比對(duì)，得出相應(yīng)的匹配結(jié)果，指引患者進(jìn)行正確的康復(fù)訓(xùn)練。實(shí)驗(yàn)表明該系統(tǒng)能夠準(zhǔn)確地判斷動(dòng)作的完成度，對(duì)康復(fù)訓(xùn)練具有指引作用。

　　關(guān)鍵詞： Kinect傳感器；康復(fù)訓(xùn)練；運(yùn)動(dòng)指導(dǎo)；關(guān)鍵姿勢(shì)匹配

0 引言

　　在腦卒中患者的后期治療中，康復(fù)訓(xùn)練是一種強(qiáng)大的干預(yù)，能夠有效地促進(jìn)患者的康復(fù)[1]?？祻?fù)訓(xùn)練是一個(gè)長(zhǎng)期的過(guò)程，相同的康復(fù)動(dòng)作往往需要成千上萬(wàn)次的重復(fù)練習(xí)。因此，可以進(jìn)行自主康復(fù)鍛煉的患者常需要在無(wú)人監(jiān)視的情況下進(jìn)行自主康復(fù)訓(xùn)練。然而，康復(fù)訓(xùn)練的內(nèi)容需要專(zhuān)業(yè)醫(yī)生為患者量身定制，不遵循規(guī)范的康復(fù)訓(xùn)練不僅達(dá)不到預(yù)期的康復(fù)效果，而且可能造成對(duì)患者身體的傷害。當(dāng)前的康復(fù)指引通常僅限于康復(fù)醫(yī)生的當(dāng)面指導(dǎo)和書(shū)面或視頻的指示，這使得患者在訓(xùn)練過(guò)程中無(wú)法得到及時(shí)的反饋信息，無(wú)法判斷自己的康復(fù)方式是否正確，臨床醫(yī)生也無(wú)法獲取患者的康復(fù)訓(xùn)練信息，難以對(duì)下一步的康復(fù)治療做出及時(shí)的調(diào)整。

　　基于以上康復(fù)訓(xùn)練的需求，本文設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)基于Kinect傳感器的康復(fù)訓(xùn)練指導(dǎo)系統(tǒng)，利用Kinect傳感器獲取人體關(guān)節(jié)點(diǎn)坐標(biāo)[2]，采用關(guān)鍵姿勢(shì)匹配的方式跟蹤康復(fù)動(dòng)作的進(jìn)度，計(jì)算動(dòng)作偏差，從而引導(dǎo)患者進(jìn)行正確的康復(fù)訓(xùn)練。該系統(tǒng)使得患者在家庭環(huán)境下也能進(jìn)行安全、高效的康復(fù)鍛煉，此外系統(tǒng)中記錄的康復(fù)數(shù)據(jù)有利于康復(fù)醫(yī)生及時(shí)調(diào)整康復(fù)計(jì)劃，提高患者的康復(fù)效率。

1 總體設(shè)計(jì)

　　參照真實(shí)的康復(fù)訓(xùn)練過(guò)程，設(shè)計(jì)了基于Kinect體感交互技術(shù)的康復(fù)訓(xùn)練指導(dǎo)系統(tǒng)。系統(tǒng)總體結(jié)構(gòu)如圖1所示。該系統(tǒng)通過(guò)Kinect傳感器實(shí)時(shí)采集人體運(yùn)動(dòng)信息，獲取人體運(yùn)動(dòng)過(guò)程中關(guān)節(jié)點(diǎn)的三維坐標(biāo)，并將三維坐標(biāo)時(shí)間序列轉(zhuǎn)換為角度時(shí)間序列。模板訓(xùn)練時(shí)采用模糊C均值聚類(lèi)算法（FCM）搜尋到各動(dòng)作序列中的關(guān)鍵姿勢(shì)作為模板，并將角度時(shí)間序列表示的姿勢(shì)與數(shù)據(jù)庫(kù)（存放專(zhuān)業(yè)康復(fù)醫(yī)生為患者量身定制的康復(fù)動(dòng)作的模板）里模板庫(kù)中的關(guān)鍵姿勢(shì)進(jìn)行匹配，并在系統(tǒng)界面上將匹配結(jié)果反饋給患者，引導(dǎo)患者做出正確的康復(fù)動(dòng)作。

2 系統(tǒng)實(shí)現(xiàn)

　　2.1 骨骼數(shù)據(jù)的獲取

　　骨骼追蹤技術(shù)是Kinect的核心技術(shù)之一[3]。啟動(dòng)Kinect傳感器后，Kinect傳感器通過(guò)發(fā)射和接收紅外數(shù)據(jù)可以獲取人體20個(gè)關(guān)節(jié)點(diǎn)的三維坐標(biāo)位置。坐標(biāo)數(shù)據(jù)對(duì)不同體型的人十分敏感，為減小體型差異造成的誤差，本系統(tǒng)利用兩點(diǎn)法[4]將三維坐標(biāo)數(shù)據(jù)轉(zhuǎn)化為16個(gè)角度數(shù)據(jù)。每個(gè)動(dòng)作都可以用一個(gè)二維矩陣PＮ×Ｍ來(lái)表示，其中Ｎ為該動(dòng)作總的幀數(shù)，Ｍ的值為16，代表16個(gè)角度。

　　2.2 關(guān)鍵姿勢(shì)的提取

　　在2.1節(jié)中，用角度時(shí)間序列表示了動(dòng)作的具體信息。系統(tǒng)中采用模糊C均值聚類(lèi)（FCM）算法提取動(dòng)作中的關(guān)鍵姿勢(shì)，關(guān)鍵姿勢(shì)也是由一組角度向量來(lái)表示的。模糊C均值聚類(lèi)是用隸屬度確定每個(gè)數(shù)據(jù)點(diǎn)屬于某個(gè)聚類(lèi)程度的一種聚類(lèi)算法，是早期硬C均值聚類(lèi)（HCM）的一種改進(jìn)[5]。

　　動(dòng)作的二維矩陣PＮ×Ｍ可以看作是Ｎ個(gè)姿勢(shì)序列，F(xiàn)CM算法在標(biāo)準(zhǔn)動(dòng)作的Ｎ個(gè)姿勢(shì)序列中提取關(guān)鍵姿勢(shì)。其具體方法如下：

　　把n個(gè)向量xi（i=1，2，3…，n）（即PＮ×Ｍ的行向量）分為c個(gè)模糊組，并求出每個(gè)模糊組的聚類(lèi)中心C=（c1，c2，…，cc），使得非相似性指標(biāo)的價(jià)值函數(shù)達(dá)到最小。

　　U=uij∈[0，1]（1）

　　其中，uij表示數(shù)據(jù)點(diǎn)xi屬于聚類(lèi)中心cj的概率。

　　FCM聚類(lèi)算法的目標(biāo)函數(shù)為：

　　其中m是一個(gè)加權(quán)指數(shù)，m∈［1，∞）。

　　聚類(lèi)中心的計(jì)算公式如下：

　　FCM算法的具體步驟如下：

　　（1）隨機(jī)初始化uij。

　?。?）利用uij來(lái)計(jì)算聚類(lèi)中心，如式（3）。

　?。?）利用上一步得到的聚類(lèi)中心來(lái)重設(shè)uij的值，uij=。

　　（4）重新計(jì)算每一類(lèi)的聚類(lèi)中心，直到聚類(lèi)中心不再改變，算法終止。

　　通過(guò)對(duì)標(biāo)準(zhǔn)動(dòng)作角度序列的FCM聚類(lèi)，將動(dòng)作聚為3類(lèi)，得到3個(gè)聚類(lèi)中心，將其作為關(guān)鍵姿勢(shì)；另外，由于起始姿勢(shì)和動(dòng)作完成時(shí)的姿勢(shì)是判斷動(dòng)作開(kāi)始和結(jié)束的關(guān)鍵，因此同樣將這兩個(gè)姿勢(shì)作為關(guān)鍵姿勢(shì)。故共有5個(gè)關(guān)鍵姿勢(shì)，表示為：

　　pose1=[θ1，1，θ1，2，…，θ1，16]；

　　pose2=[θ2，1，θ2，2，…，θ2，16]；

　　pose3=[θ3，1，θ3，2，…，θ3，16]；

　　pose4=[θ4，1，θ4，2，…，θ4，16]；

　　pose5=[θ5，1，θ5，2，…，θ5，16]。

　　2.3 關(guān)鍵姿勢(shì)的匹配

　　為實(shí)現(xiàn)系統(tǒng)的動(dòng)作指導(dǎo)功能，首先須判斷當(dāng)前的動(dòng)作是否與標(biāo)準(zhǔn)動(dòng)作一致。本系統(tǒng)采用關(guān)鍵姿勢(shì)匹配的方式來(lái)實(shí)現(xiàn)這一功能，其主要方法是計(jì)算姿勢(shì)之間的相似性。在數(shù)據(jù)庫(kù)中存放了用關(guān)鍵姿勢(shì)來(lái)表示的標(biāo)準(zhǔn)的動(dòng)作模板。

　　系統(tǒng)運(yùn)行時(shí)，Kinect以30幀/s的速度采集動(dòng)作數(shù)據(jù)。將實(shí)時(shí)采集到的數(shù)據(jù)用2.1節(jié)所述的方法轉(zhuǎn)化為角度數(shù)據(jù)，并與模板中的關(guān)鍵姿勢(shì)進(jìn)行歐式距離匹配[6]，歐式距離計(jì)算公式如下：

　　設(shè)置匹配距離閾值λ，當(dāng)Dis<λ時(shí)，關(guān)鍵姿勢(shì)匹配成功，此時(shí)系統(tǒng)認(rèn)為完成了該關(guān)鍵姿勢(shì)相對(duì)應(yīng)的分動(dòng)作。對(duì)于每個(gè)動(dòng)作都將相應(yīng)的關(guān)鍵姿勢(shì)模板與實(shí)時(shí)動(dòng)作進(jìn)行順序匹配，前一個(gè)關(guān)鍵姿勢(shì)匹配成功后將自動(dòng)跳轉(zhuǎn)到下一個(gè)關(guān)鍵姿勢(shì)進(jìn)行匹配。若5個(gè)分動(dòng)作均順序匹配成功，則認(rèn)為該動(dòng)作完成。

　　圖2是正確動(dòng)作下左手側(cè)提180°的5個(gè)關(guān)鍵姿勢(shì)歐式距離匹配結(jié)果。圖中橫線(xiàn)以下的點(diǎn)表示匹配成功的點(diǎn)。易看出該動(dòng)作與標(biāo)準(zhǔn)動(dòng)作的5個(gè)關(guān)鍵姿勢(shì)均匹配成功。

　　匹配流程如圖3所示。當(dāng)相應(yīng)的關(guān)鍵姿勢(shì)與當(dāng)前的動(dòng)作有6幀匹配成功時(shí)，則系統(tǒng)認(rèn)為相應(yīng)的分動(dòng)作完成，并開(kāi)始下一個(gè)關(guān)鍵姿勢(shì)的匹配，直到動(dòng)作完成為止。動(dòng)作完成后系統(tǒng)給出總的得分。得分結(jié)果是由各分動(dòng)作的完成情況綜合決定的。

　　2.4 結(jié)果反饋

　　本系統(tǒng)是在Unity3D中開(kāi)發(fā)實(shí)現(xiàn)的，其交互界面如圖4所示，界面右上角為患者播放標(biāo)準(zhǔn)動(dòng)作的錄制視頻，患者只需模仿視頻中的動(dòng)作即可。界面右下方是周?chē)h(huán)境的彩色圖像。界面中間虛擬人物的動(dòng)作與患者的動(dòng)作數(shù)據(jù)進(jìn)行了綁定，虛擬人物的動(dòng)作與當(dāng)前患者的動(dòng)作一致。動(dòng)作完成后界面將顯示每個(gè)分動(dòng)作的得分和總的得分。若匹配失敗，界面將在相應(yīng)的位置顯示“動(dòng)作錯(cuò)誤”。每個(gè)分動(dòng)作的匹配結(jié)果均會(huì)實(shí)時(shí)地展示在界面上，以達(dá)到對(duì)患者動(dòng)作進(jìn)行指引的目的。

3 實(shí)驗(yàn)結(jié)果與分析

　　為驗(yàn)證系統(tǒng)的可靠性，選取20名健康的志愿者，其中8名女性，12名男性，年齡均在22~28歲之間，在系統(tǒng)提示下完成康復(fù)動(dòng)作，每個(gè)動(dòng)作類(lèi)型均重復(fù)5次。表1列出了系統(tǒng)的關(guān)鍵姿勢(shì)匹配結(jié)果，其中錯(cuò)誤動(dòng)作1是只完成了整個(gè)動(dòng)作中的前4個(gè)分動(dòng)作，錯(cuò)誤動(dòng)作2是只完成了整個(gè)動(dòng)作中的前3個(gè)分動(dòng)作，錯(cuò)誤動(dòng)作3是只完成了整個(gè)動(dòng)作中的前2個(gè)分動(dòng)作，錯(cuò)誤動(dòng)作4是只完成了整個(gè)動(dòng)作中的前1個(gè)分動(dòng)作。

　　實(shí)驗(yàn)結(jié)果表明，用關(guān)鍵姿勢(shì)匹配的方法判斷動(dòng)作是否完成是可行的，該系統(tǒng)能夠準(zhǔn)確地反饋動(dòng)作信息，實(shí)時(shí)告知患者動(dòng)作的完成度。當(dāng)用戶(hù)的動(dòng)作在某一過(guò)程中出現(xiàn)錯(cuò)誤時(shí)，相應(yīng)的關(guān)鍵姿勢(shì)將匹配失敗，此時(shí)系統(tǒng)能夠及時(shí)地將錯(cuò)誤的信息反饋給用戶(hù)，提示患者該過(guò)程中的動(dòng)作不到位。該系統(tǒng)在監(jiān)視用戶(hù)動(dòng)作的同時(shí)具有動(dòng)作指引功能，并且能夠記錄患者的康復(fù)訓(xùn)練信息，便于康復(fù)醫(yī)生及時(shí)調(diào)整康復(fù)計(jì)劃，有利于患者進(jìn)行科學(xué)、高效的康復(fù)訓(xùn)練。

4 結(jié)束語(yǔ)

　　本系統(tǒng)將Unity3D中的虛擬人物與Kinect傳感器獲取的骨骼位置信息進(jìn)行綁定，從而控制虛擬人物的運(yùn)動(dòng)，虛擬現(xiàn)實(shí)的渲染為康復(fù)訓(xùn)練增添了樂(lè)趣；將整個(gè)動(dòng)作分解為幾個(gè)關(guān)鍵姿勢(shì)再進(jìn)行匹配的方式，實(shí)現(xiàn)了對(duì)動(dòng)作完成度的評(píng)估，并讓患者及時(shí)糾正動(dòng)作過(guò)程中的錯(cuò)誤，克服了只進(jìn)行整體評(píng)判時(shí)對(duì)動(dòng)作過(guò)程中出現(xiàn)的錯(cuò)誤敏感度不高的問(wèn)題。此系統(tǒng)對(duì)硬件設(shè)備要求不高，實(shí)時(shí)性好，可為家庭式康復(fù)系統(tǒng)的開(kāi)發(fā)提供參考。

　　參考文獻(xiàn)

　　[1] LEE J D， HSIEH C H， LIN T Y. A Kinect-based tai chi exercises evaluation system for physical rehabilitation [C]. IEEE International Conference on Consumer Electronics（ICCE），2014：177-178.

　　[2] BISWAS K K， KUMAR B S. Gesture recognition using Microsoft Kinect[C]. Proceedings of the 5th International Conference on Automation， Robotics and Application： IEEE，2011：100-103.

　　[3] 余濤，葉金永，邵菲杰，等.Kinect核心技術(shù)之骨架追蹤技術(shù)[J].數(shù)字技術(shù)與研究，2012（10）：115.

　　[4] 戰(zhàn)蔭偉，于芝枝，蔡俊.基于Kinect角度測(cè)量的姿勢(shì)識(shí)別算法[J].傳感器與微系統(tǒng)，2014，33（7）：129-131.

　　[5] Lv Fengjun， NEVATIA R． Single view human action recognition using key pose matching and viterbi path searching[C]. Proc of IEEE Conference on Computer Vision and Pattern Recognition， 2007：1-8．

　　[6] 宣國(guó)榮.模式識(shí)別中歐式距離特征選擇新方法[J].中國(guó)電子學(xué)術(shù)雜志，1984（6）：5-12.