《電子技術(shù)應用》
您所在的位置:首頁 > 嵌入式技術(shù) > 設計應用 > 基于Kinect傳感器的康復訓練系統(tǒng)
基于Kinect傳感器的康復訓練系統(tǒng)
2015年微型機與應用第11期
楊文璐,占 嬋
(上海海事大學 信息工程學院,上海 201306)
摘要: 針對腦卒中患者后期的康復訓練需求,設計并實現(xiàn)了一個基于Kinect傳感器的實時康復訓練指導系統(tǒng)。該系統(tǒng)利用Kinect傳感器實時采集人體動作信息,同時通過與標準動作庫中的關(guān)鍵姿勢序列進行比對,得出相應的匹配結(jié)果,指引患者進行正確的康復訓練。實驗表明該系統(tǒng)能夠準確地判斷動作的完成度,對康復訓練具有指引作用
Abstract:
Key words :

  楊文璐,占 嬋

 ?。ㄉ虾:J麓髮W 信息工程學院,上海 201306)

  摘  要: 針對腦卒中患者后期的康復訓練需求,設計并實現(xiàn)了一個基于Kinect傳感器的實時康復訓練指導系統(tǒng)。該系統(tǒng)利用Kinect傳感器實時采集人體動作信息,同時通過與標準動作庫中的關(guān)鍵姿勢序列進行比對,得出相應的匹配結(jié)果,指引患者進行正確的康復訓練。實驗表明該系統(tǒng)能夠準確地判斷動作的完成度,對康復訓練具有指引作用。

  關(guān)鍵詞: Kinect傳感器;康復訓練;運動指導;關(guān)鍵姿勢匹配

0 引言

  在腦卒中患者的后期治療中,康復訓練是一種強大的干預,能夠有效地促進患者的康復[1]??祻陀柧毷且粋€長期的過程,相同的康復動作往往需要成千上萬次的重復練習。因此,可以進行自主康復鍛煉的患者常需要在無人監(jiān)視的情況下進行自主康復訓練。然而,康復訓練的內(nèi)容需要專業(yè)醫(yī)生為患者量身定制,不遵循規(guī)范的康復訓練不僅達不到預期的康復效果,而且可能造成對患者身體的傷害。當前的康復指引通常僅限于康復醫(yī)生的當面指導和書面或視頻的指示,這使得患者在訓練過程中無法得到及時的反饋信息,無法判斷自己的康復方式是否正確,臨床醫(yī)生也無法獲取患者的康復訓練信息,難以對下一步的康復治療做出及時的調(diào)整。

  基于以上康復訓練的需求,本文設計并實現(xiàn)了一個基于Kinect傳感器的康復訓練指導系統(tǒng),利用Kinect傳感器獲取人體關(guān)節(jié)點坐標[2],采用關(guān)鍵姿勢匹配的方式跟蹤康復動作的進度,計算動作偏差,從而引導患者進行正確的康復訓練。該系統(tǒng)使得患者在家庭環(huán)境下也能進行安全、高效的康復鍛煉,此外系統(tǒng)中記錄的康復數(shù)據(jù)有利于康復醫(yī)生及時調(diào)整康復計劃,提高患者的康復效率。

1 總體設計

  參照真實的康復訓練過程,設計了基于Kinect體感交互技術(shù)的康復訓練指導系統(tǒng)。系統(tǒng)總體結(jié)構(gòu)如圖1所示。該系統(tǒng)通過Kinect傳感器實時采集人體運動信息,獲取人體運動過程中關(guān)節(jié)點的三維坐標,并將三維坐標時間序列轉(zhuǎn)換為角度時間序列。模板訓練時采用模糊C均值聚類算法(FCM)搜尋到各動作序列中的關(guān)鍵姿勢作為模板,并將角度時間序列表示的姿勢與數(shù)據(jù)庫(存放專業(yè)康復醫(yī)生為患者量身定制的康復動作的模板)里模板庫中的關(guān)鍵姿勢進行匹配,并在系統(tǒng)界面上將匹配結(jié)果反饋給患者,引導患者做出正確的康復動作。

001.jpg

2 系統(tǒng)實現(xiàn)

  2.1 骨骼數(shù)據(jù)的獲取

  骨骼追蹤技術(shù)是Kinect的核心技術(shù)之一[3]。啟動Kinect傳感器后,Kinect傳感器通過發(fā)射和接收紅外數(shù)據(jù)可以獲取人體20個關(guān)節(jié)點的三維坐標位置。坐標數(shù)據(jù)對不同體型的人十分敏感,為減小體型差異造成的誤差,本系統(tǒng)利用兩點法[4]將三維坐標數(shù)據(jù)轉(zhuǎn)化為16個角度數(shù)據(jù)。每個動作都可以用一個二維矩陣PN×M來表示,其中N為該動作總的幀數(shù),M的值為16,代表16個角度。

  2.2 關(guān)鍵姿勢的提取

  在2.1節(jié)中,用角度時間序列表示了動作的具體信息。系統(tǒng)中采用模糊C均值聚類(FCM)算法提取動作中的關(guān)鍵姿勢,關(guān)鍵姿勢也是由一組角度向量來表示的。模糊C均值聚類是用隸屬度確定每個數(shù)據(jù)點屬于某個聚類程度的一種聚類算法,是早期硬C均值聚類(HCM)的一種改進[5]。

  動作的二維矩陣PN×M可以看作是N個姿勢序列,F(xiàn)CM算法在標準動作的N個姿勢序列中提取關(guān)鍵姿勢。其具體方法如下:

  把n個向量xi(i=1,2,3…,n)(即PN×M的行向量)分為c個模糊組,并求出每個模糊組的聚類中心C=(c1,c2,…,cc),使得非相似性指標的價值函數(shù)達到最小。

  U=uij∈[0,1](1)

  其中,uij表示數(shù)據(jù)點xi屬于聚類中心cj的概率。

  FCM聚類算法的目標函數(shù)為:

  2.png

  其中m是一個加權(quán)指數(shù),m∈[1,∞)。

  聚類中心的計算公式如下:

  3.png

  FCM算法的具體步驟如下:

  (1)隨機初始化uij。

  (2)利用uij來計算聚類中心,如式(3)。

 ?。?)利用上一步得到的聚類中心來重設uij的值,uij=`)64ZG@O]A0ZPIOU`6U`BXN.png。

  (4)重新計算每一類的聚類中心,直到聚類中心不再改變,算法終止。

  通過對標準動作角度序列的FCM聚類,將動作聚為3類,得到3個聚類中心,將其作為關(guān)鍵姿勢;另外,由于起始姿勢和動作完成時的姿勢是判斷動作開始和結(jié)束的關(guān)鍵,因此同樣將這兩個姿勢作為關(guān)鍵姿勢。故共有5個關(guān)鍵姿勢,表示為:

  pose1=[θ1,1,θ1,2,…,θ1,16];

  pose2=[θ2,1,θ2,2,…,θ2,16];

  pose3=[θ3,1,θ3,2,…,θ3,16];

  pose4=[θ4,1,θ4,2,…,θ4,16];

  pose5=[θ5,1,θ5,2,…,θ5,16]。

  2.3 關(guān)鍵姿勢的匹配

  為實現(xiàn)系統(tǒng)的動作指導功能,首先須判斷當前的動作是否與標準動作一致。本系統(tǒng)采用關(guān)鍵姿勢匹配的方式來實現(xiàn)這一功能,其主要方法是計算姿勢之間的相似性。在數(shù)據(jù)庫中存放了用關(guān)鍵姿勢來表示的標準的動作模板。

  系統(tǒng)運行時,Kinect以30幀/s的速度采集動作數(shù)據(jù)。將實時采集到的數(shù)據(jù)用2.1節(jié)所述的方法轉(zhuǎn)化為角度數(shù)據(jù),并與模板中的關(guān)鍵姿勢進行歐式距離匹配[6],歐式距離計算公式如下:

  4.png

  設置匹配距離閾值λ,當Dis<λ時,關(guān)鍵姿勢匹配成功,此時系統(tǒng)認為完成了該關(guān)鍵姿勢相對應的分動作。對于每個動作都將相應的關(guān)鍵姿勢模板與實時動作進行順序匹配,前一個關(guān)鍵姿勢匹配成功后將自動跳轉(zhuǎn)到下一個關(guān)鍵姿勢進行匹配。若5個分動作均順序匹配成功,則認為該動作完成。

002.jpg

  圖2是正確動作下左手側(cè)提180°的5個關(guān)鍵姿勢歐式距離匹配結(jié)果。圖中橫線以下的點表示匹配成功的點。易看出該動作與標準動作的5個關(guān)鍵姿勢均匹配成功。

003.jpg

  匹配流程如圖3所示。當相應的關(guān)鍵姿勢與當前的動作有6幀匹配成功時,則系統(tǒng)認為相應的分動作完成,并開始下一個關(guān)鍵姿勢的匹配,直到動作完成為止。動作完成后系統(tǒng)給出總的得分。得分結(jié)果是由各分動作的完成情況綜合決定的。

  2.4 結(jié)果反饋

004.jpg

  本系統(tǒng)是在Unity3D中開發(fā)實現(xiàn)的,其交互界面如圖4所示,界面右上角為患者播放標準動作的錄制視頻,患者只需模仿視頻中的動作即可。界面右下方是周圍環(huán)境的彩色圖像。界面中間虛擬人物的動作與患者的動作數(shù)據(jù)進行了綁定,虛擬人物的動作與當前患者的動作一致。動作完成后界面將顯示每個分動作的得分和總的得分。若匹配失敗,界面將在相應的位置顯示“動作錯誤”。每個分動作的匹配結(jié)果均會實時地展示在界面上,以達到對患者動作進行指引的目的。

3 實驗結(jié)果與分析

  為驗證系統(tǒng)的可靠性,選取20名健康的志愿者,其中8名女性,12名男性,年齡均在22~28歲之間,在系統(tǒng)提示下完成康復動作,每個動作類型均重復5次。表1列出了系統(tǒng)的關(guān)鍵姿勢匹配結(jié)果,其中錯誤動作1是只完成了整個動作中的前4個分動作,錯誤動作2是只完成了整個動作中的前3個分動作,錯誤動作3是只完成了整個動作中的前2個分動作,錯誤動作4是只完成了整個動作中的前1個分動作。

  實驗結(jié)果表明,用關(guān)鍵姿勢匹配的方法判斷動作是否完成是可行的,該系統(tǒng)能夠準確地反饋動作信息,實時告知患者動作的完成度。當用戶的動作在某一過程中出現(xiàn)錯誤時,相應的關(guān)鍵姿勢將匹配失敗,此時系統(tǒng)能夠及時地將錯誤的信息反饋給用戶,提示患者該過程中的動作不到位。該系統(tǒng)在監(jiān)視用戶動作的同時具有動作指引功能,并且能夠記錄患者的康復訓練信息,便于康復醫(yī)生及時調(diào)整康復計劃,有利于患者進行科學、高效的康復訓練。

4 結(jié)束語

  本系統(tǒng)將Unity3D中的虛擬人物與Kinect傳感器獲取的骨骼位置信息進行綁定,從而控制虛擬人物的運動,虛擬現(xiàn)實的渲染為康復訓練增添了樂趣;將整個動作分解為幾個關(guān)鍵姿勢再進行匹配的方式,實現(xiàn)了對動作完成度的評估,并讓患者及時糾正動作過程中的錯誤,克服了只進行整體評判時對動作過程中出現(xiàn)的錯誤敏感度不高的問題。此系統(tǒng)對硬件設備要求不高,實時性好,可為家庭式康復系統(tǒng)的開發(fā)提供參考。

  參考文獻

  [1] LEE J D, HSIEH C H, LIN T Y. A Kinect-based tai chi exercises evaluation system for physical rehabilitation [C]. IEEE International Conference on Consumer Electronics(ICCE),2014:177-178.

  [2] BISWAS K K, KUMAR B S. Gesture recognition using Microsoft Kinect[C]. Proceedings of the 5th International Conference on Automation, Robotics and Application: IEEE,2011:100-103.

  [3] 余濤,葉金永,邵菲杰,等.Kinect核心技術(shù)之骨架追蹤技術(shù)[J].數(shù)字技術(shù)與研究,2012(10):115.

  [4] 戰(zhàn)蔭偉,于芝枝,蔡俊.基于Kinect角度測量的姿勢識別算法[J].傳感器與微系統(tǒng),2014,33(7):129-131.

  [5] Lv Fengjun, NEVATIA R. Single view human action recognition using key pose matching and viterbi path searching[C]. Proc of IEEE Conference on Computer Vision and Pattern Recognition, 2007:1-8.

  [6] 宣國榮.模式識別中歐式距離特征選擇新方法[J].中國電子學術(shù)雜志,1984(6):5-12.


此內(nèi)容為AET網(wǎng)站原創(chuàng),未經(jīng)授權(quán)禁止轉(zhuǎn)載。