《電子技術應用》
您所在的位置：首頁 > 嵌入式技術 > 設計應用 > 基于體感交互的智能家居控制與監(jiān)護系統(tǒng)
基于體感交互的智能家居控制與監(jiān)護系統(tǒng)
2019年電子技術應用第6期
趙 琳1，方艷紅1，2，張紅英1，2，王學淵1
1.西南科技大學 信息工程學院，四川 綿陽621010；2.特殊環(huán)境機器人技術四川省重點實驗室，四川 綿陽621010
摘要： 為實現(xiàn)通過手勢對家居電器設備的控制，并對室內(nèi)危險情況進行實時監(jiān)測和報警，設計了基于體感交互的智能家居系統(tǒng)。該系統(tǒng)利用Kinect設備捕獲RGBD圖像信息，將識別出的手勢信息作為控制信號，通過ZigBee局域網(wǎng)對家居設備進行控制；同時對場景中可能出現(xiàn)的老人或小孩摔倒情況進行實時檢測判定，對危險情況報警。實驗結(jié)果表明，該系統(tǒng)能滿足通過手勢對家居設備進行控制的需求，并且對摔倒情況能進行檢測和報警。
中圖分類號： TN919.5；TP399
文獻標識碼： A
DOI：10.16157/j.issn.0258-7998.190091
中文引用格式： 趙琳，方艷紅，張紅英，等. 基于體感交互的智能家居控制與監(jiān)護系統(tǒng)[J].電子技術應用，2019，45(6)：101-103.
英文引用格式： Zhao Lin，F(xiàn)ang Yanhong，Zhang Hongying，et al. Smart home control and monitoring system based on somatosensory interaction[J]. Application of Electronic Technique，2019，45(6)：101-103.
Smart home control and monitoring system based on somatosensory interaction
Zhao Lin1，F(xiàn)ang Yanhong1，2，Zhang Hongying1，2，Wang Xueyuan1
1.Faculty of Information Engineering，Southwest University of Science and Technology，Mianyang 621010，China； 2.Key Laboratory of Sichuan Province for Robot Technology Used for Special Environment，Mianyang 621010，China
Abstract： In order to realize the control of home appliances by gesture and real-time monitoring including alarming of indoor hazards,a smart home system based on somatosensory interaction is designed. The system captures RGBD image information by Kinect device, takes the recognized gesture information as control signal, and controls the household equipment through ZigBee LAN. At the same time, it detects the falls of the elderly or children in the scene in real time, and alarms the dangerous situation. The experimental results show that the system can meet the need of controlling the household equipment by gesture, and can detect and alarm the falling situation.
Key words : somatosensory interaction；gesture recognition；home control；fall detection

0 引言

    隨著科學技術的日益發(fā)展和社會的進步，人們對美好生活的需求日益增長，對生活質(zhì)量也有越來越高的要求。人們的家電控制方式從最初的按下按鈕使開關閉合發(fā)展為紅外遙控，甚至到手機小程序應用?，F(xiàn)今甚至可以進一步脫離手機應用程序，利用體感技術來實現(xiàn)對家居設備的控制[1]。

    本文在現(xiàn)有的智能家居技術的理論基礎上[2-3]，設計了一種基于體感交互的智能家居控制與監(jiān)護系統(tǒng)，用戶可以通過簡單的手勢實現(xiàn)對家居設備的控制。對于有老人或小孩的家庭，當出現(xiàn)有人突然摔倒等危險情況時，系統(tǒng)會自動報警并且將現(xiàn)場實際情況發(fā)送給監(jiān)護人。

1 系統(tǒng)整體結(jié)構(gòu)設計

    系統(tǒng)主要由感知終端模塊、核心處理模塊和信號處理模塊組成，系統(tǒng)整體結(jié)構(gòu)框圖如圖1所示。

jsj2-t1.gif

    由圖1可知，系統(tǒng)在感知終端獲取視頻圖像信息后，傳遞給核心處理模塊，在核心處理模塊中完成手勢判定和摔倒檢測，之后，一方面將檢測到的摔倒信息利用網(wǎng)絡發(fā)送到用戶預留的地址；另一方面將手勢識別信號通過串口發(fā)送給上位機微控單元（MCU），在ZigBee局域網(wǎng)中的下位機MCU接收上位機發(fā)出的控制信息，實現(xiàn)對電器設備的控制。

2 系統(tǒng)設計及實現(xiàn)

    系統(tǒng)的設計流程圖如圖2所示。

jsj2-t2.gif

    在圖2的系統(tǒng)設計流程中，感知終端采用Kinect傳感器實現(xiàn)信息采集；核心處理端依據(jù)骨骼關節(jié)點空間信息進行動作判定，并對動作做出響應；當用戶需要完成家居控制服務時，將信息傳輸給MCU，實現(xiàn)家居設備的控制，當發(fā)現(xiàn)危險情況時，通過網(wǎng)絡將信息發(fā)送給監(jiān)護人。

2.1 信息采集

    系統(tǒng)的信息采集使用Kinect傳感器獲取人體20個骨骼節(jié)點信息，依據(jù)骨骼節(jié)點的三維位置信息創(chuàng)建對應人體骨架，對相應的人體骨架進行坐標定位。

2.2 信息處理

    信息處理包括實時對接收的數(shù)據(jù)進行手勢判定[4-6]和摔倒檢測[7-8]。

2.2.1 手勢判定

    Kinect傳感器的信息采集頻率是30幀/s，當連續(xù)30幀的右手骨骼點坐標變化超出閾值時，認為手勢發(fā)生并提取數(shù)據(jù)流，與模型對比完成分類。

    以右手骨骼點到脊柱骨骼點以及左右肩骨骼點的歐式距離作為手勢判別的特征數(shù)據(jù)，歐式距離計算公式為：

    jsj2-gs1.gif

式中，d為歐式距離數(shù)值大小，(x1，y1，z1)、(x2，y2，z2)分別為空間中任意兩點的三維坐標。

    對獲取的數(shù)據(jù)進行擬合得到待匹配序列。將待匹配序列與模板序列比對，當差值在閾值范圍內(nèi)則匹配到當前模板，完成手勢分類。

    系統(tǒng)中預先定義了兩個模板，每個模板保存有右手骨骼點到左右肩以及脊柱關節(jié)點的距離，定義了e1、e2、e3、e4、e5、e6用于保存待匹配序列與模板序列骨骼點相對距離的誤差，計算公式為：

    jsj2-gs2.gif

其中，E為右手骨骼點到左右肩節(jié)點或脊柱節(jié)點的誤差，ai為模板中存放的某一骨骼點相對距離大小，bi為實時獲取的對應骨骼點相對距離大小。

    e1、e2、e3分別表示右手到模板一脊柱、左肩、右肩的距離誤差，e4、e5、e6分別表示右手到模板二脊柱、左肩、右肩的距離誤差，系統(tǒng)設定的誤差閾值(單位：m)分別為4、3、3、3、3、5。當有待匹配序列滿足某一模板設定的閾值條件時，認定該模板所代表的手勢發(fā)生。

2.2.2 摔倒檢測

    受文獻[7]和文獻[8]中利用加速度傳感器檢測摔倒的啟發(fā)，本文利用采集的骨骼點空間位置信息，在被監(jiān)護者不佩戴任何儀器設備的情況下獲得其活動加速度數(shù)據(jù)。

    以脊柱中心骨骼點為例，根據(jù)基本物理運動學知識，加速度計算公式為：

    jsj2-gs3.gif

其中，at表示第t幀中骨骼點的加速度大小，xt+1、xt-1分別表示與前后幀骨骼點的變化量，Δt是采樣時間間隔，本文的采樣間隔時間是1/30 s。

    由于一些比較劇烈的運動可能會產(chǎn)生較大的加速度而導致誤判，因此本文進一步檢測關節(jié)的距離變化來提高檢測的準確性。整體的摔倒檢測實現(xiàn)流程如圖3所示。

jsj2-t3.gif

    由圖3可知，摔倒判定需同時滿足加速度超出閾值和骨骼距離小于閾值兩個判定條件。其中，骨骼距離是指髖骨和膝蓋在豎直方向上的相對位置。經(jīng)過多次摔倒測試，本文設置的加速度閾值設定為0.05 m/s2，骨骼點距離閾值設定為0.5 m。

2.3 信息傳輸

    信息傳輸包括與移動端的遠程通信和與MCU的串口通信。

2.3.1 遠程通信

    當檢測到有摔倒情況發(fā)生后，通過網(wǎng)絡將報警信息和當前圖片信息發(fā)送到第三方云端服務器，服務器將信息發(fā)送到用戶手機端，使在外的家人能夠及時獲知危險情況，如圖4所示。

jsj2-t4.gif

2.3.2 串口通信

    當需要完成家居控制服務時，核心處理單元通過USB串口向MCU發(fā)送信息，MCU根據(jù)接收到的信息對家居電器進行判斷操作。

    系統(tǒng)使用CC2530作為微控單元MCU。CC2530是TI公司推出的一款芯片，里面包含了51單片機的內(nèi)核與ZigBee技術。其中的ZigBee是一種短距離局域網(wǎng)無線通信技術，工作在2.4 GHz頻段，傳輸速率10 kb/s～250 kb/s，傳輸距離10～100 m[9]，具有低功耗、低成本的特點[10]。

    CC2530需要完成的信息處理分為上位機與下位機兩部分。上位機主要接收核心處理單元的數(shù)據(jù)信息，處理分析，通過局域網(wǎng)方式將信息傳送到下位機。下位機控制電器設備。圖5所示是用CC2530實現(xiàn)家居智能開關的設計流程。

jsj2-t5.gif

    在圖5所示的CC2530設計流程中，上位機協(xié)調(diào)器實時接收從串口發(fā)送來的字符，并通過ZigBee無線協(xié)議把字符發(fā)送到下位機終端，終端根據(jù)收到字符控制家電開關。

3 實驗及結(jié)果分析

    將系統(tǒng)硬件設備連接，其中Kinect設備通電并連接到PC，ZigBee協(xié)調(diào)器通過USB數(shù)據(jù)線連接到PC串口，對受控終端供電。在室內(nèi)自然光條件下進行測試，依次打開上位機控制程序、手勢識別程序。工作區(qū)顯示ZigBee成功組網(wǎng)，Kinect攝像頭正常工作。進行兩組手勢控制測試，每組30次，結(jié)果記錄見表1。

jsj2-b1.gif

    如表1數(shù)據(jù)所示，兩組測試實驗的控制成功率分別為86.7%和80%，能夠滿足日常家居控制的設計需求。

    摔倒檢測實驗中，當出現(xiàn)有人異常摔倒情況時，系統(tǒng)提示“fall detection”，并將報警信息和當前圖像（如圖6所示）發(fā)送到監(jiān)護人手機端。

jsj2-t6.gif

4 結(jié)束語

    本文介紹了基于體感交互的智能家居系統(tǒng)，該系統(tǒng)集智能家居控制、實時檢測危險狀況于一體，使用戶脫離了遙控器、手機APP等終端，只需通過手勢就可以控制家居設備；當家中有老人或小孩意外摔倒時，系統(tǒng)會自動檢測危險狀況并及時向監(jiān)護人報警。系統(tǒng)采用Kinect作為信息采集設備，檢測范圍較大且不易受室內(nèi)光線強度影響，即使在夜間光量不足的情況下也能使用。

參考文獻

[1] 傅大梅，倪瑛.基于Kinect的智能家居體感控制系統(tǒng)的研究與設計[J].價值工程，2016，35(32)：166-168.

[2] 張嘉慶.淺析中國智能建筑中智能家居的現(xiàn)狀及未來[J].中國戰(zhàn)略新興產(chǎn)業(yè)，2018(4)：47.

[3] 吳杰文，左宸羽，倪銀堂，等.智能家居的研究現(xiàn)狀綜述與展望[J].中國戰(zhàn)略新興產(chǎn)業(yè)，2017(16)：6.

[4] 管珊珊.基于Kinect的手勢識別研究進展[C].中國計算機用戶協(xié)會網(wǎng)絡應用分會2018年第二十二屆網(wǎng)絡新技術與應用年會論文集，2018.

[5] 陳紅梅，賴重遠，張洋，等.基于深度數(shù)據(jù)的手勢識別研究進展[J].江漢大學學報(自然科學版)，2018，46(2)：101-108.

[6] 徐軍，劉春花，孟月霞，等.可穿戴手勢識別控制器[J].電子技術應用，2016，42(7)：68-71，75.

[7] 彭亞平，賀乾格，柯希垚，等.一種基于加速度傳感器的摔倒檢測腰帶[J].電子測量技術，2018，41(11)：117-120.

[8] 徐慧慧，楊淼，錢超瑜.基于三軸加速度傳感器的摔倒檢測系統(tǒng)[J].黑龍江科技信息，2017(6)：76.

[9] 廖慧，陽序仁.基于CC2530的LED智能照明系統(tǒng)的設計與實現(xiàn)[J].電力電子技術，2018，52(11)：33-35.

[10] 李建勇，李洋，劉雪梅.基于ZigBee的糧庫環(huán)境監(jiān)控系統(tǒng)設計[J].電子技術應用，2016，42(1)：65-67，71.



作者信息:

趙  琳1，方艷紅1，2，張紅英1，2，王學淵1

（1.西南科技大學 信息工程學院，四川 綿陽621010；2.特殊環(huán)境機器人技術四川省重點實驗室，四川 綿陽621010）

此內(nèi)容為AET網(wǎng)站原創(chuàng)，未經(jīng)授權禁止轉(zhuǎn)載。