摘  要： 設(shè)計(jì)了一種基于雙目視覺技術(shù)的觸摸屏實(shí)現(xiàn)方法，采用兩個(gè)普通攝像頭作為傳感器實(shí)時(shí)捕捉觸摸物的存在及其動(dòng)作，并利用計(jì)算機(jī)視覺技術(shù)實(shí)現(xiàn)對(duì)普通顯示屏幕的虛擬觸摸功能，使其具有單擊、雙擊、拖動(dòng)以及多點(diǎn)觸摸等功能。
關(guān)鍵詞： 計(jì)算機(jī)視覺；觸摸屏；圖像處理；人機(jī)交互；序列圖像

    觸摸是人類最簡(jiǎn)單和最本能的行為之一，觸摸屏技術(shù)方便了用戶對(duì)計(jì)算機(jī)的操作。與鼠標(biāo)、鍵盤、手寫板相比，觸摸屏技術(shù)實(shí)現(xiàn)了人機(jī)互動(dòng)的最簡(jiǎn)單、最直接的方式。尤其是近年來iphone手機(jī)風(fēng)靡全球，使得“多點(diǎn)觸摸”成為另一熱點(diǎn)話題。它將進(jìn)一步推進(jìn)觸摸屏的流行，同時(shí)也將推升多點(diǎn)觸控功能的深入人心。但目前對(duì)于超大觸摸屏硬件實(shí)現(xiàn)成本很高，多點(diǎn)觸摸技術(shù)還不成熟。因此，觸摸行業(yè)仍有很大的提升空間，具有十分廣闊的研究前景。
    用軟件代替昂貴的硬件從而降低成本將成為可能，計(jì)算機(jī)視覺技術(shù)成為首選?；谝曈X的手勢(shì)交互領(lǐng)域中存在許多困難和挑戰(zhàn)[1]，如復(fù)雜背景和光照變化的影響、人手快速運(yùn)動(dòng)的變形、手指之間的相互遮擋等，這無疑使得精確的圖像分隔和特征提取成為難點(diǎn)[2]。為降低視覺處理的復(fù)雜性，人們用特殊標(biāo)記手套等輔助工具來獲取手的位置和方向[3]、手部自然色信息進(jìn)行特征提取[4]、利用三路或四路攝像頭分組獲取圖像，從而定位手指[5]等，以實(shí)現(xiàn)人機(jī)交互。
    本文提出了一種新的基于雙目視覺的手指屏幕交互方法。該方法主要采用兩個(gè)攝像裝置來構(gòu)建，通過對(duì)獲取的雙圖像進(jìn)行分析，并計(jì)算觸摸點(diǎn)位置和定義觸摸的過程。
1 系統(tǒng)概述
    基于雙目視覺技術(shù)來[6]實(shí)現(xiàn)對(duì)普通顯示屏的觸摸功能，系統(tǒng)主要由兩個(gè)一維圖像采集裝置(攝像頭)、普通顯示屏幕和計(jì)算機(jī)識(shí)別定位軟件三部分組成。系統(tǒng)裝置參考圖如圖1所示。

    兩個(gè)圖像采集裝置安裝在顯示屏幕的同側(cè)任意位置，但要保證兩者的視角范圍覆蓋整個(gè)顯示屏幕。在每個(gè)圖像采集裝置獲取到的一維圖像中，顯示屏幕均以一條直線形式呈現(xiàn)。構(gòu)建一個(gè)虛擬的觸摸屏平行于顯示屏幕的正前方，當(dāng)觸摸物接觸到虛擬觸摸屏就能立即被攝像頭捕捉到。在一維圖像顯示屏幕的直線上會(huì)有點(diǎn)出現(xiàn)，進(jìn)而用識(shí)別定位軟件進(jìn)行轉(zhuǎn)換處理，為虛擬觸摸屏中的二維坐標(biāo)，并完成相應(yīng)的觸控操作，以此來實(shí)現(xiàn)人機(jī)交互功能。系統(tǒng)實(shí)現(xiàn)原理示意圖如圖2所示。
2 系統(tǒng)標(biāo)定
    系統(tǒng)標(biāo)定的目的是分別確定兩個(gè)攝像頭的圖像坐標(biāo)系與屏幕坐標(biāo)系之間的映射關(guān)系[7]。本文的屏幕坐標(biāo)系是指顯示器用于圖像顯示的坐標(biāo)系，本實(shí)驗(yàn)選用的是47英寸液晶電視機(jī)作為顯示屏幕。
    在顯示屏幕的每邊上逐一顯示如圖3所示的若干個(gè)均勻分布的參考點(diǎn)，一旦有接觸物接觸顯示屏幕，分別由兩個(gè)攝像頭采集這組點(diǎn)在圖像中的位置，計(jì)算機(jī)記錄下圖像坐標(biāo)與屏幕坐標(biāo)的對(duì)應(yīng)關(guān)系(x1)(x2)(x，y)。其中，x1和x2分別為兩個(gè)攝像頭采集的一維圖像中的坐標(biāo)，(x，y)為對(duì)應(yīng)的虛擬觸摸屏四邊上的二維坐標(biāo)。

    本系統(tǒng)的攝像頭安裝在屏幕的下邊沿兩角上。攝像頭邏輯坐標(biāo)的確立是在坐標(biāo)映射之后自動(dòng)完成的，默認(rèn)采用的是屏幕上邊沿中間和右上角兩個(gè)參考點(diǎn)A1和A2，利用二分法查找[8]并確定屏幕下邊的對(duì)應(yīng)參考點(diǎn)B1和B2，連接參考點(diǎn)A1和B1獲得屏幕內(nèi)的左下角攝像頭的一條直線，連接參考點(diǎn)A2和B2獲得另一條直線，兩條直線相交，獲得左下角攝像頭的邏輯坐標(biāo)。同理，可以確定右下角攝像頭的邏輯坐標(biāo)。攝像頭邏輯坐標(biāo)確立方法如圖4所示。

3 觸摸定位和動(dòng)作判定
3.1 觸摸定位
    在攝像頭采集到的一維圖像上，整個(gè)虛擬觸摸屏顯示為一條直線段；觸摸物在虛擬觸摸屏上的點(diǎn)擊顯示為在直線段上出現(xiàn)的一個(gè)點(diǎn)；觸摸物在虛擬觸摸屏上的運(yùn)動(dòng)顯示為點(diǎn)在直線段上的移動(dòng)。在兩個(gè)攝像頭采集的兩幅圖像中直線段上的點(diǎn)和二維虛擬觸摸屏四邊上的點(diǎn)存在一一對(duì)應(yīng)的關(guān)系。
    當(dāng)觸摸物在顯示屏幕上任意一X處進(jìn)行觸摸時(shí)，其在兩個(gè)攝像頭采集的圖像直線段上有對(duì)應(yīng)位置X′和X″。根據(jù)坐標(biāo)映射已知的一維圖像坐標(biāo)與二維屏幕四邊上坐標(biāo)的對(duì)應(yīng)關(guān)系，可獲得與X在兩個(gè)攝像頭的圖像直線段上位置相同的屏幕邊上的點(diǎn)Y1和Y2。連接Y1和已知的左下角攝像頭以獲得屏幕內(nèi)的過觸摸點(diǎn)X的一條直線，連接Y2和已知的右下角攝像頭以獲得屏幕內(nèi)的過觸摸點(diǎn)X的另一條直線，兩條直線相交，得到的就是觸摸點(diǎn)的坐標(biāo)，從而完成觸摸物的定位。圖5(a)、(b)為左右兩個(gè)攝像頭采集的圖像，中間區(qū)域?yàn)樘摂M觸摸屏的一維圖像線陣，圖5(c)為顯示屏幕上的圖像，亮點(diǎn)為對(duì)應(yīng)的坐標(biāo)位置。

    同理，可以根據(jù)Y方向的位移大小來判斷觸摸物體的上下方向運(yùn)動(dòng)。其中，坐標(biāo)系左上角為(0，0)點(diǎn)。
通過以上類似的方法來定義為雙擊、拖動(dòng)和多點(diǎn)觸控等動(dòng)作。
4 實(shí)驗(yàn)結(jié)果
    本實(shí)驗(yàn)所使用的計(jì)算機(jī)的主頻為2.0 GHz，內(nèi)存為1 GB，圖像采集設(shè)備為普通的網(wǎng)絡(luò)攝像頭，顯示屏幕選用的是47英寸液晶電視機(jī)。兩個(gè)攝像頭同步地采集序列圖像，分別跟蹤手指運(yùn)動(dòng)的軌跡，從而實(shí)現(xiàn)手指運(yùn)動(dòng)和點(diǎn)擊操作的實(shí)時(shí)檢測(cè)。實(shí)驗(yàn)系統(tǒng)的視覺處理部分速度可以達(dá)到15幀/s。實(shí)驗(yàn)中不斷用手指在顯示屏幕上任意位置點(diǎn)擊測(cè)試，記錄系統(tǒng)跟蹤獲取的觸摸位置與人工標(biāo)定真實(shí)值之間的對(duì)比結(jié)果。將整個(gè)顯示屏幕分成5個(gè)區(qū)域，用手指點(diǎn)觸任意位置進(jìn)行測(cè)試，記錄并分析測(cè)試結(jié)果如表1所示。

    實(shí)驗(yàn)結(jié)果表明，由于受到圖像采集裝置角度的限制以及大屏幕顯示器的長(zhǎng)寬比約束，4個(gè)角區(qū)域的定位誤差稍比中間區(qū)域大，但誤差率最大不超過2個(gè)像素，整體來講，對(duì)于顯示屏幕系統(tǒng)可以對(duì)觸摸物進(jìn)行魯棒性的跟蹤，完成比較精確的觸摸物定位，迅速響應(yīng)點(diǎn)擊操作，從而有效地實(shí)現(xiàn)了人機(jī)交互的功能。并且系統(tǒng)抗干擾能力強(qiáng)，在環(huán)境光照發(fā)生很大變化時(shí)也能很好地運(yùn)行。
    本文介紹了一種新的基于雙目視覺技術(shù)的觸摸屏實(shí)現(xiàn)方法，通過觸摸物在顯示屏幕上的移動(dòng)和點(diǎn)擊很好地完成人機(jī)交互操作。該方法使用兩個(gè)普通攝像頭來實(shí)現(xiàn)，攝像頭只要求安裝在顯示屏幕的四周，獲取整個(gè)顯示屏幕呈直線就可以，其邏輯坐標(biāo)完全是通過觸摸物點(diǎn)擊屏幕進(jìn)行坐標(biāo)映射后自動(dòng)完成的。本文有效地避免了手指的互相遮擋等問題，使得實(shí)時(shí)魯棒的觸摸點(diǎn)跟蹤和動(dòng)作的判定成為了可能。而且對(duì)周圍光照等沒有嚴(yán)格的要求，可以應(yīng)用在多種人機(jī)交互、信息展示以及娛樂場(chǎng)所。
    目前，本系統(tǒng)實(shí)現(xiàn)了觸摸物的定位和點(diǎn)擊功能，今后如何有效地定義右擊、并且區(qū)分單擊、雙擊，以及如何有效地對(duì)多點(diǎn)觸摸物進(jìn)行定位和動(dòng)作上的判定，尤其是多點(diǎn)的識(shí)別區(qū)分是難點(diǎn)等，還有待進(jìn)一步深入研究，以構(gòu)建更加強(qiáng)大、更人性化的人機(jī)交互系統(tǒng)。
參考文獻(xiàn)
[1] 侯義斌，陳晨.視覺交互系統(tǒng)中的目標(biāo)檢測(cè)與運(yùn)動(dòng)分析[J].計(jì)算機(jī)工程與應(yīng)用，2004，40(27).
[2] PAVLOVIC V I， SHAMA R， HUANG T S. Visual interpretation of hand gestures for human computer interaction： a review [J]. IEEE Transaction on Pattern Analysis and Machine Intelligence， 1997. 19(7)： 677-695.
[3] ULHAAS K D， SCHMALSTIEG D. Finger tracking for interaction in augmented environments[C]. Proceeding of the 2nd ACM/IEEE International Symposium on Augmented Reality， New York， USA， October 29-30， 2001.
[4] HALL D， GAL C L， MARTIN J， et al. Magicboard. a contribution  to an intelligent office environment [J]. Robotics and Autonomous Systems， 1999， 35(3-4)： 211-220.
[5] 王德鑫，張茂軍.四路攝像頭分組重建的多觸點(diǎn)定位方法[J].電子與信息學(xué)報(bào)，2010，32(2).
[6] 周亦鵬.雙目視覺技術(shù)在計(jì)算機(jī)輔助檢測(cè)中的應(yīng)用研究[J].計(jì)算機(jī)測(cè)量與控制，2008.16(5).
[7] 于舒春，朱延河，閆繼宏.基于新型雙目機(jī)構(gòu)的立體視覺系統(tǒng)標(biāo)定[J].機(jī)器人，2007，29(4).
[8] 冼允廷，路小波，施毅.基于投影二分法的車牌字符分割方法[J].交通與計(jì)算機(jī)，2007，25(5).
[9] 孫艷忠，柴毅，尹宏鵬.基于邊緣檢測(cè)與改進(jìn)最大類間方差法的火箭序列圖像分割算法[J].計(jì)算機(jī)應(yīng)用，2009(11).