摘 要： 設計了一種基于雙目視覺技術的觸摸屏實現方法，采用兩個普通攝像頭作為傳感器實時捕捉觸摸物的存在及其動作，并利用計算機視覺技術實現對普通顯示屏幕的虛擬觸摸功能，使其具有單擊、雙擊、拖動以及多點觸摸等功能。
關鍵詞： 計算機視覺；觸摸屏；圖像處理；人機交互；序列圖像
觸摸是人類最簡單和最本能的行為之一，觸摸屏技術方便了用戶對計算機的操作。與鼠標、鍵盤、手寫板相比，觸摸屏技術實現了人機互動的最簡單、最直接的方式。尤其是近年來iphone手機風靡全球，使得“多點觸摸”成為另一熱點話題。它將進一步推進觸摸屏的流行，同時也將推升多點觸控功能的深入人心。但目前對于超大觸摸屏硬件實現成本很高，多點觸摸技術還不成熟。因此，觸摸行業仍有很大的提升空間，具有十分廣闊的研究前景。
用軟件代替昂貴的硬件從而降低成本將成為可能，計算機視覺技術成為首選。基于視覺的手勢交互領域中存在許多困難和挑戰[1]，如復雜背景和光照變化的影響、人手快速運動的變形、手指之間的相互遮擋等，這無疑使得精確的圖像分隔和特征提取成為難點[2]。為降低視覺處理的復雜性，人們用特殊標記手套等輔助工具來獲取手的位置和方向[3]、手部自然色信息進行特征提取[4]、利用三路或四路攝像頭分組獲取圖像，從而定位手指[5]等，以實現人機交互。
本文提出了一種新的基于雙目視覺的手指屏幕交互方法。該方法主要采用兩個攝像裝置來構建，通過對獲取的雙圖像進行分析，并計算觸摸點位置和定義觸摸的過程。
1 系統概述
基于雙目視覺技術來[6]實現對普通顯示屏的觸摸功能，系統主要由兩個一維圖像采集裝置(攝像頭)、普通顯示屏幕和計算機識別定位軟件三部分組成。系統裝置參考圖如圖1所示。
兩個圖像采集裝置安裝在顯示屏幕的同側任意位置，但要保證兩者的視角范圍覆蓋整個顯示屏幕。在每個圖像采集裝置獲取到的一維圖像中，顯示屏幕均以一條直線形式呈現。構建一個虛擬的觸摸屏平行于顯示屏幕的正前方，當觸摸物接觸到虛擬觸摸屏就能立即被攝像頭捕捉到。在一維圖像顯示屏幕的直線上會有點出現，進而用識別定位軟件進行轉換處理，為虛擬觸摸屏中的二維坐標，并完成相應的觸控操作，以此來實現人機交互功能。系統實現原理示意圖如圖2所示。
2 系統標定
系統標定的目的是分別確定兩個攝像頭的圖像坐標系與屏幕坐標系之間的映射關系[7]。本文的屏幕坐標系是指顯示器用于圖像顯示的坐標系，本實驗選用的是47英寸液晶電視機作為顯示屏幕。
在顯示屏幕的每邊上逐一顯示如圖3所示的若干個均勻分布的參考點，一旦有接觸物接觸顯示屏幕，分別由兩個攝像頭采集這組點在圖像中的位置，計算機記錄下圖像坐標與屏幕坐標的對應關系(x1)(x2)
(x，y)。其中，x1和x2分別為兩個攝像頭采集的一維圖像中的坐標，(x，y)為對應的虛擬觸摸屏四邊上的二維坐標。
本系統的攝像頭安裝在屏幕的下邊沿兩角上。攝像頭邏輯坐標的確立是在坐標映射之后自動完成的，默認采用的是屏幕上邊沿中間和右上角兩個參考點A1和A2，利用二分法查找[8]并確定屏幕下邊的對應參考點B1和B2，連接參考點A1和B1獲得屏幕內的左下角攝像頭的一條直線，連接參考點A2和B2獲得另一條直線，兩條直線相交，獲得左下角攝像頭的邏輯坐標。同理，可以確定右下角攝像頭的邏輯坐標。攝像頭邏輯坐標確立方法如圖4所示。
3 觸摸定位和動作判定
3.1 觸摸定位
在攝像頭采集到的一維圖像上，整個虛擬觸摸屏顯示為一條直線段；觸摸物在虛擬觸摸屏上的點擊顯示為在直線段上出現的一個點；觸摸物在虛擬觸摸屏上的運動顯示為點在直線段上的移動。在兩個攝像頭采集的兩幅圖像中直線段上的點和二維虛擬觸摸屏四邊上的點存在一一對應的關系。
當觸摸物在顯示屏幕上任意一X處進行觸摸時，其在兩個攝像頭采集的圖像直線段上有對應位置X′和X″。根據坐標映射已知的一維圖像坐標與二維屏幕四邊上坐標的對應關系，可獲得與X在兩個攝像頭的圖像直線段上位置相同的屏幕邊上的點Y1和Y2。連接Y1和已知的左下角攝像頭以獲得屏幕內的過觸摸點X的一條直線，連接Y2和已知的右下角攝像頭以獲得屏幕內的過觸摸點X的另一條直線，兩條直線相交，得到的就是觸摸點的坐標，從而完成觸摸物的定位。圖5(a)、(b)為左右兩個攝像頭采集的圖像，中間區域為虛擬觸摸屏的一維圖像線陣，圖5(c)為顯示屏幕上的圖像，亮點為對應的坐標位置。
同理，可以根據Y方向的位移大小來判斷觸摸物體的上下方向運動。其中，坐標系左上角為(0，0)點。
通過以上類似的方法來定義為雙擊、拖動和多點觸控等動作。
4 實驗結果
本實驗所使用的計算機的主頻為2.0 GHz，內存為1 GB，圖像采集設備為普通的網絡攝像頭，顯示屏幕選用的是47英寸液晶電視機。兩個攝像頭同步地采集序列圖像，分別跟蹤手指運動的軌跡，從而實現手指運動和點擊操作的實時檢測。實驗系統的視覺處理部分速度可以達到15幀/s。實驗中不斷用手指在顯示屏幕上任意位置點擊測試，記錄系統跟蹤獲取的觸摸位置與人工標定真實值之間的對比結果。將整個顯示屏幕分成5個區域，用手指點觸任意位置進行測試，記錄并分析測試結果如表1所示。
實驗結果表明，由于受到圖像采集裝置角度的限制以及大屏幕顯示器的長寬比約束，4個角區域的定位誤差稍比中間區域大，但誤差率最大不超過2個像素，整體來講，對于顯示屏幕系統可以對觸摸物進行魯棒性的跟蹤，完成比較精確的觸摸物定位，迅速響應點擊操作，從而有效地實現了人機交互的功能。并且系統抗干擾能力強，在環境光照發生很大變化時也能很好地運行。
本文介紹了一種新的基于雙目視覺技術的觸摸屏實現方法，通過觸摸物在顯示屏幕上的移動和點擊很好地完成人機交互操作。該方法使用兩個普通攝像頭來實現，攝像頭只要求安裝在顯示屏幕的四周，獲取整個顯示屏幕呈直線就可以，其邏輯坐標完全是通過觸摸物點擊屏幕進行坐標映射后自動完成的。本文有效地避免了手指的互相遮擋等問題，使得實時魯棒的觸摸點跟蹤和動作的判定成為了可能。而且對周圍光照等沒有嚴格的要求，可以應用在多種人機交互、信息展示以及娛樂場所。
目前，本系統實現了觸摸物的定位和點擊功能，今后如何有效地定義右擊、并且區分單擊、雙擊，以及如何有效地對多點觸摸物進行定位和動作上的判定，尤其是多點的識別區分是難點等，還有待進一步深入研究，以構建更加強大、更人性化的人機交互系統。
參考文獻
[1] 侯義斌，陳晨.視覺交互系統中的目標檢測與運動分析[J].計算機工程與應用，2004，40(27).
[2] PAVLOVIC V I， SHAMA R， HUANG T S. Visual interpretation of hand gestures for human computer interaction： a review [J]. IEEE Transaction on Pattern Analysis and Machine Intelligence， 1997. 19(7)： 677-695.
[3] ULHAAS K D， SCHMALSTIEG D. Finger tracking for interaction in augmented environments[C]. Proceeding of the 2nd ACM/IEEE International Symposium on Augmented Reality， New York， USA， October 29-30， 2001.
[4] HALL D， GAL C L， MARTIN J， et al. Magicboard. a contribution to an intelligent office environment [J]. Robotics and Autonomous Systems， 1999， 35(3-4)： 211-220.
[5] 王德鑫，張茂軍.四路攝像頭分組重建的多觸點定位方法[J].電子與信息學報，2010，32(2).
[6] 周亦鵬.雙目視覺技術在計算機輔助檢測中的應用研究[J].計算機測量與控制，2008.16(5).
[7] 于舒春，朱延河，閆繼宏.基于新型雙目機構的立體視覺系統標定[J].機器人，2007，29(4).
[8] 冼允廷，路小波，施毅.基于投影二分法的車牌字符分割方法[J].交通與計算機，2007，25(5).
[9] 孫艷忠，柴毅，尹宏鵬.基于邊緣檢測與改進最大類間方差法的火箭序列圖像分割算法[J].計算機應用，2009(11).