《電子技術(shù)應(yīng)用》
您所在的位置:首頁(yè) > 嵌入式技術(shù) > 設(shè)計(jì)應(yīng)用 > 基于視覺(jué)目標(biāo)跟蹤的PTZ控制方法
基于視覺(jué)目標(biāo)跟蹤的PTZ控制方法
2017年電子技術(shù)應(yīng)用第1期
潘振福,許 靜,劉 成,朱永利
華北電力大學(xué) 計(jì)算機(jī)系,河北 保定071003
摘要: 針對(duì)目前基于主動(dòng)視覺(jué)的PTZ攝像機(jī)控制跟蹤性能差,無(wú)法連續(xù)、實(shí)時(shí)跟蹤動(dòng)態(tài)目標(biāo),且跟蹤目標(biāo)的準(zhǔn)確度低下等缺陷,提出了一種基于核相關(guān)視覺(jué)目標(biāo)跟蹤算法的云臺(tái)攝像機(jī)控制方法。首先設(shè)計(jì)了云臺(tái)攝像機(jī)系統(tǒng)的整體架構(gòu)。視覺(jué)目標(biāo)跟蹤采用核相關(guān)目標(biāo)跟蹤方法,時(shí)效性很高,跟蹤精確度也位列于目標(biāo)跟蹤領(lǐng)域的高等水平。根據(jù)跟蹤結(jié)果信息,通過(guò)PELCO-D協(xié)議控制PTZ攝像機(jī),始終保持目標(biāo)在視頻畫(huà)面內(nèi)。并用C++實(shí)現(xiàn)了KCF算法控制PTZ攝像機(jī)上位機(jī),實(shí)驗(yàn)驗(yàn)證了該種PTZ控制方法的準(zhǔn)確性、適用性及穩(wěn)定性。
中圖分類(lèi)號(hào): TP391
文獻(xiàn)標(biāo)識(shí)碼: A
DOI:10.16157/j.issn.0258-7998.2017.01.038
中文引用格式: 潘振福,許靜,劉成,等. 基于視覺(jué)目標(biāo)跟蹤的PTZ控制方法[J].電子技術(shù)應(yīng)用,2017,43(1):145-147.
英文引用格式: Pan Zhenfu,Xu Jing,Liu Cheng,et al. The method of controlling PTZ camera based on visual object tracking[J].Application of Electronic Technique,2017,43(1):145-147.
The method of controlling PTZ camera based on visual object tracking
Pan Zhenfu,Xu Jing,Liu Cheng,Zhu Yongli
Department of Computer Science,North China Electric Power University,Baoding 071003,China
Abstract: For that currently the PTZ camera control based on active tracking is performing poor, not able to tack dynamic object continuously and real-timely, and low accuracy of tracking,a method of controlling PTZ camera based on kernelized correlation object tracking is proposed. Firstly, the overall architecture of PTZ camera system is designed. The KCF tracker used is efficient.And it′s tracking accuracy is also ranked in higher level in the field of target tracking.Secondly,to make sure keeping the target in video images,PTZ camera is controlled through the PELCO_D protocol with the information of tracking results. The PC system of controlling PTZ camera is implemented by using Improved KCF algorithm with C++. The accuracy, applicability and stability of this kind of PTZ control method are verified by the experiments.
Key words : object tracking;PTZ camera;correlation filter

0 引言

    PTZ(Pan/Tilt/Zoom)攝像頭是將CCD攝像機(jī)、變焦變倍鏡頭、全景云臺(tái)等部件集成在一個(gè)單元中構(gòu)成的攝像機(jī)系統(tǒng)。傳統(tǒng)的PTZ攝像機(jī)監(jiān)控系統(tǒng)通過(guò)人工操控鍵盤(pán)或者搖桿對(duì)監(jiān)控目標(biāo)進(jìn)行跟蹤,如果目標(biāo)較遠(yuǎn),通過(guò)手動(dòng)控制鏡頭變焦,這種人工操控的方式跟蹤誤差太大,造成系統(tǒng)攝像不穩(wěn)定、不連續(xù)。近年來(lái),基于主動(dòng)視覺(jué)的PTZ攝像機(jī)系統(tǒng)逐漸發(fā)展,陳雙葉等人提出基于Camshift算法和卡爾曼濾波器目標(biāo)跟蹤算法的PTZ攝像機(jī)控制方法[1],簡(jiǎn)單地采用顏色直方圖作為跟蹤匹配特征,容易受到光照變化、運(yùn)動(dòng)模糊遮擋等因素影響而造成跟蹤失敗。WANG S等人提出的高斯混合模型目標(biāo)檢測(cè)定位方式的PTZ控制方法僅僅解決了鏡頭對(duì)焦問(wèn)題[2]。而DONG E等人除了應(yīng)用高斯混合模型目標(biāo)檢測(cè)之外,還融合了Kalman濾波器與Camshift算法對(duì)目標(biāo)進(jìn)行跟蹤,從而控制PTZ攝像機(jī)[3],相比近年來(lái)先進(jìn)的目標(biāo)跟蹤技術(shù),這些跟蹤算法相對(duì)落后,其性能容易受眾多因素影響,包括光照變化、遮擋和背景混雜等。在視覺(jué)目標(biāo)追蹤(The Visual Object Tracking,VOT)2014年挑戰(zhàn)結(jié)果[4]中顯示,基于分類(lèi)相關(guān)濾波器的跟蹤器是目前最優(yōu)秀的目標(biāo)跟蹤算法之一,提供了先進(jìn)的跟蹤性能。HENRIQUES J F等使用了梯度方向直方圖(HOG)特征,提出了核相關(guān)濾波器(Kernelized Correlation Filter,KCF)及雙相關(guān)濾波器(Double Correlation Filter,DCF)跟蹤器[5],運(yùn)算速度能達(dá)到300 b/s以上。

    本文采用KCF目標(biāo)跟蹤方法作為控制算法核心對(duì)運(yùn)動(dòng)目標(biāo)進(jìn)行跟蹤,并采用粒子濾波框架對(duì)目標(biāo)進(jìn)行運(yùn)動(dòng)狀態(tài)預(yù)測(cè),根據(jù)跟蹤結(jié)果使用PID算法對(duì)PTZ攝像機(jī)進(jìn)行協(xié)調(diào)控制。

1 PTZ攝像機(jī)系統(tǒng)架構(gòu)

    本文中的PTZ攝像機(jī)系統(tǒng)由云臺(tái)攝像機(jī)、視頻采集卡以及運(yùn)行PTZ控制系統(tǒng)的上位機(jī)組成,如圖1所示。

jsj4-t1.gif

    由視頻采集卡從攝像頭采集回來(lái)的圖像傳入算法中進(jìn)行跟蹤運(yùn)算,通過(guò)RS232轉(zhuǎn)RS485串口遵循PELCO-D協(xié)議控制PTZ攝像機(jī)轉(zhuǎn)動(dòng),保持跟蹤目標(biāo)在視頻圖像中。PELCO_D協(xié)議定義了水平旋轉(zhuǎn)、上下旋轉(zhuǎn)、變焦變倍等功能。

2 目標(biāo)跟蹤方法

    在KCF跟蹤算法中,以核嶺回歸分類(lèi)器作為核心,用循環(huán)移位方法致使樣本變換,建立循環(huán)矩陣來(lái)訓(xùn)練該分類(lèi)器,然后把目標(biāo)與周?chē)尘皡^(qū)分開(kāi)來(lái),從而達(dá)到對(duì)目標(biāo)快速有效檢測(cè)跟蹤的目的。對(duì)樣本進(jìn)行巧妙地變換使訓(xùn)練數(shù)據(jù)矩陣具有循環(huán)特性,就可以通過(guò)離散傅里葉變換對(duì)角化,便能減少幾個(gè)數(shù)量級(jí)的存儲(chǔ)與計(jì)算,這就是文獻(xiàn)[5]提出的核嶺回歸相關(guān)濾波器(Kernelized Correlation Filter,KCF),具有其他核算法沒(méi)有的線性復(fù)雜度。

2.1 嶺回歸分類(lèi)器

    針對(duì)線性嶺回歸判別函數(shù)f(z)=wTz,訓(xùn)練的目的是利用樣本xi找到一個(gè)權(quán)值wi對(duì)回歸目標(biāo)yi最小平方誤差:

    jsj4-gs1.gif

其中λ是正則化參數(shù),控制過(guò)度擬合。根據(jù)文獻(xiàn)[6]得到最優(yōu)解:

jsj4-gs2-4.gif

    由式(4)可知,需要優(yōu)化的變量是α,而并不是w。

    核嶺回歸問(wèn)題的解由文獻(xiàn)[9]給出:

    jsj4-gs5.gif

2.2 循環(huán)矩陣

    對(duì)樣本x進(jìn)行移位變換,可以獲得循環(huán)矩陣X,即:

    jsj4-gs6.gif

    矩陣X完全由指定的樣本向量x(這里的第一行)循環(huán)移位生成。無(wú)論生成向量x為何值,所有循環(huán)矩陣都能被離散傅里葉變換(DFT)矩陣對(duì)角化[10]。也就是:

jsj4-gs7.gif

2.3 核相關(guān)分類(lèi)器訓(xùn)練

    只要滿足文獻(xiàn)[5]提出的定理1的核函數(shù)的核矩陣K具有循環(huán)結(jié)構(gòu),所以:

jsj4-gs8-11.gif

2.4 目標(biāo)快速檢測(cè)

    為了檢測(cè)出感興趣物體,通常用回歸函數(shù)f(z)去評(píng)估目標(biāo)在多個(gè)圖像中位置信息,從而估計(jì)出目標(biāo)位置。把包含目標(biāo)圖像且比目標(biāo)尺寸大的圖像塊作為搜索窗口,對(duì)此搜索窗口進(jìn)行循環(huán)移位,形成不同的候選圖像塊,然后建模成循環(huán)結(jié)構(gòu)的循環(huán)矩陣。

    假設(shè)核矩陣Kz由匹配模板和搜索窗口樣本核相關(guān)所得。因?yàn)槠ヅ淠0錢(qián)和檢測(cè)樣本Z是基于元素向量x和z移位變換的循環(huán)結(jié)構(gòu)矩陣,相應(yīng)的,Kz的每個(gè)元素是由κ(pi-1z,pj-1x)組成,根據(jù)文獻(xiàn)[5]的定理1可以驗(yàn)證這個(gè)矩陣是一個(gè)循環(huán)核矩陣。與上一節(jié)相似,只需第一行元素來(lái)表示核矩陣:

    jsj4-gs12.gif

其中kXZ是前面定義的x與z的核相關(guān)運(yùn)算。可以把回歸函數(shù)表示為:

    jsj4-gs13.gif

    注意到f(z)是一個(gè)矩陣元素z向量的所有移位變換形式的輸出響應(yīng),為了更有效地計(jì)等式(13),得到對(duì)角化后的等式:

jsj4-gs14-16.gif

3 實(shí)驗(yàn)分析

    在QT5平臺(tái)上完成PTZ攝像頭系統(tǒng)上位機(jī)端的C++實(shí)現(xiàn),運(yùn)用了OPENCV庫(kù)。 

3.1 跟蹤質(zhì)量評(píng)估

    在實(shí)驗(yàn)室環(huán)境下,運(yùn)行結(jié)果如圖2所示,運(yùn)動(dòng)目標(biāo)被完全遮擋的情況下,跟蹤算法仍然很穩(wěn)定。

jsj4-t2.gif

3.2 PTZ控制質(zhì)量實(shí)驗(yàn)

    上位機(jī)通過(guò)RS232轉(zhuǎn)RS485轉(zhuǎn)串口與PTZ攝像頭相連,遵循PELCO_D協(xié)議控制。控制結(jié)果如圖3所示。圖中中間位PTZ攝像頭貼有白色的標(biāo)識(shí),以便明顯看到其轉(zhuǎn)動(dòng),圖中右下角為攝像頭跟蹤的圖像。結(jié)果顯示,其能始終保持跟蹤目標(biāo)在圖像中。

jsj4-t3.gif

4 結(jié)論

    針對(duì)目前現(xiàn)有的主動(dòng)視覺(jué)的PTZ攝像頭控制系統(tǒng)的跟蹤性能較差、導(dǎo)致跟蹤丟失等問(wèn)題,提出了一種基于核相關(guān)視覺(jué)目標(biāo)跟蹤器的PTZ攝像機(jī)控制方法,并在QT平臺(tái)上應(yīng)用OPENCV庫(kù)實(shí)現(xiàn)了PTZ攝像機(jī)控制系統(tǒng)的C++版。實(shí)驗(yàn)結(jié)果驗(yàn)證了本系統(tǒng)的穩(wěn)定性與魯棒性。

參考文獻(xiàn) 

[1] 陳雙葉,王善喜.PTZ攝像機(jī)跟蹤運(yùn)動(dòng)目標(biāo)的智能控制算法的研究[J].計(jì)算機(jī)科學(xué),2015(S2):135-139.

[2] WANG S,TIAN Y,XU Y.Automatic control of PTZ camera based on object detection and scene partition[C].IEEE International Conference on Signal Processing,Communications and Computing.IEEE,2015.

[3] DONG E,YAN S,TONG J,et al.Design and implementation of a moving object tracking system[C].IEEE International Conference on Mechatronics and Automation.IEEE,2015.

[4] KRISTAN M,PFLUGFELDER R,LEONARDIS A,et al.The visual object tracking VOT2014 challenge results[C].Lecture Notes in Computer Science,2014:191-217.

[5] HENRIQUES J F,CASEIRO R,MARTINS P,et al.High-speed tracking with kernelized correlation filters[J].IEEE Transactions on Pattern Analysis & Machine Intelligence,2014,37(3):1-1.

[6] RIFKIN R,YEO G,POGGIO T.Regularized least-squares classification[J].Nato Science Series Sub Series III Computer and Systems Sciences,2003,190(1):93-104.

[7] MULLER K R,MIKA S,TSUDA K.An introduction to kernel-based learning algorithms[J].IEEE Transactions on Neural Networks,2001,12(2):181-201.

[8] SCH?魻LKOPF B,SMOLA A.Learning with kernels:Support vector machines,regularization,optimization,and beyond[M].MIT Press,2002.

[9] RIFKIN R,YEO G,POGGIO T.Regularized least-squares classification[J].Acta Electronica Sinica,2003,190(1):93-104.

[10] GRAY R M.Toeplitz and circulant matrices:a review[M].Now Publishers,2006.



作者信息:

潘振福,許  靜,劉  成,朱永利

(華北電力大學(xué) 計(jì)算機(jī)系,河北 保定071003)

此內(nèi)容為AET網(wǎng)站原創(chuàng),未經(jīng)授權(quán)禁止轉(zhuǎn)載。
主站蜘蛛池模板: 好男人官网资源在线观看| 欧美性巨大欧美| 国产呻吟久久久久久久92| 99久久国产综合精品1尤物| 无遮挡a级毛片免费看| 国产情侣真实露脸在线| √天堂中文www官网| 日韩亚洲欧美综合一区二区三区| 四虎影院永久在线| 浮力影院第一页| 日本爽爽爽爽爽爽在线观看免| 嗯~啊~哦~别~别停~啊老师| 亚洲精品亚洲人成在线播放| 好男人好资源在线观看免费播放高清| 久久精品国产99久久久古代| 经典三级完整版电影在线观看| 天堂在线中文字幕| 亚洲人成在线播放网站岛国| 窝窝午夜看片七次郎青草视频 | 综合图区亚洲欧美另类图片| 国产成人高清精品免费鸭子| 97成人在线视频| 尹人香蕉久久99天天拍久女久| 久久国产欧美日韩精品| 欧美亚洲一区二区三区四| 免费一区区三区四区| 2019av在线视频| 好男人好资源在线影视官网| 久久久久人妻精品一区蜜桃| 欧美一区二区三区综合色视频| 亚洲黄网在线观看| 练瑜伽的时候进入| 国产公开免费人成视频| 中文字幕激情视频| 国内一级一级毛片a免费| yy6080影院| 成年女人毛片免费视频| 久久国产精品免费网站| 欧美一级欧美一级高清| 亚洲毛片免费看| 玩肥熟老妇BBW视频|