孫瑩瑩1，宋寅卯1，王蓬2

　　（1.鄭州輕工業(yè)學(xué)院 建筑環(huán)境工程學(xué)院，河南 鄭州 450002；2. 鄭州輕工業(yè)學(xué)院 電氣信息工程學(xué)院，河南 鄭州450002）

       摘要：機(jī)器視覺(jué)技術(shù)由于其非破壞性、精度高、速度快等特點(diǎn)，在現(xiàn)在科技發(fā)展中已經(jīng)被廣泛地研究和應(yīng)用，更多地被用到視頻監(jiān)控中。文章對(duì)機(jī)器視覺(jué)人數(shù)識(shí)別近幾年的發(fā)展做了詳細(xì)的論述，主要從個(gè)體識(shí)別法和群體識(shí)別法兩大方面進(jìn)行分析，具體可分為四方面：特征識(shí)別法、形狀識(shí)別法、模型學(xué)習(xí)識(shí)別法和人群密度識(shí)別法。根據(jù)各種不同識(shí)別算法思想的研究，對(duì)當(dāng)前研究方向上亟待解決的問(wèn)題做出了分析，并對(duì)未來(lái)人數(shù)識(shí)別的研究做出展望。

　　關(guān)鍵詞：機(jī)器視覺(jué)；人數(shù)識(shí)別；人群密度；人員跟蹤；人員檢測(cè)

　　中圖分類號(hào)：TP391文獻(xiàn)標(biāo)識(shí)碼：ADOI： 10.19358/j.issn.1674-7720.2017.07.003

　　引用格式：孫瑩瑩，宋寅卯，王蓬.基于機(jī)器視覺(jué)的人數(shù)識(shí)別研究綜述［J］.微型機(jī)與應(yīng)用，2017,36（7）：9-11，18.

0引言

　　機(jī)器視覺(jué)是用計(jì)算機(jī)模擬人的視覺(jué)功能，從客觀事物的圖像中提取信息,進(jìn)行處理并加以理解,最終用于實(shí)際檢測(cè)、測(cè)量和控制［1］。目前，機(jī)器視覺(jué)技術(shù)向著智能化、目的化方向發(fā)展。

　　人數(shù)識(shí)別涉及數(shù)字視頻處理、模式識(shí)別、計(jì)算機(jī)視覺(jué)以及人工智能多個(gè)領(lǐng)域，是一個(gè)跨學(xué)科、跨領(lǐng)域的前沿課題，也是當(dāng)今智能視覺(jué)系統(tǒng)研究中一個(gè)十分活躍的新領(lǐng)域。國(guó)際上的高級(jí)視頻和錄像（Advanced Video and SignalBased Surveillance）論壇每年都會(huì)舉辦PETS的會(huì)議專門針對(duì)于人群行為分析［23］。國(guó)內(nèi)外有不少對(duì)于人數(shù)識(shí)別的解決方案，其中絕大部分是基于機(jī)器視覺(jué)的。基于機(jī)器視覺(jué)的人數(shù)識(shí)別不僅具有很強(qiáng)的科學(xué)研究?jī)r(jià)值，還具有很強(qiáng)的實(shí)用價(jià)值，其成本低，使用周期長(zhǎng)，統(tǒng)計(jì)準(zhǔn)確率高。

　　本文根據(jù)近幾年人數(shù)識(shí)別研究成果，做出總結(jié)，將其分為4種識(shí)別方法，分別為特征識(shí)別、形狀識(shí)別、模型學(xué)習(xí)識(shí)別和人群密度識(shí)別。前三種旨在檢測(cè)和跟蹤個(gè)體，多用于中低人群密度的場(chǎng)合；第4種主要是跳過(guò)單個(gè)行人的檢測(cè)和跟蹤過(guò)程，將人群整體作為研究對(duì)象。

1特征識(shí)別法

　　特征識(shí)別法是指根據(jù)已選取的目標(biāo)特征，在圖像序列中匹配搜索目標(biāo)，從而實(shí)現(xiàn)運(yùn)動(dòng)目標(biāo)的跟蹤識(shí)別。在識(shí)別算法中，選取有效的特征集，會(huì)提高檢測(cè)效率，減少錯(cuò)誤率。

　　顏色特征對(duì)平面旋轉(zhuǎn)、非剛性變形具有很強(qiáng)的魯棒性，同時(shí)能夠容忍部分遮擋。在文獻(xiàn)［4］中，Comaniciu提出了基于顏色直方圖（Color Histogram）非剛性目標(biāo)的跟蹤識(shí)別方法。但是由于顏色特征對(duì)光照變化的敏感性，為了提高識(shí)別效果，可采用多特征結(jié)合［5］的方式。王強(qiáng)［6］等人提出了一種人頭的顏色與形狀特征相結(jié)合的人數(shù)識(shí)別方法，此方法對(duì)圖像進(jìn)行二值化，以降低陰影和光照變化造成的影響；然后根據(jù)形狀特征對(duì)人頭進(jìn)行檢測(cè)與跟蹤，最后對(duì)目標(biāo)的運(yùn)動(dòng)軌跡進(jìn)行跟蹤分析，估計(jì)出當(dāng)前場(chǎng)景中的人數(shù)。在光照變化頻繁的地方也可采用邊緣特征，文獻(xiàn)［7］提出了基于邊緣方向直方圖特征的跟蹤方法，該方法對(duì)光照變化不敏感，并且比單一輪廓邊緣特征具有更豐富的信息。單一的邊緣特征［8-9］往往存在計(jì)算復(fù)雜度高、無(wú)法適應(yīng)目標(biāo)形變的問(wèn)題。而顏色與邊緣特征具有互補(bǔ)特性，將兩種信息融合能夠建立更可靠的目標(biāo)特征模型。光流特征通過(guò)計(jì)算像素點(diǎn)光流的幅值和方向構(gòu)建動(dòng)態(tài)圖像的幾何變化和輻射度變化，Decarlo［10］利用光流特征實(shí)現(xiàn)了對(duì)人臉目標(biāo)的跟蹤。由于光流法運(yùn)算量較大，很難滿足實(shí)時(shí)性要求，并且光流法對(duì)遮擋、光照變化以及運(yùn)動(dòng)噪聲比較敏感，因此光流法的實(shí)際應(yīng)用并不常見(jiàn)。

2形狀識(shí)別法

　　形狀識(shí)別法的思想是建立一個(gè)表示目標(biāo)形狀的模板，然后計(jì)算目標(biāo)模板和候選目標(biāo)形狀的相似度，從而確定當(dāng)前幀運(yùn)動(dòng)目標(biāo)最可能的位置。常用人體的形狀特征作為模板，如人體的軀干特征、人頭輪廓［11］特征。

　　文獻(xiàn)［12］中提到了一種根據(jù)雙橢圓模型檢測(cè)人頭作為人數(shù)統(tǒng)計(jì)依據(jù)的方法，得到運(yùn)動(dòng)目標(biāo)的輪廓特征后檢測(cè)出頭部橢圓，這種方法提高了檢測(cè)精度，減了少誤判，然而如果是畫面比較模糊的情況下，就不能準(zhǔn)確地確定目標(biāo)。為了解決模糊場(chǎng)景下的人員識(shí)別，常慶龍、夏洪山［13］在視頻檢測(cè)過(guò)程中引入了一個(gè)自適應(yīng)的人物檢測(cè)窗口，對(duì)監(jiān)控視頻中的行人進(jìn)行檢測(cè)和計(jì)數(shù)。該算法對(duì)場(chǎng)景圖像質(zhì)量要求低，不需要繁瑣的訓(xùn)練過(guò)程，只需要一定的參數(shù)配置步驟即可實(shí)現(xiàn)感興趣區(qū)域的行人快速檢測(cè)，但此算法仍然有不足之處，即對(duì)于復(fù)雜場(chǎng)合的人群誤檢率較高。而趙軍偉［14］等人在這方面做得較好，用數(shù)學(xué)形態(tài)學(xué)與HSI顏色空間相結(jié)合的方法有效地去除圖像中非人頭區(qū)域的干擾和噪聲，通過(guò)邊緣檢測(cè)得到人頭候選區(qū)域，最后利用人頭輪廓信息進(jìn)行判定識(shí)別目標(biāo)。為了提高視頻監(jiān)控中人數(shù)統(tǒng)計(jì)的實(shí)時(shí)性，文獻(xiàn)［15］中也使用了數(shù)學(xué)形態(tài)學(xué)與顏色空間相結(jié)合的方法，用輪廓的幾何特征檢測(cè)人頭，相比之下，此方法更具體、詳細(xì)，可適用多種不同復(fù)雜的場(chǎng)合，也能保證檢測(cè)的實(shí)時(shí)性，在動(dòng)態(tài)場(chǎng)景下的行人檢測(cè)取得了較好的效果。

3學(xué)習(xí)識(shí)別法

　　模型學(xué)習(xí)識(shí)別法是對(duì)要跟蹤的目標(biāo)特征建立模型并學(xué)習(xí)，進(jìn)而對(duì)學(xué)習(xí)得到的模型用于檢測(cè)，最后統(tǒng)計(jì)出人數(shù)。模型學(xué)習(xí)的算法需要具備快速、連續(xù)的學(xué)習(xí)能力，通過(guò)增量學(xué)習(xí)更新目標(biāo)的特征描述來(lái)處理表征的變化。

　　2009年，賈慧星［16］提出智能監(jiān)控中基于機(jī)器學(xué)習(xí)的自動(dòng)人數(shù)統(tǒng)計(jì)系統(tǒng)，通過(guò)機(jī)器學(xué)習(xí)對(duì)視頻序列中的人肩部位進(jìn)行準(zhǔn)確地檢測(cè)。該方法克服了連通域分析和簡(jiǎn)單模板匹配的不足，魯棒性增強(qiáng)，但是只適用于場(chǎng)景中的初步測(cè)試，而且計(jì)算量較大，效率不高。在此基礎(chǔ)上，劉子源、蔣承志［17］使用人肩部建立Harr特征分類器，過(guò)濾背景，排除干擾，提高了檢測(cè)精度，減少了檢測(cè)時(shí)間。除人肩外，較多算法用人臉作為學(xué)習(xí)模型，江偉堅(jiān)［18］等人提出兩組Harrlike特征擴(kuò)展集（正臉和側(cè)臉），通過(guò)Adaboost算法訓(xùn)練出雙通道級(jí)聯(lián)分類器（用于側(cè)臉和正臉的識(shí)別），此方法使用較少的弱分類器，檢測(cè)效率高，計(jì)算速度快，對(duì)多角度人臉檢測(cè)有較好的魯棒性。以上算法采樣的視覺(jué)角度建立在行人平視圖上，而垂直攝像頭可以降低遮擋程度，文獻(xiàn)［19］中，用俯視的方式采樣，建立基于Adaboost的人頭檢測(cè)分類器，實(shí)現(xiàn)人數(shù)統(tǒng)計(jì)，但是仍然存在誤檢和漏檢的情況。為了對(duì)此進(jìn)行改善，唐春暉［20］提出了一種基于梯度方向直方圖的俯視行人的檢測(cè)方法。它將俯視人頭的梯度方向直方圖作為檢測(cè)目標(biāo)的特征，通過(guò)訓(xùn)練樣本提取的特征向量在支持向量機(jī)(SVM)中訓(xùn)練。此方法對(duì)目標(biāo)尺度變化相對(duì)不敏感且效率更高,處理速度也明顯提升。

4人群密度識(shí)別法

　　人群密度識(shí)別法是將人群作為一個(gè)整體的研究對(duì)象，分析人群的圖像特征，然后建立人群特征與人數(shù)之間的映射關(guān)系從而實(shí)現(xiàn)人群計(jì)數(shù)。其圖像特征又分為基于像素特征和基于紋理特征兩大類。

　　王明吉、肖桂丹［21］等利用運(yùn)動(dòng)目標(biāo)標(biāo)記的方法實(shí)現(xiàn)計(jì)數(shù)，標(biāo)記圖像中的像素，形成標(biāo)簽圖像，根據(jù)標(biāo)簽圖像初步確定目標(biāo)數(shù)量。此方法穩(wěn)定性強(qiáng)、準(zhǔn)確率較高，但由于基于像素特征的識(shí)別法計(jì)算簡(jiǎn)單，因此在高密度場(chǎng)合往往使用基于紋理的分析法。Chan［22］采用混合紋理模型來(lái)提取分割運(yùn)動(dòng)人群，利用訓(xùn)練回歸函數(shù)的方法得出人數(shù)與特征量關(guān)系函數(shù)，進(jìn)而對(duì)檢測(cè)區(qū)域人數(shù)實(shí)現(xiàn)估計(jì)。由于訓(xùn)練集不夠強(qiáng)大，很容易出現(xiàn)誤差，準(zhǔn)確率就不能保證，而且計(jì)算量較大。之后，李虎［23］等人提出一種基于 PCA 和多元統(tǒng)計(jì)回歸的人數(shù)統(tǒng)計(jì)方法，使用 PCA 方法提取信息，得到特征量與行人密度間的函數(shù)關(guān)系后對(duì)高斯回歸模型進(jìn)行修正，以提高回歸模型的精度，統(tǒng)計(jì)出行人密度，有較高的準(zhǔn)確率。紋理分析法中，比較經(jīng)典的方法是使用灰度共生矩陣紋理特征。文獻(xiàn)［24］中采用一種基于線性內(nèi)插透視矯正的SURF算法，對(duì)獲得的前景圖像提取多特征，將傳統(tǒng)的灰度共生矩陣紋理特征與SURF算法特征相結(jié)合，克服遮擋和攝像機(jī)透視畸形的影響，有效地提高了統(tǒng)計(jì)精度，有較強(qiáng)的適應(yīng)性，準(zhǔn)確率也可以得到保證。

5人數(shù)識(shí)別算法難點(diǎn)

　　人數(shù)識(shí)別算法包括人員檢測(cè)算法、人員跟蹤算法和人群密度算法。研究算法一直追求魯棒性好、準(zhǔn)確率高、快速性好的特點(diǎn)。雖然關(guān)于人數(shù)識(shí)別算法的研究已經(jīng)持續(xù)了很多年，研究者們提出了各種各樣的識(shí)別方法，但是還沒(méi)有形成一個(gè)適用于所用應(yīng)用場(chǎng)合的統(tǒng)一理論框架或體系，而且算法在實(shí)際應(yīng)用中遇到的很多問(wèn)題仍然沒(méi)有得到很好的解決，這些問(wèn)題即是難點(diǎn)，又是以后的研究重點(diǎn)，表1是對(duì)各算法中遇到的難點(diǎn)問(wèn)題的總結(jié)。

6展望和結(jié)束語(yǔ)

　　隨著智能視頻跟蹤系統(tǒng)的發(fā)展，對(duì)目標(biāo)跟蹤技術(shù)的要求也成為一個(gè)研究熱點(diǎn)。實(shí)現(xiàn)一個(gè)速度快、精度高、實(shí)時(shí)性好的識(shí)別系統(tǒng)是研究的重要方向之一。但是通常情況下，各特點(diǎn)之間相互矛盾。提高復(fù)雜環(huán)境下的多目標(biāo)識(shí)別亟待解決。針對(duì)目標(biāo)識(shí)別技術(shù)中出現(xiàn)的目標(biāo)遮擋、背景干擾等問(wèn)題，可引入超像素概念［25］，能夠捕獲圖像冗余信息，降低后續(xù)處理任務(wù)復(fù)雜度。不同的機(jī)器學(xué)習(xí)方法對(duì)模型的自適應(yīng)有嚴(yán)重的影響，針對(duì)在識(shí)別工程中出現(xiàn)的運(yùn)動(dòng)和變化不確定性，已有的子空間學(xué)習(xí)、度量空間學(xué)習(xí)、稀疏字典學(xué)習(xí)和深度學(xué)習(xí)都有很好的效果。如何結(jié)合學(xué)習(xí)機(jī)制更好地實(shí)現(xiàn)算法自適應(yīng)性有待深入研究。

　　隨著物聯(lián)網(wǎng)的發(fā)展，智能視頻監(jiān)控系統(tǒng)已成為熱點(diǎn)之一，使人數(shù)識(shí)別算法也成為熱點(diǎn)。本文介紹了基于機(jī)器視覺(jué)的人數(shù)統(tǒng)計(jì)的研究；通過(guò)對(duì)近年來(lái)具有代表性的人數(shù)識(shí)別算法研究分析，總結(jié)出人數(shù)識(shí)別算法主要有基于個(gè)人的識(shí)別和基于群體的識(shí)別；相比傳統(tǒng)的人數(shù)識(shí)別算法，增加了對(duì)高密度人群的詳細(xì)分析。總結(jié)了近年來(lái)人數(shù)識(shí)別算法中亟待解決的問(wèn)題，并對(duì)其提出展望。

　　參考文獻(xiàn)

　　［1］ 章煒.機(jī)器視覺(jué)技術(shù)發(fā)展及其工業(yè)應(yīng)用［J］.紅外,2005,27(2):11-17.

　　［2］ KRAHNSTOEVER N, TU P, SEBASTIAN T, et al. Multiview detection and tracking of travelers and luggage in mass transit environments［C］. In: IEEE International Workshop on Performance Evaluation of Trackling and Surveillance and CVPR, 2006.

　　［3］ KRAHNSTOEVER N, YU T, PATWARDHAN K A, et al. Multicamera person tracking in crowded environments［C］.Twelfth IEEE International Workshop on PERFORMANCE Evaluation of Tracking and Surveillance， 2010:1-7.

　　［4］ COMANICIU D, RAMESH V, MEER P. Kernelbased object rracking［J］. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2003, 25(5):564-575.

　　［5］ 林景亮,唐杰.一種融合膚色和Haar特征的人臉檢測(cè)方法［J］. 微型機(jī)與應(yīng)用,2013, 32(8):35-37.

　　［6］ 王強(qiáng)，馮燕．基于顏色和形狀信息的快速人數(shù)統(tǒng)計(jì)方法［J］．計(jì)算機(jī)測(cè)量與控制，2010(9)：101-105．

　　［7］ SHEN C, HENGEL A V, DICK  A. Probabilistic multiple cue integration for particle filter based tracking［C］. Proceedings of the International Conference on Digital Image Computing: Techniques and Applications, Sydney, 2003, 1: 399-408.

　　［8］ BIRCHFIELD S T, RANGARAJAN S. Spatioframs versus histograms for regionbased tracking［C］.Proceedings of the IEEE Computer Society Conference on Computer Vision and Recognition, San Diego, CA, United States,2005,2:1158-1163.

　　［9］ LI P H, ZHANG T W, PECE A E C. Visual contour tracking based on particle filters［J］. Image and Vision Computing, 2003, 21(1): 111-123.

　　［10］ DE CARLO D, METAXAS D. Optical flow constraints on deformable models with applications to face tracking［J］. International Journal of Computer Vision, 2000, 38(2): 99-127.

　　［11］ 周先春,唐娟, 汪美玲.曲率與小波輪廓增強(qiáng)的人臉識(shí)別算法［J］.電子技術(shù)應(yīng)用, 2015, 41(10):161-164.

　　［12］ 張繼法,梅雪,許松松.一種基于雙橢圓模型的視頻人數(shù)統(tǒng)計(jì)方法［J］.計(jì)算機(jī)科學(xué)，2012,39(26)：499-502．

　　［13］ 常慶龍,夏洪山.基于自適應(yīng)滑動(dòng)窗的模糊場(chǎng)景行人快速檢測(cè)［J］.電視技術(shù)，2012,36(19)：177-182．

　　［14］ 趙軍偉,侯清濤,李金屏，等.基于數(shù)學(xué)形態(tài)學(xué)和 HSI 顏色空間的人頭檢測(cè)［J］.山東大學(xué)學(xué)報(bào)(工學(xué)版)，2013，43(2)：6-10．

　　［15］ 高春霞,董寶田,王愛(ài)麗.基于人頭顏色空間和輪廓信息的行人檢測(cè)方法研究［J］.交通運(yùn)輸系統(tǒng)工程與信息,2015,15(4):70-78.

　　［16］ 賈慧星,章毓晉.智能視頻監(jiān)控中基于機(jī)器學(xué)習(xí)的自動(dòng)人數(shù)統(tǒng)計(jì)［J］.視頻應(yīng)用與工程,2009,34(4):78-81.

　　［17］ 劉子源,蔣承志.基于OpenCV和Haar特征分類器的圖像人數(shù)檢測(cè)［J］.遼寧科技大學(xué)學(xué)報(bào),2011,34(4):384-388.

　　［18］ 江偉堅(jiān),郭躬德,賴智銘.基于新Harrlike特征的Adaboost人臉檢測(cè)算法［J］.山東大學(xué)學(xué)報(bào)（工學(xué)版），2014,44(2):43-48.

　　［19］ 張志勛，張磊，楊凡.一種改進(jìn)的Adaboost人臉檢測(cè)方法［J］.自動(dòng)化與儀器儀表,2013(6):143145.

　　［20］ 唐春暉.一種基于梯度方向直方圖的俯視行人的檢測(cè)方法［J］.模式識(shí)別與人工智能,2015,28(1):1926.

　　［21］ 王明吉，肖桂丹，胡曉曦.一種實(shí)用的多運(yùn)動(dòng)目標(biāo)標(biāo)記與計(jì)數(shù)新方法［J］．計(jì)算機(jī)仿真，2009,26(8):199-203.

　　［22］ CHAN A B, LIANG Z S J, VASCONCELOS N. Privacy preserving crowd monitoring: counting people without people models or tracking［C］. Proceedings of the 2008 IEEE Conference on Computer Vision and Pattern Recoynition (CVPR08). Washington, DC, USA: IEEE Computer Society,2008:1-7.

　　［23］ 李虎,張二虎,段敬紅．基于PCA 和多元統(tǒng)計(jì)回歸的人群人數(shù)統(tǒng)計(jì)方法［J］．計(jì)算機(jī)工程與應(yīng)用，2014,50(11)：206-209．