本文闡述了一種人機(jī)協(xié)作智能增強(qiáng)的駕駛員狀態(tài)監(jiān)控系統(tǒng)的實(shí)現(xiàn)方法。該系統(tǒng)可以對(duì)駕駛員的疲勞狀態(tài)（打呵欠、頻繁閉眼等）、不良駕駛行為（長(zhǎng)時(shí)間不目視前方、接打手持電話、抽煙、雙手同時(shí)脫離方向盤、跟車過近等）進(jìn)行實(shí)時(shí)監(jiān)測(cè)與報(bào)警。其特點(diǎn)在于：駕駛員面部視覺感知、駕駛員身體姿態(tài)視覺感知與車輛運(yùn)行狀態(tài)信息、道路信息融合，并利用人機(jī)協(xié)作認(rèn)知的演進(jìn)模型實(shí)現(xiàn)智能增強(qiáng)的駕駛員狀態(tài)預(yù)測(cè)，彌補(bǔ)了僅利用駕駛員面部特征進(jìn)行駕駛員狀態(tài)判別方法的不足。
據(jù)世界衛(wèi)生組織統(tǒng)計(jì)在眾多交通事故中由于駕駛員的疲勞駕駛造成的事故占 20%左右。為了減少由于駕駛員疲勞駕駛帶來的事故隱患，2018 年 8 月，交通運(yùn)輸部辦公廳發(fā)布了《關(guān)于推廣應(yīng)用智能視頻監(jiān)控報(bào)警技術(shù)》的文件。
鼓勵(lì)道路運(yùn)輸車輛安裝智能視頻監(jiān)控報(bào)警裝置，實(shí)現(xiàn)對(duì)駕駛員不安全駕駛行為的自動(dòng)識(shí)別和實(shí)時(shí)報(bào)警。其中就包含了對(duì)駕駛員的疲勞狀態(tài)及不良駕駛行為的監(jiān)控要求。本文要闡述的是一種人機(jī)協(xié)作智能增強(qiáng)的駕駛員狀態(tài)監(jiān)控系統(tǒng)的組成與實(shí)現(xiàn)。
引起疲勞駕駛的原因是多方面的。其中主要有兩個(gè)方面的原因， 一方面是缺乏足夠的睡眠質(zhì)量或者睡眠數(shù)量， 一方面是在平時(shí)睡覺的時(shí)間駕駛車輛。
駕駛員疲勞駕駛的原因還有許多因素如：已經(jīng)清醒的時(shí)間 （ 特別是超過 17 小時(shí) ）、 身體和大腦清醒和困倦時(shí)間的生物鐘、 上一次睡眠的數(shù)量和質(zhì)量、 體力和腦力活動(dòng)的水平， 沒有人能夠免于駕駛疲勞的影響。
01、國內(nèi)駕駛員駕駛檢測(cè)方法
（一） 基于生理信號(hào)的方法
山東大學(xué)的代世勛提出了用組織血氧參數(shù)來檢測(cè)駕駛員疲勞狀態(tài)， 通過實(shí)驗(yàn)分析了駕駛員精神疲勞與腦部組織含氧情況的關(guān)系， 分析了駕駛員腰部肌肉疲勞與肌肉組織含氧情況的關(guān)系， 分析結(jié)果表明可以用腦部組織和肌肉組織的含氧水平來檢測(cè)駕駛員的精神疲勞和肌肉疲勞。
浙江大學(xué)的吳群通過展開實(shí)驗(yàn)， 研究了人在逐漸疲勞時(shí)心電信號(hào)線性特征及非線性特征的規(guī)律， 發(fā)現(xiàn)一些與人體疲勞有關(guān)的心電信號(hào)特征， 以此為基礎(chǔ)建立了疲勞檢測(cè)模型來監(jiān)測(cè)人體的疲勞狀態(tài)。
東北農(nóng)業(yè)大學(xué)的祝榮欣對(duì)駕駛聯(lián)合收割機(jī)過程中駕駛員的肌電信號(hào)和心電信號(hào)進(jìn)行采集研究， 篩選出能夠表征駕駛員疲勞狀態(tài)的最優(yōu)特征參數(shù)， 基于信息融合的方法，構(gòu)建了聯(lián)合收獲機(jī)的疲勞駕駛等級(jí)客觀評(píng)價(jià)模型， 為農(nóng)業(yè)機(jī)械駕駛疲勞的實(shí)時(shí)檢測(cè)技術(shù)的研究提供了有效的參考。
長(zhǎng)春理工大學(xué)的祝亞兵等人通過疲勞駕駛模擬實(shí)驗(yàn)， 結(jié)合對(duì)象辨別實(shí)驗(yàn)和對(duì)受試者面部表情的變化分析， 研究了腦電信號(hào)特征與疲勞駕駛狀態(tài)之間的相關(guān)性， 研究結(jié)果表明疲勞指數(shù)與受試者疲勞程度呈正相關(guān)性， 證明了利用腦電信號(hào)進(jìn)行疲勞檢測(cè)的合理性。
（二） 基于駕駛員行為的方法
吉林大學(xué)的鄒聽彤等人通過人臉分類器從視頻中提取人臉區(qū)域， 并根據(jù)人臉器官的分布規(guī)則來檢測(cè)嘴巴和眼睛區(qū)域 ; 采用灰度直方圖統(tǒng)計(jì)特征值的方法判斷眼睛區(qū)域狀態(tài)， 采用似圓度判斷嘴巴打哈欠的情況；
利用 PERCLOS（ 單位時(shí)間內(nèi)眼睛閉合時(shí)間所占比例 ） 值識(shí)別眼睛的疲勞狀態(tài)， 利用打哈欠的頻率識(shí)別嘴巴的疲勞狀態(tài)， 用此種方法檢測(cè)駕駛員的疲勞狀態(tài)并進(jìn)行預(yù)警。
重慶大學(xué)的吳小燕采用數(shù)字圖像處理技術(shù)， 利用對(duì)駕駛員眼睛睜閉的實(shí)時(shí)監(jiān)測(cè)來檢測(cè)駕駛員的精神狀態(tài)， 并以 FPGA（Field-Programmable Gate Array） 集成設(shè)計(jì)相應(yīng)的控制與處理模塊， 開發(fā)出一套可以實(shí)時(shí)檢測(cè)駕駛員疲勞狀態(tài)的系統(tǒng)并進(jìn)行實(shí)驗(yàn)驗(yàn)證了系統(tǒng)的可靠性。
江蘇大學(xué)的賈海江等人以方向盤轉(zhuǎn)角、單位時(shí)間內(nèi)眼睛閉合時(shí)間所占比例、 眨眼頻率和眨眼深度為特征參數(shù)， 建立支持向量機(jī)的疲勞駕駛檢測(cè)模型， 并確定了各個(gè)特征參數(shù)的最優(yōu)時(shí)間窗， 提高了疲勞駕駛模型的檢測(cè)效果。
長(zhǎng)春理工大學(xué)的毛須偉等人利用車載 CCD 攝像機(jī)實(shí)時(shí)獲取駕駛員的面部圖像，并采用直方圖均衡化的方法增強(qiáng)圖像的對(duì)比度 ; 通過閡值分割技術(shù)和形態(tài)學(xué)運(yùn)算方法提取眼睛區(qū)域， 根據(jù)眼睛寬度和高度的比例判斷眼睛的閉合程度 ; 根據(jù)眨眼頻率和 PERCLOS-P80 原理判別駕駛員的疲勞狀態(tài)，實(shí)驗(yàn)結(jié)果證明該方法具有很高的實(shí)時(shí)性。
（三） 基于車輛信息的方法
江蘇大學(xué)的張明明通過實(shí)驗(yàn)同步采集正常駕駛和疲勞駕駛時(shí)的方向盤握力信號(hào)和腦電信號(hào)， 利用 BP 神經(jīng)網(wǎng)絡(luò)方法建立基于方向盤握力信號(hào)的疲勞特征參數(shù)與基于腦電信號(hào)的疲勞程度值之間的關(guān)系， 以方向盤握力信號(hào)的特征參數(shù)作為輸入層， 以腦電信號(hào)的特征值作為輸出層， 對(duì) BP 神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練并驗(yàn)證了模型的準(zhǔn)確性。
上海交通大學(xué)的李偉等人通過駕駛模擬器進(jìn)行實(shí)驗(yàn)， 采集 10 名駕駛員在正常駕駛和疲勞駕駛時(shí)的方向盤轉(zhuǎn)角信息和道路偏移信息， 并對(duì)數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析， 把離散化和歸一化后的數(shù)據(jù)作為神經(jīng)網(wǎng)絡(luò)模型的輸入，對(duì)模型進(jìn)行訓(xùn)練， 直至誤差滿足要求， 結(jié)果表明該方法檢測(cè)駕駛員疲勞狀態(tài)具有較高的準(zhǔn)確率和較強(qiáng)的實(shí)用性。
江蘇大學(xué)的劉軍等人提出了一種利用方向盤轉(zhuǎn)角檢測(cè)駕駛員疲勞狀態(tài)的方法， 該方法使用 MLX90316 角度傳感器采集方向盤轉(zhuǎn)角數(shù)據(jù)， 然后計(jì)算方向盤轉(zhuǎn)角的標(biāo)準(zhǔn)差和靜止百分比， 根據(jù)方向盤轉(zhuǎn)角標(biāo)準(zhǔn)差和靜止百分比建立駕駛員狀態(tài)識(shí)別模型監(jiān)測(cè)疲勞駕駛， 車試驗(yàn)表明該方法可以有效地識(shí)別駕駛員的狀態(tài)。
廣東安行智能陣技有限公司自主研發(fā)的專利產(chǎn)品疲勞駕駛預(yù)警系統(tǒng) MR688 運(yùn)用汽車級(jí)圖像傳感器捕捉人臉的紅外線圖像， 運(yùn)用獨(dú)特的瞳孔識(shí)別檢測(cè)技術(shù)， 通過分析瞳孔的變化特征。
通過奔騰 2 高速數(shù)字信號(hào)處理器來分析駕駛員的狀態(tài)， 當(dāng)檢測(cè)到司機(jī)疲勞駕駛時(shí)， 系統(tǒng)會(huì)發(fā)出報(bào)警聲音。該系統(tǒng)采用先進(jìn)的非接觸模式和尖端算法， 使系統(tǒng)能夠檢測(cè)出駕駛員的疲勞狀態(tài)， 并發(fā)出報(bào)警提醒駕駛員， 保證駕駛員的生命和財(cái)產(chǎn)安全。
02、人機(jī)協(xié)作智能增強(qiáng)駕駛員狀態(tài)監(jiān)控系統(tǒng)的組成與實(shí)現(xiàn)
人機(jī)協(xié)作智能增強(qiáng)駕駛員狀態(tài)監(jiān)控系統(tǒng)是一個(gè)將人的作用或人的認(rèn)知模型引入的人工智能系統(tǒng)，具備混合智能增強(qiáng)范式。由信息感知、融合預(yù)測(cè)、協(xié)作增強(qiáng)、反饋預(yù)警等子系統(tǒng)組成。
2.1 信息感知子系統(tǒng)
信息感知子系統(tǒng)由三個(gè)視覺感知攝像頭、一個(gè)車輛 CAN 總線采集模塊組成：
①一個(gè)位于駕駛員前方儀表臺(tái)上的朝向駕駛員的 940 納米紅外攝像頭（適用于各種光照條件，可大幅降低強(qiáng)光及弱光環(huán)境對(duì)攝像畫面成像質(zhì)量的影響）。
用于采集駕駛員面部特征及上半身部分視覺圖像信息，通過深度神經(jīng)網(wǎng)絡(luò)模型推理圖像中存在打呵欠、閉眼、接打手持電話、抽煙、不系安全帶、長(zhǎng)時(shí)間不目視前方等駕駛員疲勞以及不良駕駛行為畫面的置信度；
②一個(gè)位于駕駛員上方朝向駕駛員的廣角短焦攝像頭，用于采集駕駛員姿態(tài)與動(dòng)作和方向盤轉(zhuǎn)動(dòng)信息，通過深度神經(jīng)網(wǎng)絡(luò)模型結(jié)合傳統(tǒng)計(jì)算機(jī)視覺算法推理畫面中存在駕駛員異常坐姿、較長(zhǎng)時(shí)間不轉(zhuǎn)動(dòng)方向盤、異常速度轉(zhuǎn)動(dòng)方向盤、駕駛員雙手脫離方向盤等疲勞和不良駕駛行為現(xiàn)象的置信度；
③一個(gè)貼于擋風(fēng)玻璃內(nèi)側(cè)中央，朝向道路方向天際線的攝像頭，用于采集前方車輛、行人、車道線等目標(biāo)信息，通過深度神經(jīng)網(wǎng)絡(luò)模型結(jié)合傳統(tǒng)計(jì)算機(jī)視覺算法檢測(cè)前方車輛、行人、車道線等目標(biāo)，并計(jì)算本車與前方的車輛、行人的距離以及本車與兩側(cè)車道線的距離；
④一個(gè)車輛 CAN 總線信息采集模塊，通過車輛自身的 CAN 總線采集車輛的車速、轉(zhuǎn)速、油門開度、剎車狀態(tài)、橫擺角速度等信息，用于輔助判斷駕駛員是否處于正常駕駛狀態(tài)。
2.2 融合預(yù)測(cè)子系統(tǒng)
融合預(yù)測(cè)子系統(tǒng)，將來自信息感知子系統(tǒng)的多種感知信息進(jìn)行融合，而后對(duì)駕駛員是否存在疲勞駕駛行為或者不良駕駛行為進(jìn)行預(yù)測(cè)。
如預(yù)測(cè)結(jié)果置信度低于指定的閾值，則將通過信息感知子系統(tǒng)采集到的當(dāng)前時(shí)間點(diǎn)前的指定時(shí)間段內(nèi)的視頻及車輛總線數(shù)據(jù)和預(yù)測(cè)結(jié)果一并提交到協(xié)作增強(qiáng)子系統(tǒng)，并由協(xié)作增強(qiáng)子系統(tǒng)作進(jìn)一步處理。
融合預(yù)測(cè)的主要步驟為：
①以 100 毫秒為單位時(shí)間對(duì)各感知信息進(jìn)行配準(zhǔn)后組成特征向量；②以 1000 毫秒為周期，100 毫秒為間隔進(jìn)行滑窗操作將采集到的 5 組特征向量組成特征矩陣；③將特征矩陣連續(xù)的送入基于 LSTM（Long short-term memory）結(jié)合 CNN 構(gòu)建的神經(jīng)網(wǎng)絡(luò)得到切片預(yù)測(cè)結(jié)果向量；
④將 1000 毫秒內(nèi)的 10 個(gè)切片預(yù)測(cè)結(jié)果向量組成預(yù)測(cè)結(jié)果矩陣，利用可演進(jìn)評(píng)分模型對(duì)結(jié)果矩陣進(jìn)行評(píng)分得到最終預(yù)測(cè)結(jié)果向量及其置信度；⑤如置信度小于指定閾值則將預(yù)測(cè)結(jié)果及相關(guān)感知信息提交至協(xié)作增強(qiáng)子系統(tǒng)進(jìn)一步處理，如置信度大于指定閾值則將預(yù)測(cè)結(jié)果提交至反饋預(yù)警子系統(tǒng)做進(jìn)一步處理。
2.3 協(xié)作增強(qiáng)子系統(tǒng)
協(xié)作增強(qiáng)子系統(tǒng)將人的作用引入到對(duì)駕駛員疲勞及駕駛員不良駕駛行為的認(rèn)知模型，形成人機(jī)協(xié)作智能增強(qiáng)的形態(tài)。將融合預(yù)測(cè)子系統(tǒng)預(yù)測(cè)結(jié)果中置信度低于閾值的場(chǎng)景通過視覺方式還原現(xiàn)場(chǎng)，由人工來判斷駕駛員是否存在疲勞或者不良駕駛行為的情況。
并將人工判斷的依據(jù)及判斷過程按照預(yù)先設(shè)計(jì)的演進(jìn)模型進(jìn)行記錄并轉(zhuǎn)換成用于感知和預(yù)測(cè)模型訓(xùn)練的素材自動(dòng)送入訓(xùn)練素材庫。當(dāng)新入庫素材達(dá)到指定閾值時(shí)，啟動(dòng)新的感知和預(yù)測(cè)模型訓(xùn)練，促使模型在人的協(xié)助下不斷的演進(jìn)，提高感知和預(yù)測(cè)模型對(duì)駕駛員疲勞和是否存在不良駕駛行為判斷的準(zhǔn)確率。
2.4 反饋預(yù)警子系統(tǒng)
反饋預(yù)警子系統(tǒng)由聲光報(bào)警模塊、報(bào)警事件記錄模塊組成。接收來自融合預(yù)測(cè)子系統(tǒng)的報(bào)警信息通過聲光提醒的方式按照不同的報(bào)警級(jí)別進(jìn)行不同的聲光提醒，同時(shí)將報(bào)警事件在本地記錄并通過無線網(wǎng)絡(luò)傳輸?shù)皆贫朔?wù)平臺(tái)。
03、人機(jī)協(xié)作智能增強(qiáng)駕駛員狀態(tài)監(jiān)控系統(tǒng)的優(yōu)點(diǎn)
（1）將人的作用引入到系統(tǒng)中對(duì)駕駛員疲勞和不良駕駛行為進(jìn)行判斷，形成了人機(jī)協(xié)作認(rèn)知的混合智能增強(qiáng)范式。當(dāng)智能終端的輸出置信度較低時(shí)，由人介入主動(dòng)給出合理的判斷與依據(jù)，構(gòu)成系統(tǒng)智能水平提升的反饋回路；
（2）在傳統(tǒng)的僅僅利用駕駛員面部特征進(jìn)行駕駛員狀態(tài)判別方法的基礎(chǔ)上添加了對(duì)行車過程中是否系了安全帶、行車過程中是否雙手脫離方向盤的檢測(cè)，并利用視覺檢測(cè)方向盤轉(zhuǎn)動(dòng)幅度的方法判斷駕駛員是否存在長(zhǎng)時(shí)間不對(duì)方向盤進(jìn)行轉(zhuǎn)動(dòng)（含微調(diào)）的行為，以及駕駛員是否存在對(duì)行車道路上出現(xiàn)的狀況（如：跟車過近、偏離車道）反應(yīng)遲緩或者異于往常的問題。
結(jié)束語
隨著駕駛員狀態(tài)監(jiān)控系統(tǒng)的普及與不斷演進(jìn)，以及監(jiān)管手段的不斷完善，駕駛員的疲勞駕駛行為及不良駕駛行為將逐步減少，因駕駛員疲勞駕駛及不良駕駛行為所引發(fā)的交通事故數(shù)量也將逐步降低。
由于人機(jī)協(xié)作智能增強(qiáng)駕駛員狀態(tài)監(jiān)控系統(tǒng)的上文所述優(yōu)點(diǎn)，其將對(duì)減少駕駛員疲勞駕駛及不良駕駛行為引發(fā)的事故，起到更好的抑制作用，更利于營(yíng)造和諧、安全的交通運(yùn)輸環(huán)境，構(gòu)建和諧社會(huì)。