0 引言

    根據第六次全國人口普查數據顯示，全中國聽力殘疾人數為2 054萬人，言語殘疾人數達130萬人^[1]，他們無法像正常人一樣交流溝通，造成了工作、學習、娛樂、就醫、維權等不便。他們只能通過手語相互交流，而言語正常的人中只有很少一部分習得手語，聾啞人與普通人之間的交流變得更加困難。因此迫切需要一套智能翻譯設備來幫助聾啞人與普通人進行正常的溝通和交流。

    2013年微軟亞洲研究院和中科院計算所合作已經開發出了基于Kinect手語翻譯系統，功能強大而且系統穩定。但該系統具有設備昂貴、檢測范圍固定、反向翻譯需要借助于顯示屏、與實際空間有隔閡等缺點，現在并沒有普及。機器人是中國工業4.0發展的一個重要領域，未來科技的進步必將使得機器人從電腦屏幕的虛擬空間走進到現實的生活空間，將數據手套和智能手語機器人相結合，使普通群眾能夠享受智能化生活帶來的便捷，符合未來發展的潮流。

1 總體結構與工作原理

    該雙向手語翻譯系統以STM32F103ZET6微處理器為主控制器，采用模塊化設計思想，集成語音識別、動作捕捉、動作翻譯、LED顯示、藍牙通信等功能，能夠實現語音轉手勢和手勢轉語音雙向翻譯。語音轉手勢部分通過語音識別系統識別非特定人聲，并將數據處理反饋給主控制器，然后匹配動作庫，獲取動作指令，完成指定的手語動作。手勢轉語音部分通過加速傳感器和彎曲傳感器捕獲手勢動作參數，通過比對動作庫的值得出手勢。此外，系統具有LED顯示和語音合成功能，方便用戶與機器人的交互。系統總體結構如圖1所示。

2 系統設計

2.1 硬件電路設計

2.1.1 語音識別模塊

    語音識別模塊硬件電路包括單片機控制部分、語音識別部分和EEROM。其中單片機控制部分選用的是STM32F103ZET6芯片，該芯片為Cortex-M3內核，最高工作頻率72 MHz，1.25DMIPS/MHz可實現單周期乘法和硬件除法，工作電壓為2 V～3.6 V，同語音識別模塊兼容。語音識別部分選用 LD3320 芯片作為識別芯片^[2]，該芯片內部集成了語音識別處理器和一些外部電路，包括AD/DA轉換器、麥克風接口、聲音輸出接口等，不需要外接其他的輔助芯片如Flash、RAM等，直接集成在現有的產品中即可以實現語音識別功能，而且識別的關鍵詞語列表是可以任意動態編輯的。語音識別模塊總體結構圖如圖2所示，其中LD3320芯片內部的語音識別原理框圖為虛線框內的部分^[3]，供電部分采用ASM117(3.3 V，1 A)穩壓器。

2.1.2 LED顯示模塊

    LED顯示模塊采用64×32矩陣共陰極點陣屏，由高亮LED燈、74HC595芯片和UN2003構成。74HC595芯片具有8位移位寄存器和一個存儲器，具有速度快、功耗低的特點。74HC595作為LED矩陣的驅動器^[4]，通過串行方式進行控制，具有電路簡單、控制方便等優點。電源部分采用LM2596穩壓器，最大輸出電流可達3 A。LED顯示模塊原理結構圖如圖3所示。

2.1.3 語音合成模塊

    語音合成部分選用SYN6288中文語音合成芯片^[5]，通過異步串口(Universal Asynchronous Receiver Transmitter，UART)直接同主控制器通信。SYN6288是一款性價比高、效果自然的中高端語音合成芯片。該芯片通過異步串口通信方式接收待合成的文本數據，實現文本到語音的轉換。SYN6288芯片采用SSOP28L貼片封裝，硬件接口簡單、低功耗、音色清涼圓潤，在識別文本、數字、字符串方面更智能、更準確，語音合成自然度更好，可懂度更高。

2.1.4 機械臂控制系統

    機械臂控制系統由32自由度機械臂、PCA9685芯片、LM2596芯片等構成。其中32自由度機械臂是模仿人手臂自主建模設計，并由3D打印機打印而成，關節處裝有大扭矩的雙軸舵機，能很好地模仿人體的手臂動作，通過控制舵機來實現關節精確移動，結構圖見圖4(a)。舵機控制器采用兩塊PCA9685芯片級聯的方式，可同時控制32路舵機，電路原理圖見圖4(b)。PCA9685是一款I2C總線接口的16路PWM控制器，每路均可獨立輸出有12 bit分辨率（4096級）固定頻率PWM。該PWM控制器運行在40 Hz～1 000 Hz范圍的頻率下，占空比在0%～100%范圍內可調。供電部分采用LM2596(5 V，3 A)作為穩壓芯片，并聯一個1 000 μF大容量電解電容，提高電源的穩定性。

    舵機控制系統^[6]實現對32個舵機的精確控制，通過特定算法實現了僅需要輸入目標角度，關節便可勻速到達指定位置的目的。由于舵機較多，大大增加了控制的復雜性。程序控制將32個舵機分成了3組：左手(11個)、右手(11個)、左右胳膊(10個)，并采取分組控制的方法。

2.1.5 數據手套設計

    數據手套^[7]由微處理器STM32、彎曲傳感器Flex4.5"、OLED顯示屏和姿態傳感器MPU6050^[8]等構成，可以捕捉手指的彎曲程度和手臂的運動狀態，經過濾波處理將計算后得到的值與手語庫的值進行比對，得到對應的手語動作。其中彎曲傳感器采用FLX-03A型Flex4.5"，該傳感器是一個特殊的電阻型傳感器。當傳感器彎曲或形變時阻值會發生改變，傳感器正常狀態時阻值大約是10 k?贅，當傳感器向一個方向彎曲時阻值會增加。通過分壓電路采集AD值可得到對應的電阻值，從而獲得手指的彎曲程度。姿態傳感器MPU6050集成了3軸微電子機械系統(Micro-electromechanical Systems，MEMS)陀螺儀、3軸MEMS加速度計，以及一個可擴展的數字運動處理器DMP（Data-Management Platform），可減少復雜的融合演算數據、感測器同步化、姿勢感應等的負荷。傳感器安裝位置如圖5(a)所示，圖中：1為彎曲傳感器，2為OLED顯示器，3為MPU6050，4為微處理器STM32。圖5(b)為自主設計制作的數據手套外觀圖。

2.1.6 藍牙模塊

    藍牙模塊在該系統中有兩大功能：(1)可以和數據手套通信，將手套捕獲的數據指令傳至手語機器人，控制語音合成模塊發出提示音；(2)可以同上位機通信，方便上位機發送調試指令，尋找動作的關鍵節點。藍牙模塊選用DX-BT05 4.0，該模塊支持UART接口及SPP藍牙串口協議，具有成本低、體積小、功耗低、收發靈敏性高等優點，只需配備少許的外圍元件就能實現其強大功能。

2.2 軟件設計

2.2.1 主系統軟件設計

    主系統軟件部分以STM32為主控制器，通過異步串口通信控制完成語音識別、LED屏顯示、語音合成，并通過異步串口控制舵機驅動模塊完成指定手語動作。主機軟件通過內嵌的FatFS文件管理系統^[9]，完成對SD卡的數據存儲與讀取。

    具體實現過程如圖6所示。系統上電初始化完成后，STM32發送控制指令控制手語機器人播放提示語音并通過LED顯示模塊播放開機動畫，控制舵機驅動模塊恢復至起始動作并等待識別。手語機器人獲得識別的語音信息后對數據包進行解析，獲得指令碼并和動作庫比對獲得指令代碼的指針。然后FatFS文件管理系統讀取函數獲得動作指令代碼，并通過舵機控制器控制手臂關節實現手語翻譯。同時，STM32可控制手語機器人發出提示信息，更好地實現人機交互。

2.2.2 主系統軟件設計

    子系統軟件設計包括語音轉手勢和手勢轉語音兩部分。其中語音轉手勢子系統實現原理如下：語音識別進行系統初始化，讀取位于存儲器中的等待被識別的關鍵詞句，等待語音識別指令。識別到語音信號后首先將非特定語音轉換為文本。然后提取文本中的關鍵詞，經過算法匹配獲得相似度最高的動作，最后將動作指令碼轉換為數據包通過異步串口傳送至主控制器。工作流程如圖7所示。

    手勢轉語音子系統實現原理如下：數據手套通過姿態傳感器捕獲到手臂的動作后，啟動定時器，通過彎曲傳感器獲得手指彎曲程度，并按照固定時間間隔記錄手臂的動作和手指彎曲程度。一旦檢測到動作停頓后，將每一幀的數據同手語庫中的數據比對，尋找相似度最大的動作，然后清零計時器，將數據發送給主系統，OLED模塊顯示捕獲到的動作。如果定時器超時，表示識別錯誤，結束本次識別，等待下一次動作的來臨，工作流程圖如圖7(b)所示。

2.2.3 上位機調試軟件設計

    為了方便動作庫的編錄，開發了一款動作庫上位機調試軟件。該軟件通過VB可視化編程語言編寫，能夠通過異步串口與主機建立連接。通過拖動軟件界面中滑塊改變機器人關節角度值，尋找動作庫中的關鍵節點。同時該軟件可以將關鍵節點的值自動生成控制指令代碼，提高動作庫的編寫效率。

3 實驗結果

    系統上電后，自動啟動初始化進程。完成初始化后等待語音輸入。這里測試了詞組“祝您身體健康”。通過向機器人說“翻譯”，告知機器人進入翻譯狀態，機器人回復“好”，表示已經準備好，向翻譯機器人說出“祝您身體健康”，機器人開始翻譯預先編程好的“祝您身體健康”的手語動作庫，回復“正在為您翻譯”，同時LED顯示屏顯示正在翻譯的動作名稱。具體翻譯過程如圖8所示。

4 結論

    此款智能仿生雙向手語翻譯系統具有操作簡單、詞匯量較大以及雙向轉化的優勢。產品成本低，識別率較高，不受光照等環境的影響，給聾啞人和正常人之間的溝通帶來方便。同時該設備適合用于聾啞人家庭、公共場所以及公益機構進行手語教學，因此具有良好的應用前景。

參考文獻

[1] 中國殘疾人聯合會.2010年末全國殘疾人總數及各類、不同殘疾等級人數[EB/OL].[2012-6-26].http：//www.cdpf.org.cn/sjzx/cjrgk/201206/t20120626_387581.shtml.

[2] 洪家平.LD3320的嵌入式語音識別系統的應用[J].新器件新技術，2012(2)：47-49.

[3] ICRoute.LD332X數據手冊[EB/OL].[2011-10-13].http：//www.icroute.com/web_cn/Download.htm1.

[4] 洪岳煒，王百鳴，謝超英.智能點陣電子顯示屏控制系統設計[J].實驗室研究與探索，2010，29(2)：37-39.

[5] SYN6288--Manual[EB/OL].[2011-9-6].http：//www.tts168.com.cn/bao/SYN6288--Manual.pdf．

[6] 梁鋒，王志良，解侖，等.多舵機控制在類人機器人上的應用[J].微計算機信息，2008，24(1-2)：242-243.

[7] 江立.基于CAS-GLOVE數據手套的手勢識別技術研究[D].北京：北京交通大學，2006.

[8] 曲波，肖圣兵，呂建平.工業常用傳感器選型指南[M].北京：清華大學出版社，2002．

[9] 崔鵬偉，閆學文.基于SD卡的FATFS文件系統的研究與應用[J].嵌入式控制系統，2013，26(11)：141-142.