摘 要： 結合SoPC技術裁剪靈活的特點和嵌入式Linux操作系統(tǒng)高性能多任務的特性，設計了基于Linux和輕量級圖形庫FTK的虛擬試妝系統(tǒng)。以帶MMU的Nios II處理器和Linux操作系統(tǒng)為基礎，采用自行設計的模塊實現(xiàn)影像采集和存儲，通過在觸摸屏上移植輕量級圖形庫FTK實現(xiàn)交互界面開發(fā)。最終實現(xiàn)了具有商品瀏覽、模擬化妝、真人上妝等功能的虛擬試妝系統(tǒng)。
關鍵詞： Linux；FTK；自定義控件；虛擬試妝
隨著社會的進步，人們對自身形象愈加重視，化妝成為女性一門必修課。如何選擇合適的化妝品對于不少女性來說是一項難題。近幾年針對該問題提出了多種虛擬試妝解決方案。包括通過瀏覽器進行本地與遠程服務器交互方案及使用Visual C++開發(fā)上位機軟件[1]等。
以Altera公司的SoPC技術和Linux操作系統(tǒng)為基礎，設計了一款嵌入式虛擬試妝系統(tǒng)。該系統(tǒng)在SD卡中存儲信息，通過攝像頭采集用戶面部圖像，用戶可通過觸摸屏瀏覽、選擇商品對影像進行上妝，并查看試妝效果，最終達到選購化妝品的目的。系統(tǒng)具有體積小巧、方便易用等特點，適合于各種商場的化妝品柜臺。
1 系統(tǒng)總體結構設計
系統(tǒng)以DE2-70為核心板，外接PS2鍵盤錄入信息，通過擴展口分別接入LTM觸摸屏和D5M 500萬像素攝像頭。為使用Linux操作系統(tǒng)，構建了基于帶MMU的Nios II處理器的SoPC。通過SDRAM運行內核和RAM文件系統(tǒng)，使用SSRAM作為顯示緩存，將硬件編程代碼燒入EPCS，而將壓縮的內核、文件系統(tǒng)與引導代碼一起燒入Flash。系統(tǒng)采用Altera大學計劃IP中的PS2 Controller和Video IPs分別管理PS2接口和觸摸屏的顯示部分，自行編寫硬件模塊實現(xiàn)觸摸屏的配置、攝像頭采集和SSRAM多路復用。此外，系統(tǒng)還使用SPI模式管理SD/MMC卡以及第三方IP管理網絡物理芯片。系統(tǒng)結構框圖如圖1所示。
2 系統(tǒng)硬件設計
2.1 運行Linux的最小系統(tǒng)搭建
Linux操作系統(tǒng)對SoPC系統(tǒng)的構建有特殊要求，包括帶MMU處理器設置、全功能定時器啟用、通信終端設定等。表1總結了基于Linux系統(tǒng)所需要添加的SoPC組件以及關鍵設置[2]。
2.2 影像采集和存儲方案設計
圖2所示為本系統(tǒng)使用的影像采集和存儲方案。在SoPC系統(tǒng)外，通過Cam_CFG_CAP模塊配置和采集攝像頭數據，經由SSRAM_WRITE模塊合成指定格式數據并生成SSRAM寫時序送入SSRAM_2PORT進行仲裁；SSRAM_2PORT既接收SSRAM_WRITE的數據寫入SSRAM的指定區(qū)域，又允許SSRAM Controller訪問SSRAM獲取相應數據。
(1)SSRAM_WRITE
該模塊分別提取Cam_CFG_CAP傳入RGB分量的高5、6、5 bit數據，拼接成16 bit數據，讀入兩個像素合成32 bit，同時生成對應的21 bit SSRAM地址，將其傳遞給SSRAM_2PORT。
(2)SSRAM_2PORT
該模塊對來自SoPC系統(tǒng)的SSRAM控制器和SSRAM_WRITE的讀寫請求做出仲裁。在CPU讀請求有效期間，SSRAM_2PORT模塊讀取SSRAM中的數據發(fā)送給Avalon總線；超出讀請求有效期則接收SSRAM_WRITE模塊圖像數據寫入SSRAM。在該模塊中添加兩個DCFIFO分別作為實時圖像數據及其對應地址的緩沖空間，實現(xiàn)不同時鐘域的數據同步。
3 系統(tǒng)軟件設計
3.1 開發(fā)包修改及內核配置
系統(tǒng)采用NiosWiki社區(qū)發(fā)布的nios2-linux-20090929.tar內核開發(fā)包作為軟件開發(fā)基礎。SoPC系統(tǒng)構建好后，通過“sopc-create-header-files --single custom_fpga.h”生成自定義硬件對應的C語言頭文件，將該文件拷貝到“nios-linux/linux-2.6/arch/nios/include/asm/”路徑中。開發(fā)包通過custom_fpga.h和nios.h兩個文件中的宏定義管理SoPC組件與Linux內核驅動代碼對設備的映射，同時通過config.c文件內置了大量設備的驅動支持，由內核配置生成的config.h文件和nios.h以及custom_fpga.h共同控制。圖3所示為這三個文件之間的關系。
默認的內核開發(fā)包并不能直接使用，需針對本系統(tǒng)進行移植修改，主要內容如下：
(1)custom_fpga.h中的串口宏定義和config.c中使用的宏定義不同，將config.c中關于串口0的宏定義UART0_*改為UART_0_*。
(2)/dev/mmcblk* 系列設備的主設備號與注冊時不一致，導致掛載操作失敗，解決辦法是將"nios2-linuxuClinux-dist/vendor/Altera/nios2/device-table.txt"中關于mmcblk*的主設備號修改為179。
圖4所示為本系統(tǒng)進行的內核配置。
在所有配置中，需要特別注意以下幾點：
(1)內核配置菜單中，需將默認的“Nios II Configuration--->Nios II FPGA Configuration（MMU DEFAULT）”修改為“Nios II FPGA Configuration（CUSTOM_FPGA）”。
(2)為防止內核解壓縮內容覆蓋內核壓縮文件，設置“Nios II Configuration--->Link address offset for booting”為0x00F00000。
3.2 應用程序開發(fā)
3.2.1 圖形庫移植
FTK是Funny Tool Kit的縮寫，是一個專門為嵌入式系統(tǒng)開發(fā)的圖形庫，其核心代碼只有幾百KB，在傳統(tǒng)控件基礎上可開發(fā)自定義控件，具有主題設置功能[3]。FTK支持Linux系統(tǒng)，因此在發(fā)行版Linux操作系統(tǒng)上安裝FTK函數庫只需下載相應代碼，編譯安裝即可。而Nios II平臺移植FTK需解決以下幾個問題：
(1)Nios II平臺下png和jpeg編解碼函數庫無法使用，同時FTK的bmp解碼函數采用定義整形指針的方式，如“(*(unsigned int*)0x01000000)”對內存進行訪問會觸發(fā)異常中斷。解決方法為移除FTK對png和jpeg格式的支持并修改ftk_image_bmp_decoder.c代碼，將4字節(jié)指針訪問修改為4個單字節(jié)指針訪問。
(2)Nios II平臺通過觸摸屏設備進行人機交互。解決辦法：內核開發(fā)包中開啟tslib函數庫而FTK源代碼進行configure配置時添加“--enable-tslib”參數。
3.2.2 交互界面設計
虛擬試妝系統(tǒng)包含唇彩試妝和自由試妝兩大功能。在唇彩試妝功能中，用戶首先要選擇進行試妝所需的唇部影像，然后用戶需手動確定唇部區(qū)域，接著進入商品挑選環(huán)節(jié)。自由試妝同樣也要經歷以上步驟。圖5所示為試妝軟件功能界面劃分的思路及程序流程圖。
FTK界面開發(fā)包含以下幾部分工作：
(1)調用ftk_init進行初始化。調用ftk_app_window_create函數創(chuàng)建窗口，設置控件的大小及位置；
(2)使用類似ftk_XXX_set_clicked_listener函數關聯(lián)控件和響應函數。試妝系統(tǒng)每個功能下均有多個界面通過按鈕進入，因此在響應函數中需通過調用ftk_app_window_create或ftk_dialog_create創(chuàng)建新的界面；
(3)設計自定義控件，包括用戶瀏覽圖片控件、描唇控件等。
FTK應用程序要在系統(tǒng)硬件平臺上運行，RAM文件系統(tǒng)中至少需要具備四部分內容：FTK動態(tài)函數庫、tslib函數庫、FTK配置文件(字體、主題、輸入法)以及應用程序。動態(tài)函數庫在編譯后會出現(xiàn)在RAM文件系統(tǒng)的lib目錄中，而FTK配置文件需通過修改rc腳本使Linux內核初始化完畢后從SD卡中拷貝到內存中。圖6總結了FTK應用程序在Nios II平臺上運行必備條件及設置方法。
詳細介紹了本系統(tǒng)的硬件架構和Linux開發(fā)方法，側重闡述了Linux系統(tǒng)運行的最小SoPC系統(tǒng)搭建，利用Altera大學計劃IP構建觸摸屏顯示子系統(tǒng)、攝像頭影像采集和存儲模塊的實現(xiàn)以及Linux內核配置和應用程序開發(fā)的重要細節(jié)。采用移植的FTK圖形庫完成虛擬試妝軟件編寫。實踐表明，該系統(tǒng)運行穩(wěn)定流暢，效果良好。
參考文獻
[1] 祝秀萍，劉文峰，張海峰．人臉虛擬化妝系統(tǒng)的研究[J]．計算機與信息技術，2008(8)：38－42．
[2] Kyledunn．Creating a Nios II design with an MMU[EB/OL]．http://www.alterawiki.com/wiki/Creating_a_Nios_II_Design_with_an_MMU，2011．
[3] 李先靜．FTK開發(fā)者郵件列表[EB/OL]．https://groups.google.com/group/funnytoolkit，2011．