5 月 26 日消息，微軟近日公布了旗下小語言 AI 模型家族（SLM）最新成員 "Phi-3-vision"，這款模型主打 " 視覺能力 "，能夠理解圖文內容，同時據稱可以在移動平臺上流暢高效運行。
據介紹，Phi-3-vision 是微軟 Phi-3 家族首款多模態(tài)模型，該模型的文字理解能力基于 Phi-3-mini，同時也具備 Phi-3-mini 的輕量特點，能夠在移動平臺 / 嵌入終端中運行；該模型參數量為 42 億，大于 Phi-3-mini（3.8B），但小于 Phi-3-small（7B），上下文長度為 128k token，訓練期間為 2024 年 2 月至 4 月。
Phi-3-vision 模型的最大特色正如其名，主要支持 " 圖文識別能力 "，號稱能夠理解現實世界的圖片含義，還能快速識別提取圖片中的文字。
微軟表示，Phi-3-vision 特別適合辦公場合，開發(fā)人員特別優(yōu)化了該模型在識別圖表和方塊圖 ( Block diagram ) 方面的理解能力，據稱可以利用用戶輸入的信息進行推論，同時還能做出一系列結論，為企業(yè)提供戰(zhàn)略建議，號稱 " 效果比肩大模型 "。
在模型訓練方面，微軟聲稱 Phi-3-vision 是由 " 多種類型圖片及文字數據訓練而成 "，包括一系列 " 經過嚴選的公開內容 "，例如 " 教科書等級 " 教育材料、代碼、圖文標注數據、現實世界知識、圖表圖片、聊天格式等內容，從而確保模型輸入內容的多樣性。為了確保隱私，微軟聲稱他們所使用的訓練數據 " 可追溯 " 不包含任何個人信息。
性能方面，微軟提供了 Phi-3-vision 相較于字節(jié)跳動 Llama3-Llava-Next（8B）、微軟研究院和威斯康星大學、哥倫比亞大學合作的 LlaVA-1.6（7B）、阿里巴巴通義千問 QWEN-VL-Chat 模型等競品模型的比較圖表，其中顯示 Phi-3-vision 模型在多個項目上表現優(yōu)異。
