10 月 21 日消息，智源研究院今日發(fā)布原生多模態(tài)世界模型 Emu3。該模型只基于下一個 token 預測，無需擴散模型或組合方法，即可完成文本、圖像、視頻三種模態(tài)數(shù)據(jù)的理解和生成。官方宣稱實現(xiàn)圖像、文本、視頻大一統(tǒng)。
在圖像生成任務中，基于人類偏好評測，Emu3 優(yōu)于 SD-1.5 與 SDXL 模型。在視覺語言理解任務中，對于 12 項基準測試的平均得分，Emu3 優(yōu)于 LlaVA-1.6。在視頻生成任務中，對于 VBench 基準測試得分，Emu3 優(yōu)于 OpenSora 1.2。
據(jù)介紹，Emu3 提供了一個強大的視覺 tokenizer，能夠將視頻和圖像轉換為離散 token。這些視覺離散 token 可以與文本 tokenizer 輸出的離散 token 一起送入模型中。與此同時，該模型輸出的離散 token 可以被轉換為文本、圖像和視頻，為 Any-to-Any 的任務提供了更加統(tǒng)一的研究范式。
▲ Emu3 生成的圖像
Emu3 研究結果證明，下一個 token 預測可以作為多模態(tài)模型的一個強大范式，實現(xiàn)超越語言本身的大規(guī)模多模態(tài)學習，并在多模態(tài)任務中實現(xiàn)先進的性能。通過將復雜的多模態(tài)設計收斂到 token 本身，能在大規(guī)模訓練和推理中釋放巨大的潛力。
目前 Emu3 已開源了關鍵技術和模型
本站內容除特別聲明的原創(chuàng)文章之外，轉載內容只為傳遞更多信息，并不代表本網(wǎng)站贊同其觀點。轉載的所有的文章、圖片、音/視頻文件等資料的版權歸版權所有權人所有。本站采用的非本站原創(chuàng)文章及圖片等內容無法一一聯(lián)系確認版權者。如涉及作品內容、版權和其它問題，請及時通過電子郵件或電話通知我們，以便迅速采取適當措施，避免給雙方造成不必要的經(jīng)濟損失。聯(lián)系電話：010-82306118；郵箱：aet@chinaaet.com。