3 月 19 日消息，IT之家從中國信通院官方微信公眾號獲悉，為摸清大模型的幻覺現(xiàn)狀，推動大模型應用走深走實，中國信息通信研究院人工智能所基于前期的 AI Safety Benchmark 測評工作，發(fā)起大模型幻覺測試。
大模型幻覺（AI Hallucination）是指模型在生成內(nèi)容或回答問題時，產(chǎn)生了看似合理，實則與用戶輸入不一致（忠實性幻覺）或者不符合事實（事實性幻覺）的內(nèi)容。隨著大模型在醫(yī)療、金融等關(guān)鍵領(lǐng)域廣泛應用，大模型幻覺帶來的潛在應用風險日益加劇，正得到業(yè)界的廣泛關(guān)注。
本輪幻覺測試工作將以大語言模型為測試對象，涵蓋了事實性幻覺和忠實性幻覺兩種幻覺類型，具體測評體系如下：
測試數(shù)據(jù)包含 7000 余條中文測試樣本，測試形式包括對應于忠實性幻覺檢測的信息抽取與知識推理兩類題型，以及對應事實性幻覺檢測的事實判別題型。總體涉及人文科學、社會科學、自然科學、應用科學和形式科學五種測試維度。
中國信通院邀請各相關(guān)企業(yè)參與模型測評，共同推動大模型安全應用。
本站內(nèi)容除特別聲明的原創(chuàng)文章之外，轉(zhuǎn)載內(nèi)容只為傳遞更多信息，并不代表本網(wǎng)站贊同其觀點。轉(zhuǎn)載的所有的文章、圖片、音/視頻文件等資料的版權(quán)歸版權(quán)所有權(quán)人所有。本站采用的非本站原創(chuàng)文章及圖片等內(nèi)容無法一一聯(lián)系確認版權(quán)者。如涉及作品內(nèi)容、版權(quán)和其它問題，請及時通過電子郵件或電話通知我們，以便迅速采取適當措施，避免給雙方造成不必要的經(jīng)濟損失。聯(lián)系電話：010-82306118；郵箱：aet@chinaaet.com。