上個(gè)月，百度曾發(fā)表論文指出，新近研發(fā)的超級(jí)計(jì)算機(jī)Minwa在一項(xiàng)備受關(guān)注的人工智能基準(zhǔn)測(cè)試ImageNet中取得了世界最好成績(jī)，錯(cuò)誤率僅為4.58%，超越了微軟和谷歌。
此前的世界最好紀(jì)錄4.82%由谷歌創(chuàng)造，而微軟在此測(cè)試中也達(dá)到4.94%的不俗成績(jī)，同樣的實(shí)驗(yàn)中，人眼辨識(shí)的錯(cuò)誤率大概為5.1%。
百度在的論文中稱，他們的系統(tǒng)在測(cè)試ImageNet分類數(shù)據(jù)集中的錯(cuò)誤率僅為4.58%（ImageNet ILSVRC計(jì)算機(jī)視覺(jué)挑戰(zhàn)比賽是目前國(guó)際上最大規(guī)模的圖像分類和識(shí)別測(cè)試平臺(tái)）。
據(jù)了解，這個(gè)數(shù)據(jù)集包含約150萬(wàn)張圖像，分為1000個(gè)不同的類別，軟件被要求為10萬(wàn)張前所未見的測(cè)試圖像進(jìn)行分類。
不過(guò)，今日ILSVRC的組織者發(fā)表聲明稱，百度在ILSVRC挑戰(zhàn)賽中被曝光存在違規(guī)行為，百度異構(gòu)計(jì)算團(tuán)隊(duì)已經(jīng)就此事道歉。
ILSVRC組織者在聲明中指出，2014年11月28日至2015年5月13日，百度團(tuán)隊(duì)使用至少30個(gè)帳號(hào)向測(cè)試服務(wù)器進(jìn)行了至少200次提交，遠(yuǎn)超每周只能提交兩次的限制。例如，在從3月15日至3月19日的5天時(shí)間里，提交次數(shù)超過(guò)了40次。
ILSVRC組織者認(rèn)為，百度違反了違測(cè)試服務(wù)器的使用規(guī)定，最終結(jié)果無(wú)法與其他團(tuán)隊(duì)獲得的結(jié)果進(jìn)行對(duì)比。
百度對(duì)此回應(yīng)稱：“我們對(duì)這一錯(cuò)誤表示道歉，并將繼續(xù)評(píng)估結(jié)果。我們已向研究論文《Deep Image: Scaling up Image Recognition》加入了注釋，并將在了解更多情況后提供相關(guān)的更新。我們支持ImageNet挑戰(zhàn)的公平性和透明性，并將致力于科學(xué)發(fā)展的誠(chéng)實(shí)性。”
聲明全文：
ILSVRC社區(qū)成員：
這是繼2015年5月19日公告之后的后續(xù)聲明，其中包括更多細(xì)節(jié)和測(cè)試服務(wù)器的狀態(tài)。
從2014年11月28日至2015年5月13日，百度一個(gè)團(tuán)隊(duì)使用至少30個(gè)帳號(hào)向測(cè)試服務(wù)器進(jìn)行了至少200次提交，遠(yuǎn)超每周只能提交兩次的限制。這其中包括在短時(shí)間內(nèi)極高的用量。例如，在從3月15日至3月19日的5天時(shí)間里，提交次數(shù)超過(guò)了40次。圖A顯示了與百度團(tuán)隊(duì)相關(guān)的ImageNet帳號(hào)的提交次數(shù)。圖B顯示了這些帳號(hào)與所有其他帳號(hào)活躍程度的對(duì)比。
圖A
圖B
這一期間獲得的成果在近期的arXiv論文中進(jìn)行了報(bào)告。由于違反了測(cè)試服務(wù)器的使用規(guī)定，這些結(jié)果可能無(wú)法與其他團(tuán)隊(duì)獲得并報(bào)告的結(jié)果對(duì)比。通過(guò)在測(cè)試服務(wù)器上測(cè)試多種略有不同的解決方案，有可能會(huì)出現(xiàn)以下情況：1)基于測(cè)試結(jié)果，在一系列類似解決方案中選出最優(yōu)方案，從而獲得不大，但可能很重要的優(yōu)勢(shì)；2)直接基于測(cè)試數(shù)據(jù)，而不是訓(xùn)練和驗(yàn)證數(shù)據(jù)，選擇進(jìn)一步的研發(fā)方式。
我們于2015年5月14日注意到了這些違規(guī)，并于2015年5月17日通知了論文作者。2015年5月22日，在進(jìn)行討論，并征求我們研究社區(qū)高級(jí)顧問(wèn)的意見之后，我們通知作者：
1.他們通過(guò)ImageNet測(cè)試服務(wù)器獲得的結(jié)果無(wú)法與他人的結(jié)果直接對(duì)比。
2.對(duì)百度基于這些結(jié)果新提交的任何內(nèi)容，我們持懷疑態(tài)度。這包括關(guān)于ILSVRC挑戰(zhàn)任務(wù)的所有提交內(nèi)容，以及共享數(shù)據(jù)集的一部分。因此，我們要求他們?cè)谖磥?lái)12個(gè)月內(nèi)停止向評(píng)估服務(wù)器和挑戰(zhàn)任務(wù)提交任何內(nèi)容。
我們正在與涉及此次事件的團(tuán)隊(duì)進(jìn)行溝通。他們請(qǐng)求我們向整個(gè)社區(qū)轉(zhuǎn)發(fā)包括以下聲明在內(nèi)的消息。需要指出，為了保持中立性和獨(dú)立性，我們沒(méi)有也不能與任何團(tuán)隊(duì)合作，以表述或評(píng)估結(jié)果。
目前測(cè)試服務(wù)器已經(jīng)重新上線。我們期待繼續(xù)在圖像識(shí)別領(lǐng)域取得進(jìn)展。
ILSVRC組織者
以下是來(lái)自百度該團(tuán)隊(duì)的消息：
ILSVRC社區(qū)：
近期，ILSVRC組織者聯(lián)系了我們異構(gòu)計(jì)算團(tuán)隊(duì)，并告知我們，我們超過(guò)了每周允許向ImageNet服務(wù)器進(jìn)行提交的次數(shù)(在我們項(xiàng)目的生命周期中約為200次)。
我們對(duì)這一錯(cuò)誤表示道歉，并將繼續(xù)評(píng)估結(jié)果。我們已向研究論文《Deep Image: Scaling up Image Recognition》加入了注釋，并將在了解更多情況后提供相關(guān)的更新。
我們支持ImageNet挑戰(zhàn)的公平性和透明性，并將致力于科學(xué)發(fā)展的誠(chéng)實(shí)性。
吳韌，百度異構(gòu)計(jì)算團(tuán)隊(duì)