2025年6月30日，華為正式宣布開源盤古7B參數(shù)的稠密模型、盤古Pro MoE 72B混合專家模型和基于昇騰的模型推理技術(shù)。隨后一項(xiàng)由@HonestAGI 發(fā)布于GitHub的針對(duì)盤古大模型的研究引發(fā)業(yè)界熱議，該研究的作者認(rèn)為，華為推出的盤古大模型（Pangu Pro MoE）與阿里巴巴發(fā)布的通義千問Qwen-2.5 14B模型在參數(shù)結(jié)構(gòu)上存在高相似度。
HonestAGI 通過測(cè)試比較稱，Pangu Pro MoE模型與Qwen-2.5 14B模型在注意力參數(shù)分布上的平均相關(guān)性高達(dá)0.927，遠(yuǎn)超其他模型對(duì)比的正常范圍（業(yè)內(nèi)同類模型對(duì)比通常不超過0.7）。
由于深度學(xué)習(xí)模型的訓(xùn)練具有高度隨機(jī)性，涉及復(fù)雜的數(shù)據(jù)采樣、權(quán)重初始化及優(yōu)化路徑。兩個(gè)模型在眾多注意力參數(shù)上呈現(xiàn)近乎一致的分布，其自然發(fā)生的概率極低。因此，這種極高的相似度，立即引發(fā)其涉嫌“抄襲”的質(zhì)疑。
隨后，有自稱是盤古大模型團(tuán)隊(duì)的人在GitHub上進(jìn)行了回應(yīng)，否認(rèn)抄襲指控，并且認(rèn)為該作者的評(píng)估方法不科學(xué)。
該用戶表示，使用論文中描述的方法，評(píng)估了以下模型比較：
pangu-72b-a16b vs. Qwen2.5-14b = 0.92
baichuan2-13b vs. Qwen1.5-14b = 0.87
baichuan2-13b vs. pangu-72b-a16b = 0.84
baichuan2-13b vs. Qwen2.5-14b = 0.86
可以看到不同其他相近參數(shù)規(guī)模的模型在該評(píng)估方法下也得到了與Qwen-2.5 14B模型高度相似的結(jié)果。這表明該論文和指標(biāo)缺乏實(shí)際意義。盤古團(tuán)隊(duì)進(jìn)一步并重申沒有抄襲。
對(duì)于該回應(yīng)，HonestAGI 表示，其無法信服盤古大模型團(tuán)隊(duì)的說法。HonestAGI 稱，“盤古仍然顯示出最高的相似度，對(duì)吧？我們很高興看到您成功復(fù)現(xiàn)了我們的結(jié)果！事實(shí)上，任何分類問題都有一個(gè)閾值來識(shí)別決策邊界（例如，本例中疑似值為0.9）。這主要是一個(gè)用于初步比較的工具，而盤古‘不幸地’在我們開始進(jìn)一步調(diào)查之前觸發(fā)了這個(gè)警告信號(hào)。我們并非僅僅基于注意力參數(shù)就做出判斷。這只是動(dòng)機(jī)。……”
隨后，HonestAGI 還提供了 Qwen 和 Hunyuan A13B 之間的比，結(jié)果顯示二者在不同層級(jí)上展現(xiàn)出截然不同的內(nèi)部模式，這表明它們擁有截然不同的架構(gòu)和學(xué)習(xí)到的表征。顯然，HonestAGI提供該對(duì)比數(shù)據(jù)是想說明其測(cè)試方法沒有問題。
不過，目前HonestAGI似乎已經(jīng)下線了之前關(guān)于盤古大模型的研究報(bào)告。但是，HonestAGI 在最新的回應(yīng)中表示，“我們計(jì)劃在論文最終定稿并提交所有代碼后，將其提交給同行評(píng)審會(huì)議（可能是 ICLR 或之后的會(huì)議？）?！?/p>
另外，值得注意但是，通過查詢盤古大模型團(tuán)隊(duì)官方發(fā)布在國(guó)內(nèi)代碼托管平臺(tái)Gitcode（類似國(guó)外的Github）的“盤古Pro”大模型代碼，可以發(fā)現(xiàn)其“'Open Source Software Notice”當(dāng)中的赫然出現(xiàn)了關(guān)于“transformers”組件的版權(quán)聲明“Copyright notice：Copyright 2024 The Qwen team, Alibaba Group and the HuggingFace Team. All rights reserved.” 顯然這段說明的意思是，其所用到的“transformers”組件的版權(quán)所有人是Qwen團(tuán)隊(duì)、阿里巴巴集團(tuán)和HuggingFace團(tuán)隊(duì)。
需要指出的是，該代碼是由“Ascend Tribe”——盤古大模型團(tuán)隊(duì)官方發(fā)布，并不是其他第三方進(jìn)行發(fā)布的。由此也有不少網(wǎng)友認(rèn)為這是“實(shí)錘”抄襲的證據(jù)。
不過，業(yè)內(nèi)人士表示，這是一份標(biāo)準(zhǔn)的開源聲明，當(dāng)盤古大模型團(tuán)隊(duì)使用了第三方開發(fā)的開源軟件時(shí)，根據(jù)開源許可要求，是必須需要向用戶說明的法律義務(wù)。而在這份聲明當(dāng)中，只能表明盤古大模型當(dāng)中用了阿里巴巴Qwen團(tuán)隊(duì) 和 HuggingFace共同開發(fā)的“transformers”組件，并且使用的是“Apache License 2.0”協(xié)議。該協(xié)議它允許任何人自由地使用、修改和分發(fā)該軟件，甚至用于商業(yè)產(chǎn)品中。所以，這份聲明只反應(yīng)了盤古大模型團(tuán)隊(duì)用了一些開源代碼，并且遵守了開源協(xié)議，并不能證明抄襲。
盤古大模型團(tuán)隊(duì)正式回應(yīng)
7月5日下午16:59分，隸屬于華為的負(fù)責(zé)開發(fā)盤古大模型的諾亞方舟實(shí)驗(yàn)室發(fā)布聲明對(duì)于“抄襲”指控進(jìn)行了官方回應(yīng)。
諾亞方舟實(shí)驗(yàn)室表示，盤古Pro MoE開源模型是基于昇騰硬件平臺(tái)開發(fā)、訓(xùn)練的基礎(chǔ)大模型，并非基于其他廠商模型增量訓(xùn)練而來，在架構(gòu)設(shè)計(jì)、技術(shù)特性等方面做了關(guān)鍵創(chuàng)新，是全球首個(gè)面向昇騰硬件平臺(tái)設(shè)計(jì)的同規(guī)格混合專家模型，創(chuàng)新性地提出了分組混合專家模型（MoGE）架構(gòu)，有效解決了大規(guī)模分布式訓(xùn)練的負(fù)載均衡難題，提升訓(xùn)練效率。
不過，諾亞方舟實(shí)驗(yàn)室也承認(rèn)，“盤古Pro MoE開源模型部分基礎(chǔ)組件的代碼實(shí)現(xiàn)參考了業(yè)界開源實(shí)踐，涉及其他開源大模型的部分開源代碼。我們嚴(yán)格遵循開源許可證的要求，在開源代碼文件中清晰標(biāo)注開源代碼的版權(quán)聲明。這不僅是開源社區(qū)的通行做法，也符合業(yè)界倡導(dǎo)的開源協(xié)作精神。我們始終堅(jiān)持開放創(chuàng)新，尊重第三方知識(shí)產(chǎn)權(quán)，同時(shí)提倡包容、公平、開放、團(tuán)結(jié)和可持續(xù)的開源理念?！?/p>
此外，芯智訊發(fā)現(xiàn)，有百度貼吧網(wǎng)友爆料稱，負(fù)責(zé)盤古大模型的開發(fā)的諾亞方舟負(fù)責(zé)人王云鶴在內(nèi)網(wǎng)也針對(duì)此事做了回應(yīng)，回應(yīng)內(nèi)容的核心是兩個(gè)：1、盤古大模型是基于昇騰芯片進(jìn)行訓(xùn)練的，與Qwen所用的訓(xùn)練硬件是不同的；2、盤古大模型當(dāng)中所使用的Llama和Qwen的組件都是已經(jīng)開源的，并不是抄襲。
總結(jié)來看，目前尚無證據(jù)證實(shí)盤古大模型存在抄襲阿里Qwen的“實(shí)錘”證據(jù)，HonestAGI 所發(fā)布的質(zhì)疑論文所采用的測(cè)試方法的可靠性也有待進(jìn)一步驗(yàn)證，畢竟其并未完全公開其測(cè)試代碼，更何況HonestAGI 已經(jīng)下線了之前的質(zhì)疑論文。至于盤古大模型當(dāng)中確實(shí)有采用Qwen的開源代碼，但這部分的代碼本就是開源代碼，盤古大模型團(tuán)隊(duì)的相關(guān)的聲明做法也是合規(guī)的，只能說盤古大模型并不是從零起步的絕對(duì)原創(chuàng)，如果只是用了部分開源組件，也并不屬于抄襲。
