C114訊 7月5日消息(南山)6月30日,華為正式宣布開源盤古70億參數的稠密模型、盤古Pro MoE 720億參數的混合專家模型,同時開放基于昇騰AI平臺的模型推理技術。此次是華為首次將盤古大模型的核心能力開源。
但在7月4日(昨日),一篇技術論文在專業論壇Github上引起熱議。文章認為,通過比較,發現盤古Pangu Pro MoE模型與Qwen-2.5 14B模型在注意力參數分布上有相關性,超正常范圍。
被質疑“抄襲”阿里云的模型,華為盤古Pro MoE技術開發團隊今日迅速進行了公開回應。
回應稱,我們注意到近期開源社區及網絡平臺關于盤古大模型開源代碼的討論。
盤古Pro MoE開源模型是基于昇騰硬件平臺開發、訓練的基礎大模型,并非基于其他廠商模型增量訓練而來,在架構設計、技術特性等方面做了關鍵創新,是全球首個面向昇騰硬件平臺設計的同規格混合專家模型,創新性地提出了分組混合專家模型(MoGE)架構,有效解決了大規模分布式訓練的負載均衡難題,提升訓練效率。
回應強調,盤古Pro MoE開源模型部分基礎組件的代碼實現參考了業界開源實踐,涉及其他開源大模型的部分開源代碼。我們嚴格遵循開源許可證的要求,在開源代碼文件中清晰標注開源代碼的版權聲明。這不僅是開源社區的通行做法,也符合業界倡導的開源協作精神。
據了解,盤古是華為推出的一系列超大規模人工智能預訓練模型,涵蓋自然語言處理、計算機視覺、科學計算等多個領域。其名稱寓意“開天辟地”,象征著華為在人工智能基礎研究和行業應用上的突破性探索。盤古模型自發布以來,已在多個行業中實現落地,包括金融、制造、能源、交通等,助力企業實現智能化升級。