全球移動互聯網公司APUS與大模型創企新旦智能宣布，聯手開源國內首個千億參數的MoE（混合專家模型）APUS-xDAN大模型4.0，這也是國內首個可以在消費級顯卡上運行的千億MoE中英文大模型。
APUS-xDAN-4.0（MoE）參數規模爲1360億，可在消費級顯卡4090上運行，據APUS實測，其綜合性能超過GPT-3.5，達到GPT-4的90%。
數學能力上，測評基准GSM8K的測評得分爲79，理解能力MMLU達到73分。
AI大模型需求重整算力産業格局過去一年中，我曾經和很多業內人士做過交流，在國産GPU的使用上，大家並不避諱“還不那麽好用”的現實，就連國産芯片的某家提供商也很坦誠地表示過：“性能和開發生態的搭建確實有差距，我們也不能騙人，但進步已經非常快了，生態也要大家一起來建設。”
羅馬不是一天建成的。關于在硬指標上全面追上世界最先進的芯片産業水平有多難，局長已經講了幾年。GPU也是芯片，在短時間內全面追上英偉達的GPU水平，顯然是不夠現實的。
但好在，實際輸出的算力水平，絕不是一個只和GPU挂鈎的東西。
在ChatGPT將AI在大衆層面徹底引爆後的一年，全世界都達成了一個共識：人類的未來將取決于你如何使用AI，而AI發展到什麽水平，則取決于算力。
算力取決于什麽呢？
在過去一年，很多人覺得是芯片。所以英偉達在2023年成了“全世界最重要的公司”。所有搞大模型的企業，到了一定規模就會開始發通稿說自己又買了多少張英偉達的GPU。
但這只是一種資本市場有目的的助推之下的誤區。
AI大模型是一個必須落向應用的東西，支撐大模型的算力也是同理：這意味著從硬件到軟件、到調度、到接入産業應用，整個算力産業是一個非常複雜和系統化的綜合性工程。每一個環節的能耗、效率、成本，都會直接影響最終算力的實際輸出。
而算力最終是要拿來用的。
國內首個千億MoE架構模型開源不難發現，此次開源的APUS-xDAN 大模型4.0率先引入MoE（Mixture of Experts）架構，成爲國內首個開源的千億參數MoE架構大模型。相較于其他宣稱擁有MoE架構但未開源驗證的模型，APUS-xDAN 大模型4.0（MoE）真正將MoE架構應用于超大規模模型。
值得一提的是，APUS-xDAN 大模型4.0（MoE）采用GPT4類似的MoE架構，特點是多專家模型組合，同時激活使用只有2個子模塊，實際運行效率對比傳統Dense同尺寸模型效率提升200%，推理成本下降400%。在實際部署上，通過進一步的高精度微調量化技術，模型尺寸縮小500%，從而擁有了國內首個可以在消費級顯卡運行的千億MoE中英文大模型。
這些特性賦予APUS-xDAN 大模型4.0（MoE）在處理複雜任務時，擁有無與倫比的學習效率與模型容量，爲人工智能的邊界拓展注入澎湃動力，爲中國AI産業開拓了全新破局路線，成爲國産大模型創新探索的先行軍。
此次，APUS-xDAN 大模型4.0（MoE）以令人矚目的1360億參數規模，一舉超越當前國內最大開源模型——阿裏的千問72B（720億參數），穩居國內參數規模之冠，綜合性能達到主流大模型TOP級。這一曆史性突破，不僅見證了我國在超大規模預訓練模型研發領域的重大飛躍，更有力彰顯了我國人工智能科研實力與技術創新力的國際地位。
免責聲明：
1、本號不對發布的任何信息的可用性、准確性、時效性、有效性或完整性作出聲明或保證，並在此聲明不承擔信息可能産生的任何責任、任何後果。
2、 本號非商業、非營利性，轉載的內容並不代表贊同其觀點和對其真實性負責，也無意構成任何其他引導。本號不對轉載或發布的任何信息存在的不准確或錯誤，負任何直接或間接責任。
3、本號部分資料、素材、文字、圖片等來源于互聯網，所有轉載都已經注明來源出處。如果您發現有侵犯您的知識産權以及個人合法權益的作品，請與我們取得聯系，我們會及時修改或刪除。
