作者 | GenAICon 2024

2024中國生成式AI大會于4月18-19日在北京舉行，在大會第一天的主會場大模型專場上，安謀科技産品總監楊磊以《大模型端側部署提速，NPU賦能終端算力革新》爲題發表演講。

從GPT-3.5到GPT-4.0，從多模態交互到插件支持，從閉源到開源，AI任務處理正加速從雲側向端側遷移，NPU及其生態迎來全新的發展階段。安謀科技産品總監楊磊談道，生成式AI正逐步成爲客戶端設備上的人機交互界面，而具備100億參數級別的大模型已成爲現有終端設備的最佳匹配規格。

然而，在終端部署這類AI大模型時，仍面臨成本、功耗及軟件生態等多重挑戰。在當前大模型發展的硬件驅動方面，楊磊認爲異構計算才是本地部署端側大模型的理想選擇，它能最大限度地提升SoC的性能、能效以及面積利用率。其中，NPU作爲端側AI應用的關鍵算力資源，將爲大模型的分布式落地演進提供核心動力。

當前，隨著大模型持續向邊緣側和端側滲透，AI計算和推理工作逐步由雲端遷移至手機、PC、智能汽車等終端産品上運行。在這一過程中，NPU能夠以其更簡單的控制流、更高的效率以及更低的功耗，處理AI工作負載。安謀科技自研“周易”NPU面向大模型場景做了架構、內存牆等多方面改進，正在研發的下一代“周易”NPU將采用多核設計，能夠同時支持卷積神經網絡（CNN）和Transformer架構，將會適配國內外多個主流大模型。

近年來，大模型不僅在對話式文本方面取得巨大成功，也在圖像處理、音視頻生成等多模態領域展現出強大的潛能。隨著生成式AI在人們日常工作及生活中被廣泛應用，數據處理和存儲需求急劇增加，使得智能計算體系結構發生根本性轉變。

大模型對人機交互界面産生了深刻的影響，生成式AI已成爲人與終端設備的最新交互界面。在生成式AI加持下，從寫作、編程、繪畫到視頻創作，多種模態的內容創作門檻正被前所未有地降低，人機交互的流程也被大大簡化。

在楊磊看來，端側設備的核心交互問題關乎入口，這是爭奪用戶時間、持續時長、資金投入的關鍵所在，也是業內競爭的焦點。以典型的端側設備——手機爲例，在本地設備上運行大模型已是兵家必爭之地，各家手機大廠都在想方設法占據這一入口。

在此過程中，一方面，多模態模型正成爲大勢所趨；另一方面，針對不同的應用場景、設備或成本考量，衆多廠商都推出了不同參數規模的模型。以智能手機爲例，旗艦手機芯片算力可達40~50TOPS，中檔手機的算力在10~20TOPS的範圍內，而入門級手機目前尚未專門配備AI能力，更多地依賴于CPU的通用計算能力。

據楊磊預測，隨著半導體技術的持續演進，旗艦手機的算力水平有望達到100TOPS，入門級手機也將從當前的無算力水平提升至5~10TOPS範圍。預計兩年後，不論是高價位段的手機，還是性價比優良的千元機，都有望具備本地部署AI大模型的硬件計算能力。

此外，在楊磊看來，除智能手機和PC等終端設備外，如今智能化水平不斷提速的新能源汽車以及目前炙手可熱的人形機器人也是大模型落地的硬件載體之一。在大會現場，楊磊列舉了一些數字：目前智能汽車的算力已經能達到500TOPS左右，一些機器人方案也在按照這一算力規模進行相應的技術規劃。

盡管AI大模型的應用日趨普及，比如手機上安裝了Kimi、豆包、文心一言等諸多應用，但這些應用尚未達到殺手級應用的水平，實際上很多端側硬件的計算能力已經領先于相關應用的發展。很多用戶更多是出于獵奇心理來試用這類應用，並沒有産生持續、頻繁且高度黏性的使用需求。

“我們目前仍處于硬件先行、應用後發的階段。安謀科技則希望結合自身獨特的技術優勢，打造軟硬一體且極具競爭力的解決方案，推動AI大模型在端側設備加速落地。”楊磊談道。

目前，AI PC、AI手機、“大模型上車”等細分領域已成爲終端設備廠商以及半導體行業爭相入局的熱門賽道，那多大參數規模的大模型適合在端側部署呢？楊磊將端側大模型的主流參數範圍總結在3億到100億，許多業內廠商也都在關注百億參數這一規格。

兵馬未動，糧草先行。盡管大模型應用還未全面爆發，但端側大模型高效落地必然需要一個可靠的硬件載體，其應用需求涵蓋了多個方面，比如大語言模型用于交互、多模態模型用于識別和理解、對實時計算的響應需求等，使得算法能輕松部署在不同硬件平台上，並確保在端側的運行速度足夠快，而不是僅僅能在雲端運行。

在楊磊看來，目前端側大模型部署面臨著三重難關：

首先是成本。端側設備由于使用範圍廣且頻次更高，因而對于成本也更加敏感。不能單純爲了增加AI能力而導致手機或PC的售價上漲太多，由此帶來的現實要求則對芯片面積、存儲帶寬、能效和計算資源這類與成本強相關的因素多加考量和平衡。

其次是功耗。無論是PC、平板電腦、手機還是智能眼鏡，其大部分的使用模式都由電池供電，功耗和電池容量決定了設備的續航時長。一張高性能的GPU動辄功耗數百瓦，更適合在雲端使用，而非手持設備。相比之下，一般手機的功耗則不超過10瓦，這就要求芯片在兼具算力的同時，也要盡可能降低功耗，以保證設備的使用時長和控制發熱。

第三是軟件生態。硬件平台需要支持不同的應用場景，讓來自不同企業的不同類型算法都能被輕松部署，並且計算效率和速度符合預期，這就涉及到一些軟件生態和投入。由此，選擇軟件適配度高、開發工具和資源更爲豐富的技術生態也非常重要。而Arm技術已成爲全球應用最廣泛的計算平台之一，具有顯著的軟件生態優勢。

對此，楊磊認爲，在硬件成本、功耗和軟件生態三重難關之下，即使在端側設備，單純依靠傳統的CPU或者GPU等通用計算單元也難以滿足當前以Transformer架構爲主的大模型計算要求。因此，結合各種算力單元特性的異構計算將是端側大模型部署的最優解決方案。

異構計算其實是近年來業界比較熱議的話題。其核心在于多種計算單元在SoC上的異構組合，即在硬件方案中協同使用CPU、GPU、NPU等多種不同類型的計算單元，實現更高效的計算能力，以平衡成本、功耗、計算性能等。

對此，楊磊在大會現場進一步闡述異構計算爲何更適合端側大模型部署的背後原理。舉例來看，要在手機上部署一個“壓縮版”的ChatGPT或Llama大語言模型，其實最大的難點不在于計算量，更爲棘手的是數據訪問量，即內存牆。楊磊解釋說，目前AI大模型除了對話式的語言類應用場景以外，還涵蓋了文生圖、文生視頻等場景，這類應用所涉及的大量AI計算任務對于端側設備裏原有的CPU或GPU來說就比較吃力，更適合調用專爲AI設計的計算單元NPU來進行計算。

對此，安謀科技將全球領先的Arm CPU、GPU等通用計算單元，與本土自研的NPU、SPU、VPU等專用計算單元相結合，打造一體化、高質量的異構計算IP平台，持續助力本土芯片創新。

其中，正如前面提到的，NPU作爲面向AI計算場景應運而生的計算單元，自然也是加速端側AI應用的關鍵算力資源。對此，楊磊重點介紹了安謀科技針對深度學習而自研的人工智能處理器——“周易”NPU。

目前，“周易”NPU已叠代了Z系列和X系列的多款産品，滿足多樣化計算需求。其中，Z系列主要面向AIoT市場，爲物聯網設備提供AI算力支持；X系列則主要面向車載、邊緣計算等高算力應用場景，進一步提升計算效率。以安謀科技最新發布的“周易”NPU爲例，該産品采用第三代“周易”架構，在算力、精度、靈活性等方面均有大幅提升，支持多核Cluster，最高可達320TOPS子系統，爲新興領域不斷叠代的計算需求提供更爲完善的解決方案。

據楊磊補充，“周易”NPU將針對端側大模型場景進行專門的升級優化，包括微架構改進、內存優化、並行結構升級等多個方面，並透露正在研發的下一代“周易”NPU將會適配國內外多個主流的開源大模型方案，覆蓋硬件及其配套的軟件工具。

在微架構方面，“周易”NPU架構將面向Transformer結構進行專門的加速改進；在內存方面，“周易”NPU也會針對存儲限制做進一步優化，包括常見的低比特量化技術等；而在並行計算方面，下一代“周易”NPU則重點考慮滿足並行計算的需求，能夠同時支持卷積神經網絡和Transformer架構，更好地滿足當前應用端的不同場景需求。

此外，據楊磊介紹，安謀科技的下一代“周易”NPU將采用多核架構，能夠根據不同場景需求來配置不同的算力，例如AI PC等高算力場景可配置多個NPU核心，而AR眼鏡等更需平衡性能和功耗的場景則可以考慮配置單核，多核架構可以更好地滿足算力從小到大的靈活擴展。

技術進步爲大模型在雲邊端的部署提供了廣泛的可能，大至在成百上千張卡的大型集群上做訓練，小至在手持設備上部署，大模型正通過越來越多元的硬件載體，走進千家萬戶和千行百業。

在雲端，國內外已有很多GPU和AI芯片企業在開展相關工作。但在邊緣端側，目前還沒有一個成熟、統一的硬件平台，能夠支撐大模型部署到手機、PC或機器人等設備上，因此市場潛力巨大。

“端側設備已成爲大模型部署的兵家必爭之地”，楊磊如此形容端側大模型的競爭態勢。綜合來看，搶占入口的不止是硬件設備制造商，還有衆多算法開發者，以及像安謀科技這類專注于芯片底層技術創新的企業，大家不約而同地看到了其中蘊藏的市場機會。

楊磊最後談到：“AI大模型不僅僅部署到雲上，未來在端側也將迎來爆發式增長，我們非常期待與産業鏈上下遊的夥伴們加強溝通與合作，攜手共贏生成式AI未來。”