近日，聯發科舉辦了第一屆天玑開發者大會2024（MDDC 2024），以“AI予萬物”爲主題，通過多項成果，引領基于生成式AI的移動生態創新。
本次大會上，聯發科與合作夥伴共同啓動了“天玑AI先鋒計劃”，發布了《生成式AI手機産業白皮書》，公布了旗艦5G生成式AI移動芯片天玑9300+，還展示了生成式AI端側部署解決方案“天玑AI開發套件”、星速引擎遊戲生態、多場景端側AI應用。
天玑AI先鋒計劃由聯發科主導，聯合阿裏雲、百川智能、傳音、零一萬物、OPPO、榮耀、vivo、小米等衆多雲服務、大模型、終端廠商，面向全球開發者。
該計劃將整合聯發科與産業生態夥伴的資源，爲探索端側生成式AI應用與場景創新的開發者，提供豐富的開發資源、技術支持和商業機會。
目前，已經有大量的應用開發廠商和開發者加入了天玑AI先鋒計劃，現場登台助陣的就有小紅書、美圖、酷狗音樂、虎牙直播、抖音、騰訊AI Lab、Soul、全民K歌、RWKV、COCOS等等。
不少應用都在會場同步展示了各自的AI新體驗，我們會在後邊的環節和大家分享。
聯發科與權威市調機構Counterpoint攜手阿裏雲通義千問、百川大模型、虎牙、酷狗音樂、零一萬物、OPPO、Soul、騰訊AI Lab、騰訊混元、vivo，聯合發布了《生成式AI手機産業白皮書》，共同定義了“生成式AI手機”的概念和典型特征。
按照這份白皮書的定義，生成式AI手機就是可以利用大規模、預訓練的生成式 AI模型，實現多模態內容生成、情境感知，並具備不斷增強的類人能力。
白皮書還詳細闡述了生成式AI與智能手機深度融合的趨勢，深入探討了生成式AI手機生態中芯片廠商、手機廠商、大模型廠商、開發者的AI戰略，以及生成式AI手機的軟硬件科技全景，並展望了生成式AI手機的發展趨勢。
聯發科作爲底層硬件供應商，可爲生成式AI手機提供強大的硬件支持，包括先進的移動計算平台、集成或獨立的NPU單元、大容量和高帶寬的內存、穩定高速的網絡連接、硬件級和系統級的安全防禦。
最新發布的天玑9300+，就是典型代表。
天玑9300+繼續采用台積電第三代4nm先進工藝和全大核CPU架構，包括四個X4 超大核，最高頻率可達3.4 GHz，以及四個A720大核，主頻2.0GHz，還有12核心的Immortalis-G720 GPU、18MB緩存，支持LPDDR5T 9600Mbps高頻內存。
天玑9300+內置第七代AI引擎APU 790，有著強大的生成式AI算力，率先在端側支持AI推測解碼加速技術，生成速度可提升120％。
支持天玑AI LoRA Fusion 2.0技術，也就是雙LoRA融合，生成效率提升100％，內存空間節省50％，使得生成式AI體驗更高效、更個性化。
支持前沿主流的生成式AI大模型，覆蓋文字、圖像、音樂等AI多模態場景，包括阿裏雲通義千問、百川、百度文心一言、谷歌Gemini Nano、零一萬物、Meta Llama 2/3、ERNIE-3.5-SE。
尤其是它在業內率先實現了以每秒22 tokens在端側高速運行Llama 2 70億參數大模型。
此外還支持AI框架ExecuTorch，可加速端側生成式AI應用的開發。
同時，聯發科的星速引擎全面升級，爲遊戲開發者提供MAGT自適應技術軟件開發套件、硬件光線追蹤技術軟件兩大開發套件，通過精准性能管理、光追效果優化、網絡質量監測等關鍵技術，提升畫面的逼真度、流暢度，觸控和網絡的響應度，設備續航的持久度。
星速引擎可以打通硬件平台、遊戲之間的隔閡，爲彼此溝通建立橋梁，實現性能的實時按需響應。
MAGT技術打開之後，遊戲載入速度可加快11％，從而更持久滿幀。
再結合精准的系統監控、與頭部遊戲的深度聯合調校，可以保證遊戲滿幀的同時功耗進一步降低10％
網絡質量監測技術方面，通過與騰訊雲聯合，可以實時監控遊戲網絡的連接質量，讓遊戲更高效地運用Wi-Fi、蜂窩網絡並發技術，在玩網絡遊戲時更加穩定。
相比傳統的Wi-Fi/蜂窩網絡雙網並發技術，它可以提前100ms預測弱網，准確率超過90％，而在Wi-Fi弱網環境下開啓，可節省10％的滿幀功耗、25％的數據使用量。
此外，聯發科還積極與Arm、Google、Khronos、UE虛幻引擎等行業夥伴共同進行前沿技術的探索，擴大天玑遊戲生態圈，尤其是推動硬件光追遊戲加速落地。
本次大會的另一個看點，就是天玑AI開發套件，包括四大模塊，分別是快速高效的GenAI最佳實踐、覆蓋全球主流大模型的GenAI Model Hub、高效提升性能的GenAI優化技術、Neuron Studio 一站式視覺化開發環境。
聯發科表示，天玑AI開發套件可以爲開發者提供“快、全、強、易”的專業開發體驗，加速終端生成式AI應用的開發全流程。
其中，GenAI最佳實踐通過模型量化、模型編譯和模型推理技術，加速大模型的終端部署，可使原本需要幾個星期的工作量，縮短爲區區一天。
GenAI Model Hub適配行業前沿主流的大模型，爲開發者提供創建生成式AI應用所需的豐富大模型資源。
GenAI優化技術只要包括推測解碼加速、LoRA Fusion等等。
Neuron Studio集成開發環境可提供一站式可視化的開發環境，跳出傳統的代碼開發環境，讓開發變成“所見即所得”。
目前，天玑AI開發者套件已覆蓋智能手機、智能汽車、物聯網、PC電腦等衆多智能終端設備，賦能全場景的生成式AI應用開發。
目前，聯發科已攜手阿裏雲通義千問、Cocos、王者榮耀、虎牙直播、酷狗音樂、美圖、全民K歌、RWKV、Soul、騰訊AI Lab、小紅書等數十家生態夥伴，打造體驗截然不同的生成式AI應用。
這是聯發科第一次舉辦開發者大會，堪稱聯發科曆史上的一個重要轉折點，更是整個行業的一個裏程碑，引領著生成式AI移動生態的變革。
它標志著，聯發科天玑平台的角色，已經從以往的技術引領者，變成了移動行業的創新領導者，不再局限于自身的發展，更把眼光和視野拓展到了行業的推進。
天玑品牌誕生以來，聯發科通過持續的技術投入與開放合作，贏得了終端廠商、應用開發商、消費者的廣泛青睐，也形成了蓬勃的移動生態。
今天，生成式AI正在悄然改變各個計算行業，尤其是移動産業，勢必會顛覆所有人的生活、工作、娛樂體驗。
在這股浪潮之下，聯發科提供的已經不僅僅是基礎性的底層硬件，還有全鏈一站式的開發工具、優化技術，更肩負著領導與樞紐的職責，聯合衆多行業夥伴，共同定義新概念、新技術，共同推進應用與生態發展。
接下來，我們逐個體驗一下與聯發科平台合作優化的手機端側生成式AI應用。
先看一段現場視頻：
抖音帶來了兩項應用，一是AI實時特效，基于聯發科APU，在硬件算力基礎上結合算法打磨、工程優化，在效果、流暢度、功耗方面帶來更出色的體驗。
二是端側SDXL-Lightning高畫質文生圖，由抖音智能創作團隊開發。
它采用漸進式對抗蒸餾技術，可以在4步甚至2步之內生成高質量和分辨率的圖像，更是1步即可爲超時敏感應用生成圖像。
根據內部測試，1024*1024分辨率在手機端生圖速度1步約爲2秒，2步約爲5秒。
虎牙直播，率先實現了AI實時換臉，基于圖生圖的AI算法，可以豐富主播直播內，並給用戶帶來端上畫質增強。
它支持450P分辨率兩倍超分，變成900p；還支持720P原畫增強，可以去除原畫噪聲，增強畫面紋理細節。
酷狗音樂，支持歌詞生圖、快速配圖、手動生圖等玩法。
全民K歌，率先將端側模型歌曲生成SVC模型落地天玑9300，保證高性能的同時，提升了推理速度，可以輕松還原美妙歌聲，一鍵演唱實力歌手歌曲，還能生成你和歌手的合唱作品，堪稱五音不全者的救星。
Soul APP，主打AI情感陪伴，率先引入LoRA技術，單模型支持多形象切換，無需聯網，隱私安全。
支持LLM+SD混合切換，LLM只需一次配置就能支持多輪對話。
阿裏雲通義Qwen Al Agent(智能體)，號稱你身邊的超級AI助手。
基于通義大模型，Qwen Al Agent可以感知環境、進行決策並執行指令，可以思考並調用工具完成目標。
通過通義千問APP(或接入通義大模型的應用)，本地模型可以離線完成任務需求整理-路線規劃設計-任務確認-指令下發對應服務並執行任務的全流程閉環，交互體驗、處理效率、准確性等均遠超傳統交互方式。
火山引擎的AI創作SDK套件，可以一剪成片，無論是在手機、平板還是汽車上都可以隨時創作。
其中，EffectOne SDK爲手機應用、OEM客戶提供完整的端側圖片、視頻創作技術解決方案，包含拍攝、編輯、特效(2D/3D/AIGC)、視頻模板等。
The Moment SDK爲車載端創作套件，提供更簡便的車端創作能力，包含一鍵成片、剪同款、高光成片等自動成片能力，也包含更靈活的基礎編輯能力，結合AIGC、海量特效提供豐富的模板選擇。
《逆水寒》手遊和《暗區突圍》率先落地移動端硬件光線追蹤技術、MAGT遊戲自適應調控技術。
《王者榮耀》海外版的玩家私人遊戲教練，率先實現遊戲教學音伴AI在天玑手機端側的落地。
它通過TTS文本語音轉換建立AI與玩家的橋梁，教會玩家MOBA遊戲玩法/場面預判/出裝建議，結合精准的語音生成，打造獨特的音色樂律和人設背景，讓玩家更容易沉浸。
包括開局英雄出裝輔導，對戰中英雄消失提醒、敵方出裝提醒、團戰准備等，消滅對方英雄後擊殺鼓勵、勝率播報。
