作者|香草

編輯|漠影

大模型訓練推理，最低能壓縮到多少成本？

智東西3月29日報道，昨日，AI科創板上市企業雲天勵飛（688343）交出了自己的答卷——重磅推出“深目”AI模盒，僅需千元成本即可實現邊緣側訓推一體。

雲天勵飛副總裁羅憶現場展示了深目AI模盒。這款用單手即可托起的小小盒子實現了“3個90%”，即覆蓋場景超過90%、算法精度超過90%、使用成本降低90%，解決了大模型在場景落地最後一公裏的問題。

▲深目AI模盒

在雲天勵飛深耕的城市治理、智慧交通等領域，大部分場景屬于碎片化、頻率低的長尾場景，大模型的落地面臨算法訓練成本高、缺乏訓練數據等行業痛點。傳統的訓推一體機價格普遍在百萬元級別，絕大多中小企業難以承受如此高昂的成本。

深目AI模盒應運而生。基于大模型和芯片兩個層面的架構革新，雲天勵飛成功將大模型“塞進”了小盒子，成爲人人可用的“平民化”産品。

那麽，在技術層面，深目AI模盒是如何實現“3個90%”的？其具體能應用在哪些場景，解決什麽樣的問題？深目AI模盒的發布代表了什麽關鍵節點，背後有著怎樣的故事？

智東西與雲天勵飛董事長兼CEO陳甯、雲天勵飛首席科學家肖嵘、雲天勵飛副總裁羅憶進行了深入交談，試圖尋找這些問題的答案。

把大模型變“小”，離不開雲天勵飛背後長期積累的核心能力——算法芯片化。

陳甯告訴智東西，深目AI模盒主要在兩個方面進行了重大的技術攻關。

一是多模態大模型架構革新。

深目AI模盒的大模型能力來源于雲天勵飛自研大模型“雲天天書”。該模型在去年4月推出，目前已完成3個版本的叠代，此次與深目AI模盒同步推出的是雲天天書3.5V版本，新增了多模態支持。據悉，雲天天書下一代4.0V版本將于今年6月推出。

▲雲天天書大模型的叠代進程

而針對深目AI模盒主攻的邊緣推理，雲天勵飛對雲天天書大模型進行了分層解耦、量化優化，使其能夠高效運行在邊緣的算力設備上，不僅能進行推理，還能完成微調等一系列任務。

▲深目AI模盒的SPACE訓練推理引擎

通過集中的高效訓練架構，深目AI模盒對比全量訓練速度提升100倍，內存消耗降低至1/20；其采用混合精度訓練，99%的計算爲int8+fp16精度，其他采用fp32精度訓練。

二是神經網絡處理器及推理芯片設計優化。

深目AI模盒的算力基礎來源于雲天勵飛去年推出的14納米Chiplet大模型訓推芯片DeepEdge10 Max。該芯片采用自主可控的國産工藝、國産RISC-V核，支持大模型訓練推理部署。

▲雲天勵飛自研芯片DeepEdge10 Max

針對邊緣計算，雲天勵飛通過自定義大模型專用指令集、專用算子，面向Transformer等基座大模型進行指令、工具鏈優化，使得一顆邊緣芯片上不僅能跑大模型，也能完成微調訓練。

▲深目AI模盒芯片核心

基于這兩個方面的算法芯片化能力，深目AI模盒在邊緣場景的在線學習能力大幅提升。與傳統模式相比，算法生産從7步縮短至4步，算法調優則從7步縮短至3步。

▲算法生産、調優步數壓縮

以雲天天書爲基座模型，雲天勵飛與生態合作夥伴聯合完成預訓練場景算法，再將其提供給廣大中小企業用戶。隨後，中小企業客戶可根據自身場景需求，在邊緣端完成算法微調。在實際部署後，大模型的泛化和學習能力能夠根據現實應用場景情況自進化，在線學習、優化算法，不斷提升算法精度。

羅憶談道，AI的發展分爲三個階段。

第一階段是技術找場景，基礎算法首先實現突破，並在人臉識別、語音識別等頭部場景完成價值驗證。

第二階段是場景反哺技術，新的細分場景不斷反哺技術創新，倒逼算法不斷變革。

第三階段是場景找技術，聚焦不同行業、不同場景需求，找到適合的技術來解決這些問題。

如今，我們正處在第一、第二階段轉換的關鍵時期，冰山之下隱藏著大量不容易被看到的長尾場景算法。

▲冰山之下的“死亡之谷”

長尾算法指的是除了頭部算法外，大量使用頻率低、應用場景少的算法，面臨著訓練數據少，甚至沒有訓練樣本的痛點。

例如在計算機視覺領域，人臉識別、車牌識別等頭部算法已發展得較爲成熟，但像識別一種特定的産品、識別一種危險的行爲等細分算法制約了AI落地行業的最後一公裏。

羅憶演示了深目AI模盒如何在數據少、無數據等極端情況下，快速完成算法訓練。

1、算法自學習，少量數據叠代後精度超90%

在算法使用初期，只有少量數據，用戶如何才能快速訓練高精度算法？

以店外經營爲例，用戶需要訓練識別算法時，可以直接使用平台現有算法對目標進行識別，再對識別結果標記“正確”或“誤報”，算法就能通過自學習快速提升。經過1周叠代後，算法精度可超過90%。

羅憶稱，雲天勵飛算法訓練平台上提供了大量與生態合作夥伴共同打造的算法商城，覆蓋14個大類、100+個小類、1000+算法，用戶可以直接調用預訓練算法，並上傳自身場景圖片完成算法的微調和升級，快速訓練出高精度算法。

2、極端場景零數據樣本，利用生成式AI合成數據

天災人禍等極端場景識別訓練的數據幾乎空白，面對這樣“無數據”的情況，用戶該如何訓練算法？

以加油站場景的吸煙識別爲例，這類危險行爲往往伴隨著成不可挽回的後果，難以獲取真實樣本。平台可通過大模型能力生成在該環境抽煙的人物，並將數據用于算法訓練中，填補訓練數據的空白。

使用AI合成數據來訓練算法，不僅能夠填補數據空白，還能夠規避隱私安全等問題，已經逐漸成爲大模型時代下訓練新算法和提升算法精度的一條重要路徑。

3、識別目標標准不統一，利用大模型泛化能力解決

以購物中心提袋識別爲例，羅憶演示大模型泛化能力如何解決識別對象標准不統一帶來的算法訓練難題。

大型購物中心一般沒有統一的結算中心，難以掌握逛街顧客是否消費，也難以評估營銷活動對實際消費轉化的效果，顧客是否提購物袋是判斷的重要標准之一。但各品牌購物袋的大小、顔色均不統一，且難以與顧客的背包區分，算法無法精准識別。

在雲天勵飛算法訓練平台上，借助場景自適應能力，用戶可調用手提袋識別算法識別所有的手提袋，再基于識別結果標記進行特定手提袋的識別訓練，從而實現專用門店手提袋的精准識別。

目前市面上主流的模型計算産品是百萬級的訓推一體機，其承擔著數百甚至千億級參數規模的大模型訓練推理等任務。邊緣側産品則比較少見，雖然有一些常規推理盒子類産品，但其主要承載邊緣端的小模型，不具備承載大模型的能力。

在這兩類産品之間，存在巨大的市場空白——邊緣長尾算法缺乏對應的大模型解決方案。

在大模型出現之前，這些低頻問題大多通過小模型算法來解決。陳甯告訴智東西，對于大多數AI公司而言，其實每個小模型的算法成本和周期投入與頭部算法相差無幾，需要大量算法工程師和算力，收集大量數據去解決。但由于使用頻率並不高，因此投入産出比不匹配。

▲深目AI模盒與常規推理盒子的對比

雲天勵飛看到了大模型在解決各類長尾問題上蘊含的潛力，通過深目AI模盒這個統一的技術平台，解決多類細分場景精度不夠、成本太高、訓練周期太長、需要的數據量太大等一系列痛點問題，推動AI真正能夠在更多的場景、更多的行業落地，形成價值閉環。

這也是雲天勵飛長期在技術落地探索路上的又一重要關鍵節點。

談到“深目”這個名字，了解雲天勵飛這家企業的讀者可能不陌生。2016年，雲天勵飛推出第一款産品——動態人像識別系統“深目”，將科幻作品中的“天眼”第一次帶入現實。

此次推出的AI模盒，是雲天勵飛在2023年登陸科創板後推出的首款産品，也是其“二次創業”的第一款産品，因此再次以“深目”來命名。

當智東西問道，Sora引爆的文生視頻技術，對雲天勵飛所處的計算機視覺領域帶來了哪些機遇和挑戰？

肖嵘認爲，Sora主要是一個增量式的進展，類似的生成技術被廣泛地應用在雲天天書大模型的研發當中，幫助生成一些缺乏真實數據的場景。

陳甯稱，相比震撼的視覺效果，雲天勵飛更關注Sora背後的技術突破在應用落地方面帶來的價值，如對世界運行規律的理解和解碼。雲天勵飛對自己的定位是做物理世界的解碼者，其發展路線也沿著這條路徑展開。

▲雲天勵飛的AI發展路徑

在AI方案化方面，雲天勵飛在安防、交通、城市治理、人居生活四個基礎行業打造了成熟的解決方案，並在教育、低空經濟等創新行業不斷探索新的應用，形成“4+X”行業解決方案。

隨後，基于在大量行業的落地經驗，雲天勵飛已形成數據運營、新能源運營平台，走向AI運營化。

如今，雲天勵飛還逐步走向AI産品化，從去年與華爲昇騰聯合推出天舟大模型訓推一體機，到此次推出面向邊緣訓推場景的深目AI模盒。此外，雲天勵飛還通過收購和投資，進軍智能穿戴、機器人等硬件領域，形成日益完善的大模型産品體系。（雲天勵飛進軍智能穿戴！收購IDH黑馬，搶灘大模型C端落地窗口）

推出深目AI模盒是雲天勵飛AI産品化路徑上的重要一步。據發布會透露，此次發布的是標准版型號，雲天勵飛今年還會發布一款基于雲天天書4.0V、DeepEdge10 Pro芯片的輕量版産品，明年將推出基于DeepEdge10 Ultra芯片的旗艦版。

作爲雲天勵飛二次創業的首款産品，深目AI模盒將于6月30日正式發售且面向所有客戶統一發貨，我們期待看到其在邊緣長尾場景中的實際應用，讓大模型在千行百業中轉化爲物理世界的新質生産力。