沈抖:傳統雲計算不再是主角,智能計算呼喚新一代“操作系統”

揚眼 2024-04-16 17:05:17

4月16日,Create 2024 百度AI開發者大會在深圳召開。期間,百度集團執行副總裁、百度智能雲事業群總裁沈抖正式發布新一代智能計算操作系統——萬源,通過對AI原生時代的智能計算平台進行抽象與封裝設計,爲用戶屏蔽掉雲原生系統與異構算力的複雜性,提升AI原生應用開發效率與體驗。

沈抖表示,隨著大模型技術的不斷演進,通過自然語言進行編程正在成爲現實。編程將不再面向過程或者面向對象,而是面向需求;編程的過程將成爲開發者表達願望的過程,並爲操作系統帶來革命性的變化。在操作系統的內核中,底層硬件從以CPU算力爲主變成以GPU算力爲主,並且新增了被大模型壓縮的世界知識。操作系統管理的對象發生了本質的變化,從管理進程、管理微服務,進化爲管理智能。

(百度集團執行副總裁、百度智能雲事業群總裁沈抖)

“傳統的雲計算系統依然重要,但不再是主角,我們需要一個全新的操作系統,對新的計算平台,也就是智能計算做好抽象和封裝,重新定義人機交互,爲開發者提供更簡單、更流暢的開發體驗。”沈抖如是說。

(百度智能雲發布新一代智能計算操作系統——萬源)

本次大會上,百度智能雲全新推出的“萬源”智能計算操作系統,旨在“橋接”算力效能與應用創新。具體來講,萬源主要由Kernel(內核)、Shell(外殼)、Toolkit(工具)三層構成,底層屏蔽掉雲原生系統與異構算力的複雜性,上層則爲AI原生應用的敏捷開發提供支撐與保障。

首先,在內核層,在算力資源管理方面,百度百舸·AI異構計算平台針對大模型訓練、推理等任務,對智算集群的設計、調度、容錯等環節進行了專項優化。目前,百舸能夠實現萬卡集群上的模型有效訓練時長占比超過98.8%,線性加速比、帶寬有效性分別高達95%,算力效能業界領先。

此外,百舸還兼容昆侖芯、昇騰、海光DCU、英偉達、英特爾等國內外主流AI芯片,支持用戶以最小代價完成算力適配。

(業界領先的單一任務一雲多芯大模型訓練解決方案)

目前,百舸已經實現了單一訓練任務下不同廠商芯片的混合訓練,且百卡規模性能損失不超過3%,千卡規模性能損失不超過5%,最大程度上屏蔽硬件之間差異,幫助用戶擺脫單一芯片的依賴,實現更優成本,打造更具彈性的供應鏈體系。

萬源內核中的另一個重要組成部分是大模型。大模型能夠將巨量的世界知識進行高效壓縮,並將自然語言的理解、生成、邏輯、記憶能力進行封裝。目前,萬源內核中既包含了業界領先的ERNIE 4.0、ERNIE 3.5大語言模型,也包括ERNIE Speed/Lite/Tiny等輕量級模型、文心視覺大模型和各具特色的第三方大模型,充分滿足用戶在不同業務場景下的多樣化需求。

在內核層之上是Shell層,通過百度智能雲千帆ModelBuilder解決內核中模型的管理、調度、二次開發等問題,屏蔽掉模型開發的複雜性,幫助更多人只投入少量的數據、資源和精力,就能快速精調出適合自己業務的模型。

在Shell層之上,千帆AppBuilder和AgentBuilder共同構成了工具層,爲開發者提供強大的AI原生應用開發能力。

在AppBuilder上開發AI原生應用的過程中,還可以直接調用通過ModelBuilder精調過的模型,讓整個開發過程變得極爲流暢和便捷。在應用開發完成後,可以一鍵發布到百度搜索、微信公衆號等平台,也可以通過API或SDK的方式直接集成到用戶自己的系統中。

萬源作爲開放的操作系統,未來還將進一步開放生態合作,爲應用開發者提供更多能力和接口;助力企業打造專屬的垂直行業操作系統;將萬源部署在客戶自有智算中心,提供穩定、安全、高效的智能計算平台服務;適配更多廠商異構芯片並發揮其最大效能。

當前,大模型技術與AI原生應用正在促使雲服務向以AI爲核心的新一代智能計算操作系統方向發展,這一趨勢不僅反映了技術發展的內在邏輯,也體現了市場需求的強勁推力,並開啓一個由AI驅動的嶄新的智能雲時代。

志成 曉風

0 阅读:4