黃仁勳:加速計算重塑未來,將入局人形機器人

烏鴉智能說 2024-04-24 14:08:40

在本期CadenceLIVE訪談中,來自Cadence的Anirudh Devgan與黃仁勳展開了對話。Nvidia創始人兼首席執行官黃仁勳在對話中表示,在AI發展過程中,底層計算將發生轉型,加速計算將有效提升計算性能,加速計算和人工智能將徹底改變所有行業,從設計電子産品和軟件到開發新材料和藥物。他認爲,加速計算將使人工智能模型更加高效,並幫助我們節省能源。

他還分享了自己最感興趣的三個行業:數據中心及計算、機器人和自動系統、生物領域。他非常熱衷于全新的自主系統領域,還將著手打造下一代人形機器人。制造一個人形機器人的成本可能會低于人們預期,可能只需1萬到2萬美元,而汽車的售價就在這個區間。人形機器人在爲人類設計的環境中可能比人類更加靈活、高效,比如制造車間、倉庫等都是爲人類設計的。生物學作爲一個非常複雜的領域,還有很多創新空間,面對這樣一個大規模且高度混沌的系統,他相信通過計算及將數據驅動與模擬方法相結合,可以有效解決很多存在的問題。

他還在訪談中談到了Nvidia的管理秘訣,強調授權員工、公開透明以及跨團隊協作的重要性。在英偉達,所有決策都是公開透明的。黃仁勳也喜歡當著大家的面,合理地闡述思路,這種工作方式也深深影響了英偉達的員工。他強調,英偉達是一家全棧公司,做聯合設計,因此在組織架構和運營上特別重視跨團隊同步。以下爲本期內容目錄:

01 加速計算勢在必行

02 黃仁勳最期待的三個行業

03 AI和數據中心的功耗問題

04 英偉達的管理秘訣

/ 01 / 加速計算勢在必行

Anirudh Devgan:非常感謝,Jensen。看到我們的這種夥伴關系令人難以置信。你現在確實是教父了,大家都這樣稱呼你。作爲傾注全部心血推動行業創新的人,當"教父"說了什麽,事情就會發生,當"教父"想要什麽,就一定會得到,雖然對你來說顯然不是這樣。

但就AI而言,你占據了最佳位置,成爲了推動大部分創新的引領者。在未來5年,你覺得會發生什麽變化?比如模型會變得越來越大、越來越專門化,數據中心的架構會有何變化?當然,這是一個長期的過程,但特別是在未來5年裏,你認爲AI會沿著何種方向發展?

Jensen Huang:讓我們先退一步看看大局。確實,Anirudh,你的主題演講很可能是對底層計算轉型最集中、最生動的體現和例證。原因很簡單,我們都知道,沒有計算,就沒有Cadence;同樣,沒有Cadence,也就沒有計算。所以,底層計算平台的根本轉變和轉型,對Cadence來說是最基礎的,也是對于每個依賴Cadence的行業來說是最基礎的,而幾乎所有行業都依賴Cadence。

回顧你的主題演講,僅僅是Millennium項目一個就足以突出加速計算帶來的巨大好處。一旦進入加速計算時代,就能實現生成式AI,而沒有向加速計算的這一轉型,生成式AI將非常難以實現。加速計算的好處是,過去用CPU算力擴展很難擴展的任務,突然之間就能獲得1000倍的加速;在此基礎上再疊加生成式AI,又能獲得30倍的性能提升;把生成式AI和加速計算結合使用,能獲得10萬倍的性能放大。

你一開始也說得非常好,設計師希望探索多模態、多維的設計空間,其中沒有一個正確答案,只有一個最佳答案。我們需要探索成千上萬種不同的可能性,但用遍曆的方式來窮舉所有設計可能性顯然是不可能的,即使有無限計算能力也無法完成。所以我們需要AI來幫助我們跳到特定的探索和優化區域,然後來精確定位。

因此,我們可以在多個方面開展密切合作。加速計算首先將改變Cadence開發軟件的方式,也將改變我們使用軟件的方式。除此之外,我們設計電路、芯片、印制板、系統,現在甚至包括數據中心,都在Cadence內完成。我們從頭到尾,從電路設計、邏輯設計、系統設計,到仿真、驗證、形式化驗證,以及其他各個環節,都是使用的你們的工具。現在,設計空間不再局限于芯片或系統,而是橫跨整個領域的聯合設計。計算機科學行業稱之爲全棧,而在工程領域,我們稱之爲聯合設計。無論叫法如何,關鍵是要在整個系統上進行創新。

你還觸及了一個非常深刻的觀點,通過投資加速計算、AI和數據中心,我們能夠設計出更高效、更節能的産品。要知道,我們只需要設計一次芯片,但它會被運行數萬億次;我們只需建設一次數據中心,但你展示的6%能效優化,將爲全球數十億人持續帶來節能收益。所以,雖然我們會在AI數據中心上消耗更多電力,但另一方面,對于剩余98%的社會能源消耗,我們將通過設計更好的軟件、芯片、系統、電腦、汽車、手機、材料等來節省能源。我認爲,現在確實是一個被人們稱爲"轉折點"或"過渡期"的時代,而你的主題演講正是對此最好的诠釋,這也是令人非常振奮的時代。

Anirudh Devgan:Nvidia所做的轉型非常了不起。你們不僅在制造最佳芯片,更是在構建整個數據中心、整個系統和整個軟件棧。你在GTC的主題演講中展示了機架、液冷數據中心等,涵蓋了整個系統架構。對于一家典型的芯片公司來說,這樣的轉型並不容易。Nvidia已經成爲一家完整的軟件系統公司。我很好奇,你是如何做到這一轉型的?一開始你就有這樣的想法,還是漸漸展開的?因爲對一些公司來說,即使只是嘗試從系統公司轉型爲芯片公司都很困難,但Nvidia已經完美地實現了從芯片到系統、軟件、數據等全方位轉型,我很想知道你是如何完成這一過程的。

Jensen Huang:我們當初做出了一些正確的判斷,這也經過了我們的長期觀察檢驗。

第一,我們觀察到,在一個程序中,很小一部分代碼占用了絕大部分運行時間。比如對于CFD(計算流體動力學),可能只有3%的代碼占用了99.9999%的運行時間。如果是這樣,爲什麽要對所有100%的代碼使用完全相同的工具、儀器和處理器呢?不如針對97%的代碼采用一種方式,針對3%的代碼采用另一種特殊方式,這樣就可以將應用程序加速10萬倍。這是我們當初的觀察結果。

當然,能從這種方式中獲益的應用程序種類很小,我們選擇計算機圖形學作爲加速計算的第一個應用領域是很明智的,因爲它需要大量並行計算,而且是一個創新叠代很快的大市場,非常適合嘗試加速計算。

但我們一直設想,除了計算機圖形學之外,還會有許多其他應用程序加入加速計算的行列。加速計算與通用計算是不同的,通用計算可以創建一種處理器來運行所有代碼,但加速計算則不是這樣,因爲它是專門加速特定應用的計算平台,必須知道加速的是什麽應用。

在Nvidia,我們從計算機圖形學開始,然後擴展到影像處理、分子動力學等領域。順便說一句,我很高興看到你們在數字生物學領域所做的工作。如今我們把它稱爲"藥物發現",之所以這樣稱呼,有點像蘑菇發現,你進入森林就會發現蘑菇。你能想象,如果把芯片設計行業稱爲"芯片發現"行業嗎?那是因爲我的工程團隊會過來說:“嘿,看看我們發現了什麽,是Blackwell!”但第二年可能就一無所獲了。這在我們芯片設計行業是無法想象的,因爲我們不會做出沒有目標和計劃的事情。

之所以會這樣,是因爲生物學比我們想象的要複雜得多。我們可以調整晶體管,使用設計工具,但無法對生物做同樣的事情,設計工具需要追上生物學的步伐。所以我認爲,生物學將成爲Cadence的一個巨大産業,你之前提到的1%機會,對生物學來說將是一個巨大的機遇。

生物學、交通運輸等,每個行業的應用都不盡相同,或涉及成像、粒子物理、流體、有限元等,算法也不同。Cadence和Nvidia都是數學和計算公司,這就是我們合作如此緊密的原因。當我和Anirudh一起時,我們都能很快理解對方,點頭便是明白,搖頭便是不理解。如果我們同時搖頭,那就說明我們遇到了麻煩。無論如何,我們始終專注于特定領域的加速計算。在過去30年裏,我們在CUDA架構之上積累了大量特定領域的庫,涉及粒子、成像、人工智能等方方面面。

/ 02 / 黃仁勳最期待的三個行業

Anirudh Devgan:你在GTC上的主題演講非常精彩,以至于我建議你下次租用更大的體育館場地。你強調了幾乎所有行業的橫向賦能,但也提到了一些潛力巨大的行業,比如你談到的生命科學、機器人和自動駕駛等。在短期或中期內,你最期待哪一兩個行業的發展?

Jensen Huang:你提到的數據中心和計算、汽車(我把它概括爲機器人和自動系統)、生物領域,正是我最感興趣的三個行業。

對于自動系統這一大類,無論是汽車、卡車、外賣機器人還是人形機器人,都有很多共同點。它們都需要多傳感器輸入、極其重視功能安全性,所以計算機的設計、驗證、認證非常重要。它們使用的不是普通的操作系統,而是無故障安全操作系統,系統設計要非常謹慎、專門化。當然,人工智能的使用也極爲廣泛。而且這些系統都將與雲和數據中心實時連接,以便更新新體驗、上報故障異常情況,並下載新模型。

我非常熱衷于這個全新的自主系統領域,我們將著手打造下一代人形機器人。制造一個人形機器人的成本可能會低于人們預期,可能只需1萬到2萬美元,而汽車的售價就在這個區間。人形機器人在爲人類設計的環境中可能比人類更加靈活、高效,比如制造車間、倉庫等都是爲人類設計的。所以我對這一領域很感興趣。

我也很期待我們能將生物學轉變爲一個工程領域。科學發現的過程固然重要,但往往是零散和偶然的,這就是摩爾定律存在的原因。如果我們不轉向加速計算和AI,計算機行業也將受到摩爾定律的影響。這是因爲我們所做的計算工作持續增長,但CPU的擴展能力已經放緩,因此我們將面臨計算成本上漲而非下降。所以我們必須轉向加速計算,以節省能源、時間和成本。我認爲數字生物學將經曆一個整體複興,科學和工程將更加融合。生物學是一個非常複雜的領域,在這個領域還有很多創新空間。不過有一點是確定的,我們現在擁有了必要的工具,計算系統、算法能夠幫助我們處理大規模的、高度混沌的系統。正如你之前所說,將數據驅動方法與嚴謹的模擬方法融合,可能給了我們一線生機。

/ 03 / AI和數據中心的功耗問題

Anirudh Devgan:您對AI和數據中心的功耗問題有何看法?當然,我們可以進行優化,一種方式是,加速計算實際上可以降低功耗,人們可能沒有意識到這一點。不知您對AI的功耗問題及其他可能的應對措施有何看法?

Jensen Huang:正如Anirudh在演講中所示,加速計算將成千上萬台通用服務器(會消耗10-20倍的能源和成本)壓縮到非常密集的形態。人們之所以認爲加速計算功耗很高、成本很大,正是由于加速計算的高密度造成的。但是,如果從完成的工作量或吞吐量角度看,加速計算實際上節省了大量資金。隨著CPU擴展能力放緩,轉向加速計算變得必不可少,因爲傳統方式已無法繼續擴展。

其次,您在主題演講中非常精辟地指出,AI實際上有助于節能。如果不是您創建的AI模型,我們如何能找到6%或10倍的節能潛力?這是沒有AI無法實現的。你只需投資一次模型訓練,就能讓數百萬工程師獲益,數十億人在幾十年裏從中獲得節能收益。所以我們不能只考慮單次的投資和成本,而要縱向地考慮醫療、氣候變化、資金和能源節約等長期影響。從這個角度看,AI在幫助我們應對氣候變化、節約能源等方面將産生深遠的變革作用。

/ 04 / 英偉達的管理秘訣

Anirudh Devgan:Jensen,你有著非常獨特的管理風格和領導力,組織機動性強、決策高效,這一點確實令人難以置信。現場有很多工程師、經理和領導人,不知您是否能分享一些建議,如何將想法轉化爲行動?

Jensen Huang:Nvidia管理體系和領導理念的核心,是爲出色的員工創造條件,讓他們能夠做自己畢生的事業。要做到這一點,最重要的一點是授權他們獲取信息。我基本上所有決策都是公開透明的,而不是只對某個人密授,因爲每個人都應該了解公司的信息和挑戰。

我也喜歡當著大家的面,合理地闡述思路。這迫使我們提出方向建議時植根于良好的推理,在影響他人的同時也在教導如何合理思考。能夠將一個複雜抽象的想法合理地闡釋到我們現在應該做什麽或不做什麽,這個過程極富啓發性,這也是Nvidia雖然只有2.8萬員工但實力超群的原因。幾乎每個人都有權基于推理做出合理決策。

最後,你的組織結構應該反映你打造的産品特性。Nvidia是一家全棧公司,我們做聯合設計,這就意味著不應該只用硬件團隊或軟件團隊單獨工作,而是要跨團隊同步,因爲我們在做聯合設計。所以我努力營造一個環境,讓公司各層級的專家和貢獻者都能參與解決同一個問題。這就是我們的一些原則。

0 阅读:19

烏鴉智能說

簡介:人工智能新時代的商業智庫和價值燈塔