微軟自家模型孵化中:5,000億參數媲美OpenAI!

Hawk Insight 2024-05-08 10:10:57

當前,AI顯然已經成爲了微軟的主要議程,在與OpenAI合作開發出業界頂級大模型後,微軟似乎並未滿足于此。

微軟研究院先後不斷發布多個小模型(如Phi-3等),以擺脫對GPT-3.5、GPT-4.0等先進模型的依賴,並保持與AI初創公司和開源項目上的競爭力。與此同時,微軟成立了Microsoft AI部門,負責整合微軟的消費者AI工作以及Copilot、Bing、Edge等産品,並加強自身的AI研究和開發能力。

消息稱,微軟正在開發一款全新大模型,與Alphabet、谷歌和OpenAI等科技巨頭展開新一輪競爭。該AI模型代號爲MAI-1,擁有約5,000億個參數,預計最早將于本月的Build開發者大會上首次亮相。隨後,微軟首席技術官Kevin Scott也在領英個人賬號證實了此消息。

對于微軟來說,AI領域的開發采用了“雙管齊下”的策略:在爲移動設備開發小型本地模型的同時,並不放松對由雲端支持的大體量模型的開發。

上月底,微軟剛剛推出了一款輕量級AI模型Phi-3-mini,擁有38億參數,經過3.3萬億token的訓練,號稱其性能與GPT-3.5等模型勢均力敵,並兼容手機設備。重要的是,除了高響應精度外,該模型低廉的成本使其在對客戶群的吸引力上優勢十足。

不過,Phi系列模型最多使用140億個參數進行訓練,相比之下,MAI-1的規模比微軟此前訓練過的較小的開源模型大得多,將使用約5,000億個參數,可以直接與谷歌Gemini和亞馬遜Titan、OpenAI的ChatGPT等先進模型相抗衡。也正因如此,它將需要更高的計算能力以及更多的訓練數據,價格也將更貴。

該模型的開發將由谷歌DeepMind前聯合創始人Mustafa Suleyman負責監督。2010年,Suleyman與其他合夥人創辦了AI實驗室DeepMind,隨後被谷歌收購爲旗下AI研究部門。2022年,Suleyman從谷歌離職,創建了AGI公司Inflection AI。

除聘請Suleyman和Inflection AI的主要成員外,微軟還以6.5億美元獲得了Inflection技術的知識産權。據兩位微軟員工稱:“MAI-1與Inflection之前發布的模型不同,不過,訓練過程可能會用到其訓練數據和技術。”

爲了訓練該款模型,微軟正在大力囤積算力資源,已經預留了一大批配備英偉達GPU的服務器,計劃到今年年底囤積180萬塊AI芯片,到2027財年末,預計將在GPU和數據中心上花費約1,000億美元。

此外,該公司還一直在編制訓練數據以優化模型,其中包括來自GPT-4生成的文本,以及外部來源(互聯網公共數據)的各種數據集。

0 阅读:8

Hawk Insight

簡介:思考多一點,洞見遠一點