OpenAI在一場名爲“OpenAI春季更新”的YouTube直播中展示了新功能，這場直播由OpenAI的首席技術官Mira Murati以及員工Mark Chen和Barret Zoph共同主持。直播中，他們不僅宣布了新消息，還現場演示了GPT-4o的實際運作，包括它的音頻對話和視覺理解能力。這讓觀衆能直接看到和聽到GPT-4o如何使用這些新增的高級功能進行交互。
OpenAI宣稱，GPT-4o對音頻輸入的平均響應時間約爲320毫秒，這與2009年一項研究中提到的人類對話時的反應時間相近，比以往模型常見的2到3秒延遲要短得多。OpenAI表示，他們通過一種全新的方式訓練了GPT-4o模型，這種方式從頭到尾集成了文本、視覺和音頻的處理，使得所有輸入和輸出都是由同一個神經網絡處理的。這樣的設計讓GPT-4o能在不同類型的感官信息之間更加無縫地工作，提高了交互的實時性和自然度。
演講者還特別強調了GPT-4o增強的視覺理解能力。用戶只需上傳截圖、包含文字和圖片的文檔或圖表，就可以與GPT-4o圍繞這些視覺內容進行對話，並獲得它提供的數據分析。在直播演示中，這款AI助手展現了分析自拍照、識別情緒的能力，甚至還能就圖片內容進行輕松幽默的交談。
此外，GPT-4o在超過50種語言上的速度和質量也有所提升，OpenAI表示這覆蓋了全球97%的人口。該模型還展示了其實時翻譯的能力，幾乎可以瞬間完成不同語言使用者之間的對話翻譯，極大地促進了跨語言交流。
OpenAI最初在2023年9月向ChatGPT引入了語音對話功能，該功能利用了Whisper這一人工智能語音識別模型進行輸入，並采用了定制的聲音合成技術進行輸出。在此之前，OpenAI的多模態ChatGPT界面操作涉及三個步驟：轉錄（從語音到文本）、智能處理（將文本作爲標記處理）和文本轉語音，每一步都會增加延遲。而GPT-4o據稱能同時完成所有這些步驟，正如Murati所描述的那樣，它能“跨越語音、文本和視覺進行推理”。
在直播中，屏幕上顯示的一張幻燈片背後，他們將此稱爲“全功能模型”。OpenAI宣布，GPT-4o將面向所有ChatGPT用戶開放，付費訂閱用戶可享受免費用戶速率限制的五倍。以API形式提供的GPT-4o據說將比GPT-4 Turbo的速度快兩倍，成本降低50%，並且速率限制提高五倍。（目前，GPT-4o僅作爲文本模型在ChatGPT中可用，音頻和視頻功能尚未上線。）
直播中展示的功能，以及OpenAI網站上衆多視頻中所呈現的，讓人回想起2013年科幻電影《她》中的對話式AI助手。在這部電影中，主角對AI個性産生了個人情感依戀。鑒于OpenAI的GPT-4o所展現出的模擬情感表達能力（可以說是人工情感智能），人們與OpenAI的助手建立起類似的情感聯系並非不可想象，過去我們已經在某些情況下見證過類似情況。
Murati承認，GPT-4o的實時音頻和圖像功能在安全方面帶來了新的挑戰，並表示公司將繼續在接下來幾周的叠代部署過程中，研究安全問題並征求測試用戶的反饋。
OpenAI表示：“GPT-4o已經接受了來自70多名外部專家的廣泛外部紅隊測試，這些專家涉及社會心理學、偏見與公平性、以及誤導信息等領域，旨在識別新增模態所帶來的或放大的風險。我們利用這些學習成果來構建我們的安全幹預措施，以提高與GPT-4o互動的安全性。我們將繼續發現並緩解新出現的風險。”
周一的時候，OpenAI還公布了幾項ChatGPT的更新。其中一個是爲macOS系統設計的ChatGPT桌面應用，已經開始向部分ChatGPT Plus訂閱用戶小範圍推送了，之後幾周會更廣泛地開放給更多用戶。OpenAI還優化了ChatGPT的界面，增加了新的首頁和信息布局，讓使用起來更順手。
再說說上面稍微提過的GPT-4o模型，一旦它普及開來，ChatGPT的免費用戶也能享受到一些以前只有Plus、團隊和企業版用戶才能用的功能，比如網頁浏覽、數據分析、GPT商店以及記憶功能。這樣一來，免費用戶也能體驗到更多強大和便利的功能了。
