Meta智能眼鏡用上多模態Llama3!國內AR眼鏡機會來了

之槐看科技 2024-04-25 03:49:28

編輯:編輯部

【新智元導讀】多模態Llama 3還未發布,已經用在科幻中存在的AR眼鏡上了!不僅能爲你搭配衣服,還能打視頻、實時翻譯,只要你能想到的,它全能實現。

科幻大片中的AR黑科技,竟走進了現實!

就在剛剛,Meta自家的雷朋智能眼鏡,已經開始支持多模態版的Llama 3了!要知道,Llama 3的開源版本還沒支持多模態呢。

就在最近,小紮還在訪談中承認願意開源價值100億美元的模型,不過,如果涉及到産品側,那就是另一回事了。

诶,産品這不就來了麽——

戴上這副智能眼鏡,外出旅行坐車感到無聊時,可以讓Meta來點音樂。

帶著AR眼鏡,還可以直接翻譯不認識的語言。又或者在路上騰不出手時,Meta可以給好友發語音信息。

走到一座建築前,呼叫Meta告訴自己關于它更多的信息。

甚至,視頻電話、直播,科普等,只要是你能想到的,AR眼鏡全可以做的到。

Meta介紹,去年12月便開始在雷朋Meta智能眼鏡上,測試了多模態AI。目前,已經在美國和加拿大地區銷售的眼鏡上推出了這一新功能。

小紮也來炫技了

這款眼鏡配備了一個1200萬像素的攝像頭和五個麥克風,集成Meta AI助手後,意味著帶著它可以做更多的事。

你看到的任何東西,它都能描述出來。

只需說一句,「Hey Meta,看看這個,告訴我它是什麽?」,語音命令即可控制。

看著廚房櫃台上一堆食材,Meta能夠迅速制作出相關的食譜。

更有意思的是,小紮本人還在Ins發布一個帶上智能眼鏡,爲自己挑選衣服的視頻。

他挑選了一個深色的襯衣,並問Meta我應該搭配個什麽樣的褲子。Meta給出了牛仔褲、短褲的建議。

他還讓智能眼鏡給一張萌寵的照片,配上了有趣的描述。

小紮手裏拿著一種水果,智能眼鏡能告訴他這是面包果。

而對于AR眼鏡來說,實時翻譯將成爲一款殺手級應用。

當你旅行時,正在試著讀一份法語菜單。不用查閱手機,智能眼鏡就可以完成實時翻譯。

它甚至可以閱讀不同語言的手勢,簡直是旅行必備單品。

此外,除了得到多模態Llama 3的加持,Meta還公布了智能眼鏡集成了WhatsApp和Messenger的免提視頻通話。

與此同時,不同時尚款式的鏡框設計,都可以專配處方鏡使用。

不過,這款智能眼鏡起價爲300美元(2100元),並不便宜。

實測外出識物,比手機方便

蹭著更新的熱乎勁兒,外媒The Verge發布了提前拿到內測資格的評測。

前段時間,Humane智能設備AI Pin因性能不如人意,全網陷入了非議之中。關鍵是700美元,根本不值。

作者表示,「我們要對Meta智能眼鏡的期望值不要太高,因爲它並非無所不能」。

測試中的一半的樂趣,就是找到它的極限在哪。

它能否正確識別街上這輛隨機的汽車?(一輛Alfa Romeo Giulia Quadrifoglio和一輛Alfa Romeo Tonale)。

與大多數AI一樣,Meta AI有時非常准確,有時又會出現幻覺。

它正確地識別出了Giulia。但Tonale也被識別爲Giulia。

但有趣的是,這兩款車幾乎沒有相似之處,Giulia是一款轎車,而Tonale是一款跨界SUV。

作者還讓它識別自己種的多肉植物(由于有些是別人送的,自己也並不完全清楚具體品種)。

Meta回答的是,「Echeveria、aloe vera蘆荟和Crassula品種」。

但其實,作者用可通過AI照片識別植物的應用程序Planta進行驗證,發現植物當中沒有一株是Echeveria。

最精彩的是,作者的愛人偶然看到鄰居家後院一只大松鼠,戴上智能眼鏡去要識別出是什麽品種。

作者用手機拍下了照片,並用另一款應用試了一番。

果然,Meta識別錯了,而作者使用的APP成功識別出它是土撥鼠。

然而,當再用智能眼鏡去識別手機中的照片時,確給出了「土撥鼠」正確的答案。

這個案例中,說明了AR眼鏡缺少「變焦」功能,才導致回答錯誤。

除了多模態識別能力之外,作者測試其與手機配對時,響應速度也是非常地快。同時,智能眼鏡將聲音功能集成一體,省去了戴眼鏡的麻煩,讓交互更加自然。

總得來說,Meta智能眼鏡在戶外活動,AI助手在識別事物上發揮了巨大的作用。

以往,作者外出看到感興趣的東西時,需要掏出手機拍照在識別。

而現在,智能眼鏡也可以很好地延伸手機的能力,前提是不要將想要識別的內容放大很多倍。

參考資料:

https://about.fb.com/news/2024/04/new-ray-ban-meta-smart-glasses-styles-and-meta-ai-updates/

https://www.theverge.com/2024/4/23/24138090/ray-ban-meta-smart-glasses-ai-wearables

0 阅读:46

之槐看科技

簡介:感謝大家的關注