蘋果釋出「Ferret」開源機器學習模型！AI最新突破

蘋果與康奈爾大學的研究人員在十月份悄悄推出了一個開源的多模態 LLM，名為「Ferret」，這個研究版本可以利用圖像的區域進行查詢。

這次十月份在 Github 上的推出並沒有引起太多關注，並沒有公告或宣傳。Ferret 的程式碼與 Ferret-Bench 同時釋出，於十月30日首次發布檢查點版本，並在 2023 年 12 月 14 日進行了更新。

《VentureBeat》報導稱，雖然一開始並未引起太多關注，但這個釋出在週六引起了更多 AI 研究者的關注。一家醫療 AI 非營利組織的負責人 Bart De Witte 在 X 上發帖指出這個「被忽略」的釋出，並稱這是蘋果致力於有影響力的AI研究的明證。

Ferret 的開源是基於非商業許可進行的，目前無法商業化。但未來仍有可能被應用於蘋果的產品或服務中。

蘋果 AI/ML 研究科學家甘喆（Zhe Gan）在十月份的一則推文中解釋了 Ferret 的用途，它是一個可以在圖像中「隨時隨地引用和定位任何位置」的系統。它還可以使用圖像中的任何形狀的區域來實現這一點。

這個模型可以檢查圖像上的區域，確定其中對用戶查詢有用的元素，識別它並繪製出一個限定框以框出檢測到的元素。然後可以將識別的元素作為查詢的一部分，並以常規方式回答查詢。

這個釋出對研究者來說非常重要，因為它表明蘋果希望在 AI 工作上更加開放，而不是像往常一樣保持神秘。

除了以上，蘋果還面臨著基礎設施的問題，雖然它正在努力增加擁有的 AI 服務器數量，但目前可能尚未具備與 ChatGPT 等同等競爭的規模。不過，蘋果可以與其他公司合作擴大其能力，另一種路線就是像它剛剛做的那樣，釋出一個開源模型。

在 Github 釋出的一個有趣細節是 Reddit 的 r/Apple 注意到 Ferret 是「在 8 個 A100 GPU 上訓練的，擁有 80GB 記憶體」。鑑於蘋果過去對 Nvidia GPU 支持的態度，這被視為對 GPU 生產商的罕見承認。

相關文章：

愛瘋日報