蘋果開放AI研究成果，發佈多模態LLM模型Ferret

IT之傢 12 月 25 日消息，蘋果公司於 2023 年 10 月與哥倫比亞大學的研究人員合作發佈瞭名為 Ferret（雪貂）的開源多模態 LLM，但當時並沒有引起太多關註。

許多人工智能社區的人士都錯過瞭 Ferret 的發佈，他們對蘋果意想不到地進入開源 LLM 領域表示歡迎，尤其是因為蘋果傳統上被認為是一個“封閉花園”。

今天早上，經營著一個專註於醫學領域開源人工智能的歐洲非營利組織的 Bart de Witte 在 X 上發帖：“我不知何故錯過瞭這一點，蘋果於 10 月加入瞭開源人工智能社區。Ferret 的推出證明瞭蘋果致力於影響深遠的人工智能研究，鞏固瞭其在多模態人工智能領域領導者的地位……ps：我期待著有一天，本地大型語言模型（LLLMs）作為重新設計的 iOS 的集成服務運行在我的 iPhone 上。”

科技博客作者和 VentureBeat 撰稿人 Ben Dickson 在 LinkedIn 上寫道：“2023 年你最意想不到的人工智能發展是什麼？對我來說，這是蘋果發佈開源 LLM（盡管是非商業許可）。”

Ferret 以非商業許可證開源，這意味著它目前的版本不能用於商業目的。然而，它未來有可能被用於蘋果未來的產品或服務中。蘋果 AI / ML 研究科學傢 Zhe Gan 在今年 10 月的一條推文中解釋瞭 Ferret 的用途，稱它可以“在一個圖像中的任何地方、任何粒度上引用和定位任何事物”，它還可以使用圖像中任何形狀的區域來實現這一點。

簡單來說，Ferret 可以檢查圖像上繪制的區域，識別其中的元素，並將其框選起來。然後，它可以將識別出的元素作為查詢的一部分，並以典型的方式進行響應。例如，用戶可以在圖像中突出顯示一隻動物，並詢問其種類，Ferret 可以識別出該動物的物種，並知道用戶指的是圖片中的一隻特定動物。它還可以利用圖像中其他元素的上下文提供進一步的響應。

Ferret 的發佈對研究人員來說意義重大，表明蘋果正在逐步開放其 AI 研究，這與其以往神秘封閉的形象形成瞭鮮明的對比。此外，蘋果也面臨著基礎設施方面的挑戰。雖然蘋果正在努力增加其擁有的 AI 服務器數量，但與 ChatGPT 等模型相比，其規模可能仍然不足。除瞭與其他公司合作擴展其能力之外，開源模型也是蘋果正在探索的另一條路徑。

IT之傢註意到，一個有趣細節是，Reddit 的 r / Apple 版塊發現 Ferret“使用瞭 8 個帶有 80GB 內存的 A100 GPU 進行訓練”。鑒於蘋果過去與英偉達 GPU 的支持關系，這被視為蘋果對英偉達的罕見認可。