蘋果Vision Pro之父首次揭秘背後研發細節

編譯 | 徐珊

編輯 | 雲鵬

智東西6月19日消息，近日，蘋果公司技術開發團隊副總裁Mike Rockwell登上瞭WWDC23脫口秀舞臺，在和主持人John Gruber的交流中，他分享瞭Vision Pro研發過程一些有趣的內部細節，並對visionOS系統的優勢給出瞭更細致的解答。

“我們想要打造一臺空間計算電腦，你可以通過它直接進入一個新的空間。這是我們的初心。”Rockwell說道。他在接近40min中的采訪中，回答瞭有關Vision Pro中十大關鍵問題，涉及到核心功能如Eyesight、空間視頻亮點功能解析、交互技術背後的思考、虛實信息如何相融呈現等。

從左到右分別為：Mac硬件負責人John Ternus、蘋果副總裁Mike Rockwell、主持人John Gruber

作為Vision Pro頭顯項目的一把手， Rockwell可以稱得上是“Vision Pro之父”。從Rockwell的分享中，我們瞭解到發佈會上很多驚艷眾人的技術，如空間視頻、手勢追蹤、眼動追蹤等，蘋果早已深耕多年。蘋果公司構建Vision Pro的基本準則是什麼？Eyesight功能是如何實現的？蘋果是如何佈局虛實交互技術的？

智東西在不違背原意的情況下，編譯瞭Mike Rockwell的訪談記錄：

問題1：你五年前開始討論ARKit提到的內容和如今的產品似乎相差甚遠。現在的你，是在構建一個新的平臺嗎？

Mike Rockwell：在我們開發產品的時候，會有些一些的設計準則。第一條就是我們希望它有用。我們想要打造一個非常有用的工具，而不是玩具。

這也導致瞭我們後續針對顯示器等多方面做瞭全面的優化。現在，我們的顯示器擁有超高清的分辨率，甚至可以渲染文本。

比如說，你正在看著一個Safari窗口，你不但可以直觀、清晰地看到窗口裡的文本信息。而且當你以不同的視角觀看文本信息時，也同樣清晰。這是因為，我們在3D系統上，一對一的渲染文本信息，甚至打造一種全新的字型渲染系統。

我們的第二條準則是，我們希望這款設備，不會將你與你身邊的任何人隔離開來，而是將相隔較遠的人們連接起來。

這也是我們打造兩大關鍵技術Eyesight和Persona的主要原因。

當你佩戴設備時，你要如何讓人們能夠直觀看到你的眼睛呢？借助蘋果打造的Eyesight功能，你佩戴頭顯後，通過視頻透視功能，讓其他用戶可以直接看到你的眼睛。

同時，我們還想通過一種新的方式，能夠讓不同地方的人一起工作。所有的這些設計準則結合在一起後，幫助我們打造真正與眾不同的產品。

問題2：Eyesight方面，我想到瞭視差問題，比如說如果我坐在你的正前方，可能頭顯能夠輕松在屏幕上“復現”你的眼睛。但是當我坐到你的側邊時，頭顯上的眼睛又該如何變化呢？

Eyesight功能

Mike Rockwell：我們是為任何角度和你對視的人打造一個新的視圖。我們在頭顯內部做瞭一個雙層光柵顯示器，第一層是弧形的光柵顯示器，提供不同的光學數據。

我們並不是用AI模擬用戶眨眼的畫面，而是實時還原瞭你的眼睛動作。無論是眨眼、瞇眼還是其他，頭顯都能及時同步。目前，Eyesight的畫面渲染范圍主要在眼睛周圍，延遲基本為0。我希望，當人們看到它的時候，設備幾乎是透明的，佩戴起來無壓力。

問題3：盡管你多次提到打造頭顯時，不希望將人們分開，但是把頭顯戴在頭上時，用戶多少會感受到一定的隔離感。你是如何看待這一點的？

Mike Rockwell：我們做瞭很多事情，幫助頭顯成為一款可以連接人與人的設備。比如說，戴上頭顯後，用戶能直接看到世界、Eyesight功能等。當你沉浸式投入數字世界的時候，數字內容可能成為你和他人連接的阻礙。但是如果你能看見他們或者他們能夠看到你，這樣的局面就會發生改變。

我們認為（頭顯）的作用是“添加一個世界（add a world）”，而不是將你帶入一個新的世界。不僅如此，我們還想要在工作場景中實現協作辦公的模式。比如說，當你戴著頭盔的時候，很難用手機和他們進行Facetime。我們可以通過在頭顯中，創造一個你的形象，和他人進行遠距離的互動。

問題4：我想過Vision Pro會有攝像頭來記錄周圍事物，但我沒想到Vision Pro能夠拍出如此令人驚艷的視頻。你們是怎麼想到的？

Mike Rockwell：當我們構建這個頭顯的某天，我們有瞭打造空間照片/視頻的想法，並做瞭一些嘗試。我們發現空間視頻能夠讓他們想和他們愛的人重溫歡快時光的功能，察覺這一點後，我們決定把它放在產品中。

空間視頻就像是時光機。當你拍下一些對傢人來說特別的時刻，你通過播放視頻或者查看照片不斷“回到”那個時刻。想象一下，你的父母住在大洋彼岸。當你給孩子拍攝這樣的視頻給父母看，父母會覺得離親人很近。

空間視頻功能

問題5：空間視頻的呈現的方式真的很棒，當我用手指向視頻回憶裡的內容時，仿佛我正在和他們交互。你是如何看待虛實交互方式的？

Mike Rockwell：我們所做的一件事，就是要在物理世界上呈現數字世界的內容。特別是，如果你要想要兩種世界的細節也能相互交互，現在我們的交互方式是通過手部捏動，或者註視某個圖標完成交互。

一般來說，物理世界和虛擬世界交互時，我們很難數字內容放在自己的手中。盡管我們能畫出它，畫出一雙手，但是在數字世界裡，你不能“呈現”自己的雙手。所以我們必須做出一個非常復雜的實時扣圖算法來識別你的手在哪裡，R1搜集信息扣出圖片，然後將它通過視頻和我們設計的內容相合成。

你可以將手放在數字內容前面並與之相互動。雖然你可能認為其看起來很簡單，但是事實上，這背後發生瞭很多事情。

問題6:當我戴著頭顯回頭和同事聊天後，轉身回來，發現之前的窗口位置不會發生變化。你們是怎麼保證畫面穩定性的？

Mike Rockwell：它的穩定性是所有相機、傳感器以及芯片的功勞。尤其是，我在visionOS部分曾談到我們系統擁有實時模塊。我們對系統進行瞭細致的調整，所以我們能夠提供非常穩定的畫面。

即便在40000米高空，我們仍能夠保證畫面穩定。這並不容易，因為飛機會轉彎、前行等不斷變動位置，系統上的IMU難以處理數據。在這裡，我們做瞭一些“神秘”的事情，能讓你隨時去到你想去的地方。

問題7:頭顯的開機設置時需要測量眼睛的數據、手部的數據？

Mike Rockwell：對，我們的輸入系統會涉及到多個設備，這些信息通過神經網絡匯總，從而定制化用戶信息。

在開機設置時，我們隻要一部分信息。我們要做的第一件事就是“認識”你的手。因此，你要做的就是將舉起雙手幾秒鐘，我們就能夠準確地識別輸入你的雙手信息。

至於我們的眼動追蹤，十分精準。當你剛剛拿到產品時，我們需要對你做一次測試，隻需要一次，後續使用的時候並不需要重新設置。整個設置的流程非常快。一旦我們有瞭這兩項技能，我們就可以開始進入到界面。

我們的手部追蹤功能十分精準，我們不想讓你的雙手緊握控制器。現在你可以通過雙手來提高工作效率，你可以通過鍵盤輸入，可以通過手機手表來控制信息。方式多樣，選擇自由。當你在使用Freeform時，你可以看到頭顯的手部追蹤相當精準。

問題9：3499美元是一個非常“專業”的價格。但是頭顯能夠適配足夠專業的軟件嗎？比如說，像是Final Cut Pro和iPad適配，人們等待瞭很長時間。

Mike Rockwell：我們現在主要在做的幾件事：一個是協作。我們所有人都在做某種形式的混合工作或者會在不同的地方工作，或者在路上工作。面對這些場景，Vision Pro能夠帶來超乎尋常的體驗，因為你可以隨時創造完美的工作環境。

我知道你們中的許多人都參與過Web 或者Zoom的電話會議。線上會議上，有人正在展現一些內容，但是當你看到其他人的時候，他們就像一個小方塊，每個人都就像一個像素。

而Vision Pro則提供瞭一個巨大的屏幕，你可以以這種方式與人們一起工作。不僅如此，如果你使用像Freeform這類的協作應用程序，在Vision Pro中共享文件時，你可以讓多個同事，同時處理文件，就像在同一個房間裡一起工作一樣。

另一個是，我們可以將Mac上的顯示屏同步到Vision Pro中。假設你有一款舊款的Macbook Air，它的屏幕可能比較小，但當你戴上頭顯後，你可以擁有一個巨大4K屏幕。

並且，你還可以用Final Cut Pro，同時進行22個8K視頻。你還可以在這裡運行iPadOS和iOS軟件，無需更改。

通過Vision Pro，你可以為你的生產力創造一個完美的空間。我們對消費者展現瞭一些場景。對那些試圖借此完成工作的人來說，它是一款超級強大的設備。visionOS是一個非常強大的多應用程序、多任務操作系統，它將帶來驚人的生產力和專業場景。

至於軟件研發方面，為瞭讓整個設備易於開發，我們為開發人員付出瞭相當大的努力。

如果你是一名iOS開發者，您進入Xcode，將目標設置為visionOS，然後構建空間應用，你就有瞭構建空間應用的起點。如果你是開始使用Unity的人，我們做瞭打造瞭一款便於開發者的工具編寫應用程序。無論你用的是什麼工具軟件，都是在共享相同的3D空間。

問題10：真正地將Vision Pro和visionOS推向世界，感覺如何？

Mike Rockwell：蘋果的許多研發團隊為推出這款產品付出瞭許多努力，就像我們有芯片團隊、軟件工程團隊、 Mac團隊、我的團隊和Siri團隊。實際上，Vision Pro是所有工程團隊一起開發的蘋果產品。

Vision Pro發佈

Vision Pro頭顯發佈，對我們來說是個很大的鼓舞，也是一場豪賭。我們構建瞭它，迫不及待地想要將它交給人們手中，對產品的反饋也感到非常興奮。

結語：頭顯賽道的創新，蘋果給出新回答

蘋果的Vision Pro頭顯上，既反射出的近年來產業玩傢共同推動的一些創新，如Pancake、視頻透視等，也同樣逃不脫產業玩傢共同的難題，如續航、近視等。

但是，相較於當前賽道的多數產品，蘋果通過多年深耕將每個創新點發揮到極致，在八年時間中，選擇將每項功能打磨成自己想要的樣子。比如說，蘋果堅持通過“雙面屏”的方式復原人臉、堅持要建立人與人之間的連接，不計代價。

Vision Pro頭顯，在我個人看來，會感受到驚喜，但不會感受到意外。

驚喜之處在於，蘋果頭顯的顯示屏的確解決瞭不少顯示難題，效果反響較好。同時，蘋果在Vision Pro頭顯的具體應用設計上，如空間視頻拍攝、Persona功能都頗具看點。但整個產品設計還是和常見的VR頭顯類相似，並不如當年手機從功能機走向智能手機那般意外。

不過，頭顯屆的“iPhone”才剛剛到，或許到瞭“iPhone 4”面世時，有更多的驚喜在等著我們。