最近國外有個博主發瞭一段非常酷炫的視頻。
視頻裡，攝影鏡頭仿佛搭上瞭筋鬥雲，以各種不可思議的角度在車內車外飛來飛去，汽車周邊的場景就像進入瞭多元宇宙一般瞬間變換。。。
短短幾十秒的視頻，靠著這瘋狂的運鏡，還有流暢的場景變換，竟收獲瞭超過40萬的播放量。
而在評論區，圍觀群眾除瞭對這個視頻發出贊揚之外，還有一些人對這個制作過程產生瞭好奇，開始猜測這個視頻到底是怎麼做出來的。
於是我拿著這個視頻去找瞭咱們公司的攝影師，問他能不能也給咱也拍一個這類視頻？
結果，攝影師看瞭這個視頻，直呼不可能！
說這個肯定是用瞭什麼特效去做的，要麼做瞭什麼剪輯，你要是能在現實裡直接拍出這種效果，他當場辭職！這個攝影師幹不瞭瞭。
確實啊，咱們再回頭看看這個博主的推文，有提到這個視頻是采用一個叫做 NeRF 的最新技術制作的，並在文末@瞭一個叫 “ LumalabsAI ” 的賬號。
好傢夥，這名字，看來又是 AI 整的活！
於是咱順著這個“LumalabsAI”的賬號，摸到瞭它的官網。
首先映入眼簾的，就是它們的宣傳視頻，有一說一，這個宣傳視頻裡的運鏡，確實是有點那味瞭。
而所有的這些效果，都是由 LumalabsAI 開發的一個叫做 “ LumaAI ” 的 APP 來做的。
在這款應用的簡介中，它是這麼介紹自己的：
“Luma 是一種通過 AI 使用 iPhone 創建令人難以置信的逼真 3D 的新方法。無論您身在何處，都可以輕松捕捉產品、物體、風景和場景。從您的捕捉中創建電影產品視頻、TikTok 和現實中不可能的相機移動，或者隻是重溫那一刻。無需激光雷達或花哨的捕捉設備，您隻需要一部 iPhone 11 或更新機型。”
簡單來說，就是隻要你有一部蘋果 11 以上型號的手機，那你隻需要給場景周圍拍一些照片，就能利用這個 APP 生成拍照現場的 3D 場景。
看到這麼簡單，世超也有點心動瞭，於是也立馬下載瞭一個來試試。
打開應用，對著箱子上的橘子一頓卡卡亂拍，不出幾分鐘，就生成瞭一個這樣的場景。
整個場景雖然在遠處缺少照片信息的地方效果不大行，但是近處對焦部分，整個橘子和箱子的細節還是非常還原的。
在它的官網中還有很多用戶上傳的場景演示。
比如下面這個銅象畫面，如果不告訴你，很難發現這居然是一個 3D 場景。
因為它不僅完美的還原瞭小象的細節，周圍的光照，陰影，甚至連透明玻璃的效果，都給完整復現瞭。
LumaAI 除瞭能還原銅像這種小場景外，它甚至還能給你還原使用航拍機拍攝的超大范圍場景。
比如就有用戶使用航拍機拍攝瞭一個小鎮的全景，然後使用 LumaAI 將這整個小鎮 3D 還原，看看這效果，就突出一個“真”。
使用 LumaAI 創建出這些 3D 場景後，接下來隻需要把場景置入 3D 軟件，然後添加一個虛擬攝像機，剩下的效果呈現，就看這些創作者的創意啦。
就像這個油管博主，他為瞭滿足自己變大的愛好，生成瞭一個場景，然後把自己身體放大，做出瞭一個類似巨人入侵的特效。
除瞭重建 3D 場景外，LumaAI 還能對單個 3D 模型重建，比如通過拍照直接生成高達模型，再放到虛幻引擎裡，整個場景瞬間就有瞭科技感。
這種建模方式相比傳統一點一線的建模方式，那可省瞭不少功夫。
其實像 LumaAI 這種做 3D 重建的軟件也不少，在 AppStore 裡的 Polycam 就能通過蘋果自帶的雷達掃描，來估算距離和點雲信息，從而重建出一個 3D 場景。
但 LumaAI 不僅不依賴雷達掃描，效果還這麼好。這其中離不開這麼一個技術，也就是開頭那個博主提到的 NeRF（神經網絡輻射場）。
這個 NeRF 最早發佈於 2020 年的 ECCV 會議，不但囊獲瞭當年的最佳論文，還成功的以一己之力，開啟瞭計算機視覺的另一個研究方向。
NeRF 的基本原理就是通過一大堆帶有位置信息的 2D 照片，來訓練得出一個神經輻射場模型。
通過這個模型，就能得出任意視角下的清晰照片，這也就意味著，你能通過這個訓練好的模型，重建出 3D 場景瞭。
而且這個論文自發佈後，以 NeRF 為基礎的各種分支方向的技術也如雨後春筍般冒瞭出來。
華盛頓大學和谷歌就聯合提出瞭 HumanNeRF，主要用於人體 3D 重建，
還有用於場景風格遷移的 StylizedNeRF，通過拍攝照片，生成 3D 圖，然後再對整個場景風格進行轉換，變成自己想要的風格。
還有東京大學提出的動畫方向的 NeRF，這個項目就不單單是生成一個靜態的場景瞭，它甚至可以把運動的角色和物體都給你生成出來。
像這類的分支研究，已經多到一篇文章寫不下來瞭，世超就不再這裡一一展示瞭。
不過世超是巴不得 NeRF 這個方向的研究越來越卷，畢竟隻需要通過照片就能生成一整個復雜的 3D 場景，這對於生產力解放的幫助可不要太大。
去年 Epic 收購的公司 Capturingreality，它們的產品主打的就是通過照片來生成高精度模型。
這種隻需要一部手機，就能把現實搬進虛擬世界的技術，在未來，不僅僅是制作視頻的自由度更高。
遊戲行業，工業場景，甚至是在線教育，都可能迎來翻天覆地的變化。
到時候，虛擬和現實，可就真的傻傻分不清楚瞭。
發表評論 取消回复