一臺iPhone就能拍大片，攝影和建模師又要被卷了。互聯網+
導讀
最近國外有個博主發了一段非常酷炫的視頻。
最近國外有個博主發了一段非常酷炫的視頻。
最近國外有個博主發了一段非常酷炫的視頻。
視頻里，攝影鏡頭仿佛搭上了筋斗云，以各種不可思議的角度在車內車外飛來飛去，汽車周邊的場景就像進入了多元宇宙一般瞬間變換。。。
短短幾十秒的視頻，靠著這瘋狂的運鏡，還有流暢的場景變換，竟收獲了超過40萬的播放量。
而在評論區，圍觀群眾除了對這個視頻發出贊揚之外，還有一些人對這個制作過程產生了好奇，開始猜測這個視頻到底是怎么做出來的。
于是我拿著這個視頻去找了咱們公司的攝影師，問他能不能也給咱也拍一個這類視頻？
結果，攝影師看了這個視頻，直呼不可能！
說這個肯定是用了什么特效去做的，要么做了什么剪輯，你要是能在現實里直接拍出這種效果，他當場辭職！這個攝影師干不了了。
確實啊，咱們再回頭看看這個博主的推文，有提到這個視頻是采用一個叫做 NeRF 的最新技術制作的，并在文末@了一個叫 “ LumalabsAI ” 的賬號。
好家伙，這名字，看來又是 AI 整的活！
于是咱順著這個“LumalabsAI”的賬號，摸到了它的官網。
首先映入眼簾的，就是它們的宣傳視頻，有一說一，這個宣傳視頻里的運鏡，確實是有點那味了。
而所有的這些效果，都是由 LumalabsAI 開發的一個叫做 “ LumaAI ” 的 APP 來做的。
在這款應用的簡介中，它是這么介紹自己的：
“Luma 是一種通過 AI 使用 iPhone 創建令人難以置信的逼真 3D 的新方法。無論您身在何處，都可以輕松捕捉產品、物體、風景和場景。從您的捕捉中創建電影產品視頻、TikTok 和現實中不可能的相機移動，或者只是重溫那一刻。無需激光雷達或花哨的捕捉設備，您只需要一部 iPhone 11 或更新機型。”
簡單來說，就是只要你有一部蘋果 11 以上型號的手機，那你只需要給場景周圍拍一些照片，就能利用這個 APP 生成拍照現場的 3D 場景。
看到這么簡單，世超也有點心動了，于是也立馬下載了一個來試試。
打開應用，對著箱子上的橘子一頓卡卡亂拍，不出幾分鐘，就生成了一個這樣的場景。
整個場景雖然在遠處缺少照片信息的地方效果不大行，但是近處對焦部分，整個橘子和箱子的細節還是非常還原的。
在它的官網中還有很多用戶上傳的場景演示。
比如下面這個銅象畫面，如果不告訴你，很難發現這居然是一個 3D 場景。
因為它不僅完美的還原了小象的細節，周圍的光照，陰影，甚至連透明玻璃的效果，都給完整復現了。
LumaAI 除了能還原銅像這種小場景外，它甚至還能給你還原使用航拍機拍攝的超大范圍場景。
比如就有用戶使用航拍機拍攝了一個小鎮的全景，然后使用 LumaAI 將這整個小鎮 3D 還原，看看這效果，就突出一個“真”。
使用 LumaAI 創建出這些 3D 場景后，接下來只需要把場景置入 3D 軟件，然后添加一個虛擬攝像機，剩下的效果呈現，就看這些創作者的創意啦。
就像這個油管博主，他為了滿足自己變大的愛好，生成了一個場景，然后把自己身體放大，做出了一個類似巨人入侵的特效。
除了重建 3D 場景外，LumaAI 還能對單個 3D 模型重建，比如通過拍照直接生成高達模型，再放到虛幻引擎里，整個場景瞬間就有了科技感。
這種建模方式相比傳統一點一線的建模方式，那可省了不少功夫。
其實像 LumaAI 這種做 3D 重建的軟件也不少，在 AppStore 里的 Polycam 就能通過蘋果自帶的雷達掃描，來估算距離和點云信息，從而重建出一個 3D 場景。
但 LumaAI 不僅不依賴雷達掃描，效果還這么好。這其中離不開這么一個技術，也就是開頭那個博主提到的 NeRF（神經網絡輻射場）。
這個 NeRF 最早發布于 2020 年的 ECCV 會議，不但囊獲了當年的最佳論文，還成功的以一己之力，開啟了計算機視覺的另一個研究方向。
NeRF 的基本原理就是通過一大堆帶有位置信息的 2D 照片，來訓練得出一個神經輻射場模型。
通過這個模型，就能得出任意視角下的清晰照片，這也就意味著，你能通過這個訓練好的模型，重建出 3D 場景了。
而且這個論文自發布后，以 NeRF 為基礎的各種分支方向的技術也如雨后春筍般冒了出來。
華盛頓大學和谷歌就聯合提出了 HumanNeRF，主要用于人體 3D 重建，
還有用于場景風格遷移的 StylizedNeRF，通過拍攝照片，生成 3D 圖，然后再對整個場景風格進行轉換，變成自己想要的風格。
還有東京大學提出的動畫方向的 NeRF，這個項目就不單單是生成一個靜態的場景了，它甚至可以把運動的角色和物體都給你生成出來。
像這類的分支研究，已經多到一篇文章寫不下來了，世超就不再這里一一展示了。
不過世超是巴不得 NeRF 這個方向的研究越來越卷，畢竟只需要通過照片就能生成一整個復雜的 3D 場景，這對于生產力解放的幫助可不要太大。
去年 Epic 收購的公司 Capturingreality，它們的產品主打的就是通過照片來生成高精度模型。
這種只需要一部手機，就能把現實搬進虛擬世界的技術，在未來，不僅僅是制作視頻的自由度更高。
游戲行業，工業場景，甚至是在線教育，都可能迎來翻天覆地的變化。
到時候，虛擬和現實，可就真的傻傻分不清楚了。
撰文：晚上吃早飯 編輯：江江&面線封面：萱萱
圖片、資料來源：
Why THIS is the Future of Imagery (and Nobody Knows it Yet)
Lumalabs.AI
capturingreality.com
StylizedNeRF: Consistent 3D Scene Stylization as Stylized NeRF via 2D-3D Mutual Learning
www.matthewtancik.com
于是我拿著這個視頻去找了咱們公司的攝影師，問他能不能也給咱也拍一個這類視頻？
結果，攝影師看了這個視頻，直呼不可能！
說這個肯定是用了什么特效去做的，要么做了什么剪輯，你要是能在現實里直接拍出這種效果，他當場辭職！這個攝影師干不了了。
確實啊，咱們再回頭看看這個博主的推文，有提到這個視頻是采用一個叫做 NeRF 的最新技術制作的，并在文末@了一個叫 “ LumalabsAI ” 的賬號。
好家伙，這名字，看來又是 AI 整的活！
于是咱順著這個“LumalabsAI”的賬號，摸到了它的官網。
首先映入眼簾的，就是它們的宣傳視頻，有一說一，這個宣傳視頻里的運鏡，確實是有點那味了。
而所有的這些效果，都是由 LumalabsAI 開發的一個叫做 “ LumaAI ” 的 APP 來做的。
在這款應用的簡介中，它是這么介紹自己的：
“Luma 是一種通過 AI 使用 iPhone 創建令人難以置信的逼真 3D 的新方法。無論您身在何處，都可以輕松捕捉產品、物體、風景和場景。從您的捕捉中創建電影產品視頻、TikTok 和現實中不可能的相機移動，或者只是重溫那一刻。無需激光雷達或花哨的捕捉設備，您只需要一部 iPhone 11 或更新機型。”
簡單來說，就是只要你有一部蘋果 11 以上型號的手機，那你只需要給場景周圍拍一些照片，就能利用這個 APP 生成拍照現場的 3D 場景。
看到這么簡單，世超也有點心動了，于是也立馬下載了一個來試試。
打開應用，對著箱子上的橘子一頓卡卡亂拍，不出幾分鐘，就生成了一個這樣的場景。
整個場景雖然在遠處缺少照片信息的地方效果不大行，但是近處對焦部分，整個橘子和箱子的細節還是非常還原的。
在它的官網中還有很多用戶上傳的場景演示。
比如下面這個銅象畫面，如果不告訴你，很難發現這居然是一個 3D 場景。
因為它不僅完美的還原了小象的細節，周圍的光照，陰影，甚至連透明玻璃的效果，都給完整復現了。
LumaAI 除了能還原銅像這種小場景外，它甚至還能給你還原使用航拍機拍攝的超大范圍場景。
比如就有用戶使用航拍機拍攝了一個小鎮的全景，然后使用 LumaAI 將這整個小鎮 3D 還原，看看這效果，就突出一個“真”。
使用 LumaAI 創建出這些 3D 場景后，接下來只需要把場景置入 3D 軟件，然后添加一個虛擬攝像機，剩下的效果呈現，就看這些創作者的創意啦。
就像這個油管博主，他為了滿足自己變大的愛好，生成了一個場景，然后把自己身體放大，做出了一個類似巨人入侵的特效。
除了重建 3D 場景外，LumaAI 還能對單個 3D 模型重建，比如通過拍照直接生成高達模型，再放到虛幻引擎里，整個場景瞬間就有了科技感。
這種建模方式相比傳統一點一線的建模方式，那可省了不少功夫。
其實像 LumaAI 這種做 3D 重建的軟件也不少，在 AppStore 里的 Polycam 就能通過蘋果自帶的雷達掃描，來估算距離和點云信息，從而重建出一個 3D 場景。
但 LumaAI 不僅不依賴雷達掃描，效果還這么好。這其中離不開這么一個技術，也就是開頭那個博主提到的 NeRF（神經網絡輻射場）。
這個 NeRF 最早發布于 2020 年的 ECCV 會議，不但囊獲了當年的最佳論文，還成功的以一己之力，開啟了計算機視覺的另一個研究方向。
NeRF 的基本原理就是通過一大堆帶有位置信息的 2D 照片，來訓練得出一個神經輻射場模型。
通過這個模型，就能得出任意視角下的清晰照片，這也就意味著，你能通過這個訓練好的模型，重建出 3D 場景了。
而且這個論文自發布后，以 NeRF 為基礎的各種分支方向的技術也如雨后春筍般冒了出來。
華盛頓大學和谷歌就聯合提出了 HumanNeRF，主要用于人體 3D 重建，
還有用于場景風格遷移的 StylizedNeRF，通過拍攝照片，生成 3D 圖，然后再對整個場景風格進行轉換，變成自己想要的風格。
還有東京大學提出的動畫方向的 NeRF，這個項目就不單單是生成一個靜態的場景了，它甚至可以把運動的角色和物體都給你生成出來。
像這類的分支研究，已經多到一篇文章寫不下來了，世超就不再這里一一展示了。
不過世超是巴不得 NeRF 這個方向的研究越來越卷，畢竟只需要通過照片就能生成一整個復雜的 3D 場景，這對于生產力解放的幫助可不要太大。
去年 Epic 收購的公司 Capturingreality，它們的產品主打的就是通過照片來生成高精度模型。
這種只需要一部手機，就能把現實搬進虛擬世界的技術，在未來，不僅僅是制作視頻的自由度更高。
游戲行業，工業場景，甚至是在線教育，都可能迎來翻天覆地的變化。
到時候，虛擬和現實，可就真的傻傻分不清楚了。
撰文：晚上吃早飯 編輯：江江&面線封面：萱萱
圖片、資料來源：
Why THIS is the Future of Imagery (and Nobody Knows it Yet)
Lumalabs.AI
capturingreality.com
StylizedNeRF: Consistent 3D Scene Stylization as Stylized NeRF via 2D-3D Mutual Learning
www.matthewtancik.com
1.TMT觀察網遵循行業規范，任何轉載的稿件都會明確標注作者和來源；
2.TMT觀察網的原創文章，請轉載時務必注明文章作者和"來源：TMT觀察網"，不尊重原創的行為TMT觀察網或將追究責任；
3.作者投稿可能會經TMT觀察網編輯修改或補充。
