TMT观察网_独特视角观察TMT行业

在電影行業有一句話，“沒聲音再好的戲也出不來”，這句話強調了聲音對電影的重要性。

這個道理同樣適用于VR影視。谷歌Cardboard的高管Nathan Martz曾表示，VR音頻不容忽略。他說，許多人認為在開發VR產品和體驗過程中，視頻和視覺是最重要的因素，其實不然，聲音也同樣重要。在資深游戲開發者群體中，有一個行業經驗——“聲音讓場景更加真實”。

但VR音頻到底是什么鬼？森聲數字科技創始人&CEO張瑞博為我們帶來他的看法。

VR音頻的概念

Q：一提到VR音頻，有人會說3D音效（往往是游戲），有人會說杜比全景聲，甚至還有說人頭錄音。到底VR音頻是什么？

A：首先，VR音頻并不是一個技術名稱。它是對所有能解決VR技術中音頻方位模擬的技術解決方案的統稱。

其次，游戲中使用的3D音頻也可以包括在VR音頻的范疇。上面列舉的例子都是在解決特定場景下的特定問題。比如說雷蛇的游戲3D音效和Oculus Audio SDK是解決游戲中虛擬音源的技術。但是，現場采集怎么辦？音樂會怎么辦？直播怎么辦？而杜比Atmos（杜比全景聲）的核心是基于object音源的影院揚聲器矩陣的還原技術，更多是針對杜比推出的下一代影院效果。這并非真實聲場模擬，更多是追求來自于周圍和上方震撼的音效。但是，不是影院怎么辦？現場采集怎么辦？頭盔終端回放怎么辦？

在音頻技術上，人們會因為實現方式流程以及對應用戶場景不同，所采用的技術也完全不同。這并不是提問所理解的一個技術通吃所有情況，而是不同情況都需要對應技術方案。

VR音頻實際效果

Q：VR音頻具體效果以及甄別真偽的方式？

A：首先我不知道什么叫作偽VR音頻。因為VR音頻本來就隨著VR的發展而開始的一個技術板塊。就像是高清標準剛剛開始的時候你能說720p是偽高清1080p是真高清么。只是執行程度徹底與否的區別而已。如果說VR音頻效果的話，主要有幾個特征點：

1.能夠和頭顯視覺畫面對應，并表現出對應視角下的聲源方位與聲源距離；

2.同時體現出對應空間環境中的混響情況、聲音反射和吸收情況等；

3.滿足以上要求中部分或者全部都可以叫VR音頻。

有一個圖，可以表明VR音頻的基本概念。（下圖）

VR音頻的實現要求

Q：VR音頻對比現有的3D音效有什么技術上的硬性要求，比如采集，儲存，傳輸等方面的？）

A: 3D音效是一個有一定年頭的東西了，最早你在一些游樂園中聽到3D鬼故事或者是網上的理發店都是3D音效。目前3D音效主要由立體聲來承載信息，但是由于VR音頻需要實現和頭顯視覺畫面對應的空間音效變化，可以理解為聲音的維度升級。如果假設傳統的3D音效是2維的話，那VR音效至少要做到3維才能實現基本要求，所以整體信息采集量和傳輸量和傳統的3D音效都是天翻地覆的區別，理論上講至少4倍以上。

不過，好在目前的情況看來VR音頻并不會對帶寬提出新的挑戰，因為相對于4K的全景視頻的帶寬需求，音頻提升所帶來的帶寬壓力基本可以忽略了。

Q：在視頻，游戲，電影等不同領域，對VR音頻的需求是不是有所不同？為此帶來的算法和方案也會有所不同么？）

A:  答案是肯定的。不同情況下對VR音頻的需求和實現方式都是不同的。

比如游戲中的VR音頻，游戲廠商在開發游戲的時候會把對應的發聲源object的對應音軌準備好。比如說腳步聲，開火的聲音，這些音軌都是普通的音軌。在游戲引擎中設置好根據這些發聲的object在虛擬環境中與player的相對位置，然后對應調用HRTF（Head Related Transfer Function，頭相關變換函數）算法來實現音源的方位化與距離化，最后通過耳機播放讓玩家感覺的方位信息，實現聽聲辨位。

又比如音樂會VR節目制作，VR游戲中音頻不存在采集的問題，因為音軌是準備好的，你不可能把一個現場的音樂會通過事先準備好的音軌代替吧，那就不是這個音樂會了。所以這個時候的VR音頻是要通過現場采集的方式來實現。這里實現的方式就比較多了，有通過多向采集再進行聲場運算的方式，有通過數字HRTF加工的方式，也有自然HRTF采集的方式，各有各的好處和問題，目前還沒有一個標準是肯定的。但是可以肯定的是大多數方式都是通過耳機回放來實現。

VR音頻的挑戰與瓶頸

Q：目前VR音頻遇到的技術瓶頸是什么呢？

A:  VR音頻相對于現有的VR視頻技術而言并不存在非常難受的技術瓶頸。比如說VR視頻中的幾個比較難受的瓶頸包括終端屏幕dpi（像素密度）、高分辨率傳輸、帶寬等等。這些都是需要非常大的投入促使量變到質變的發展過程。

但對于VR音頻而言，大部分現有的技術加以升級和改進已經可以滿足VR的需求，更多的是如何推廣和適應實際應用的過程。

Q：哪一部分成熟之后，VR音頻才會大規模在內容商普及？

A:  雖然沒有太大的瓶頸但是技術挑戰還是非常大的。我認為在影視與視頻節目方面VR音頻的主要挑戰是對傳統制作方式與制作思路的挑戰。

這個問題影響其實非常大，由于VR影視的特殊性，導演在敘事的過程中如何對觀眾產生視覺方向的引導，如何布置場景，如何隱藏燈光和道具，如何保持觀眾的代入感和臨場感......實際上VR影視對于從19世紀末就發明的電影積累下來的拍攝手法和理論都是顛覆性的。很多以前理所當然的東西到現在都不適用了，各種拍攝團隊都在摸索的尋找新的規律和方法，所以VR音頻最終能走入千家萬戶，還要看我們奮戰在影視制作一線的工作者能否找到VR音頻制作的新規則并創作出各種富有感染力的作品。

當然，我們作為技術與硬件提供商，也會盡全力去幫助他們一起來尋找VR中的聲音之路，畢竟在那在頭盔之后可是一個對想象力沒有邊界的世界。