近年來隨著VR沈浸式影像開始普及,這些影像內容也漸漸開始重視聲音的沈浸感,聆聽的方式也不再只是限於傳統的立體聲/5.1/7.1格式,接下來取而代之的將會是具互動且沈浸感的聽覺感受,其實聲音沈浸體驗早已不是新的技術,早在50年前就有許多的相關的研究,直至近年VR裝置的流行才使得這些聲音技術再度浮上檯面。
那麼在VR影像內容中聲音該如何呈現?素材又該如何取得?以下讓我們先從呈現方式和記錄方式來探討!
本篇文章的內容不是針對VR遊戲這一類非線性媒體做討論,主要的原因是VR遊戲中有許多聲音事件都是即時觸發與觀者互動,這些聲音事件都是透過電腦運算得到的結果,相較於一般的VR影片則多了許多不確定的變數,故本篇文章僅針對VR影片的聲音素材如何採集與製作流程,至於遊戲中該如何應用VR聲音素材那就是另一個故事了。
自從有了360度立體影像的拍攝方法後,聲音定位來自固定方向(L+R)的立體聲已無法滿足這種360度全方向規格的播放需求了,因為觀者的觀看方向是可能隨時都在變化的,所以我們需要一個記錄方式,將來自所有方向的聲音同時記錄下來,有了這些素材後,我們便能透過軟體或播放程式所觀看的角度對應到聲音應有的聆聽方向。整體來說,目前符合VR影片的聲音規格可能會具備以下幾點特性:
- 記錄內容能夠重現完整的360度聲景(包含高度的資訊)。
- 記錄格式可以透過網路平台或軟體播放。
- 記錄的聲景可以配合頭戴式顯示器或播放器之載具旋轉資訊改變聆聽方向。
- 聲音檔案經過運算後可以變成適合耳機聆聽的訊號。
VR影片中所使用的聲音目前較為主流的格式被稱為Ambisonics(高保真度環繞聲),這種格式是一種球形全方向式的環繞聲技術,大多是使用四向拾取的聲場式麥克風(Soundfield microphone)並以至少 4 組獨立的錄音軌道來記錄,Ambisonics一直以來都鮮為人知,一直到近期VR的盛行才再度引起重視,這種技術由來已久(1970年至今),而且大部份相關的專利都已過期,所以算是一種較為開放的技術。
Ambisonics 商標(圖片來源-Wiki)
如果我使用聲場式麥克風記錄聲音就可以完美的模擬與重現現實中所聽到的聲音嗎?這個方法夠好嗎?應用在VR中是否具有說服力?
當使用聲場麥克風記錄現實中的聲音時,這些聲音資訊被記錄下來後,所有的內容(音源位置、遠近、相對的音量)已無法改變,所能改變的僅有聆聽聲音的方向與角度,這種素材比較適合用在寫實的表現方式上(例如活動記錄、戲劇環境音等…),當影片需要表現張力或強調某個聲音時,可能還是要另外使用單一音源配合Ambisonics相關的混音工具製作之後,再行輸出成適合播放之格式(關於Ambisonics的混音與輸出將會在日後的篇幅介紹)。
究竟使用何種規格與手法才是最適合方式?這個似乎沒有一定的答案,除了以 Ambisonics 作為素材外,還可使用雙耳效應音源(Binaural recording)或者一般的定向音源(Mono/Stereo),甚至以上幾種格式皆合併一起使用,相信唯有配合影像內容的表現手法去選擇相對應的方式才是最理想的方法。
目前市面上的聲場式麥克風有哪些選擇?
聲場麥克風的價位約從800美元到4000美元不等,使用者可依照專案規模去選擇適合自己預算的麥克風,以下列舉一些常見的選擇提供參考:
我該怎麼選擇配合聲場麥克風的錄音機?
市面上大多的聲場麥克風是以A格式記錄,然後再透過軟體或硬體轉換成為B格式,所以配合使用的錄音機至少需要具備同時4組麥克風輸入的規格,下圖是符合規格可考慮使用之機種(僅列舉5,000美元以下):
一體式的錄音機
具有小型攜帶方便、架設簡單、價格便宜等優點,但缺點是因成本與體積考量下,所使用的麥克風與元件的品質較差,錄下來的聲音細節會比較少。
(Zoom H2n可透過改裝麥克風獲得標準聲場)
實際錄音的時候會遇到哪些狀況?應該要注意什麼問題?
Ambisonics錄音時大致上會有兩種狀況,一種是與攝影機同步拍攝記錄,另一種是單獨使用聲場麥克風與錄音機收集素材,以下分別為這兩種狀況進行說明:
1. 同步拍攝時須注意
慎選麥克風與設備架設位置
雖然攝影機的拍攝角度是全向式360度,但攝影機下方還是需要腳架固定,所以為了避免腳架穿幫,在進行VR影像後製時,會將下方拍攝到的腳架以圖片或LOGO遮蔽掉,所以錄音機與聲場麥克風最好的架設位置,會是在攝影機下方的腳架上,但需注意的是為了確保聲場位置的正確性,麥克風的拾音中心點必須儘可能保持在攝影機的中心點與地面的垂直軸心線上(Z軸線上),並且可利用腳架下方的拍攝死角擺放相關的錄音設備。
A:聲場麥克風盡可能接近攝影機架設
B:利用下方攝影機死角放置錄音設備
C:麥克風使用防風罩避免風吹聲
避免環境噪音
聲場麥克風的指向性與全指向麥克風(Omnidirectional Mic)類似,不同於一般拍攝時用的超指向槍型麥克風(Shotgun Mic),槍型麥克風可利用指向性去避開噪音源,但聲場麥克風無法,所以現場同步拍攝時更需注意拍攝場景的訊噪比,並想辦法主動降低噪音源發出的聲音,例如:協調拍攝現場關閉空調或關窗以隔絕外來噪音,如此才能得到更好的聲音品質。
全指向麥克風與槍型麥克風指向性(圖片來源-Wiki)
錄音機與其他設備的使用
在錄音機選擇上,可考慮使用具無線控制操作功能的錄音機(例如Zoom F8),因為如果每個鏡頭開始與結束都需要跑到攝影機前也是一件麻煩事。若需較高規格的錄音品質與完成度,或者是影片內容有演員對白的需求時,建議額外使用無線領夾式麥克風(Wireless Lavalier Mic)拾取對白,並記錄在多軌錄音機(4軌以上的機器)額外的軌道中,雖然這個訊號並非Ambisonics格式,但我們仍可透過聲音後製的位置追蹤工具與混音外掛將它混入最後的檔案中,但若影片內容僅屬於單純記錄型式,那麼可能就不需要使用到那麼高端的錄音機,甚至是使用一體式的錄音機即可,這都需端看影片內容的複雜度而定。
2. 非同步錄音時須注意
使用腳架或手持避震架
非同步錄音時大部分都是用於素材採集,不同於同步拍攝的是,這時候就不需在意鏡頭穿幫問題,因此麥克風比較容易架設在理想的錄音位置。
腳架:
好處是較穩定且不會有晃動問題,但有體積較大、機動性差等缺點,有時也會容易引起他人的注意。
手持避震架:
好處是輕便且機動性高,但需注意麥克風的避震問題,市面上有許多的麥克風避震架可供選擇。
手持式錄音示意圖
(手持式錄音時應避免身體阻擋過多的的聲音)
在室外與人群錄音時
當在室外錄音時,無論是使用手持或是腳架,最好都將麥克風加上一層防風罩,以避免風吹聲造成錄音品質的低下。由於聲場麥克風全向式的特性較適合錄製環境音類型的素材,故錄音時的位置應避免過於接近麥克風的音源,儘量以各音源能夠平均的拾取為主要原則。若在人群附近採集素材也較容易受到注目,此時可能可以使用一些遮蔽物(外套或一塊布)將錄音機或較顯眼的物品遮蓋住,相信你不會希望你的錄音素材裡面錄到有人在討論你的錄音設備,素材採集時保持低調永遠都是好事。
另外無論是何種方式錄音,只要是使用聲場麥克風錄音,都須要確認4路麥克風訊號的輸入增益(Input Gain)必須要在相同的增益值,以避免造成聲場方位不平均。
使用聲場麥克風記錄後,我該使用A格式(A-Format)或是B格式(B-Format)的素材?
由於大多的聲場麥克風都是以A格式的方式收音,但A格式的訊號聲音方向是固定無法及時變換,若要應用就必須將A格式轉換成為B格式,B格式能夠透過訊號之間的比例混合而改變聲音資訊的方向,簡言之就是錄音時使用A格式,製作時使用B格式。(規格詳細說明於本篇最下方)
基本的製作流程圖
目前VR影片主流的聆聽方式還是以耳機為主,並且相關技術現在還是處於百家爭鳴、百花齊放的階段,而錄音與製作的工具也尚未到達標準化的程度,但相信不久後的將來會有更多的聆聽方式及更便利的技術出現,例如像Dolby ATMOS般綿密的喇叭矩陣系統,或者是能夠讓身體感受聲音震動的震動包等技術,屆時或許聲音的沈浸體驗將能夠再更上一層樓。
下一篇主要會針對Ambisonics錄音之後的製作工具與處理方法做一些簡單的介紹,敬請關注。
*資料備註
A格式(A-Format)
所謂的A格式就是以四組麥克風震膜,如同一個四面體般平均的朝向四個方向拾取聲音訊號,但因A格式所記錄下來之訊號屬於麥克風拾取的原始訊息,這些訊號無法透過運算處理取得特定方向的聲音,故無法做更進一步的應用,所以A格式通常會被轉換成為B格式(B-Format)使用。
A 格式的聲場麥克風如四面體平均的朝著四個方向拾取聲音
B格式(B-Format)
所謂的B格式是以三組8字型指向的拾音頭分別朝向X、Y、Z三個軸向,然後再加上一個全指向的訊號W,也可視為是三組不同方向的M/S(Mid/Side)錄音麥克風,而M/S錄音技術本身就是一種可以允許記錄後再行調整方向性的格式,因此B格式所擁有的特性就是,可以透過軟體設定調整後及時地播放(或輸出)來自各個方向的聲音訊號,另一方面經過轉換後的訊號可對應多種聲音格式(例如:7.1/5.1/立體聲/單聲道等),由此可知,一但有了B格式的素材後,對於日後應用的彈性將會更大,但由於B格式的麥克風有體積大且昂貴等其他缺點,所以目前主流的方式都是以A格式的麥克風錄製後再行轉換成B格式(另外市面上也有不少音效庫是以B格式販售的,有需要的人也可以上網購買)。
B 格式由3個軸向的8字形指向加上一個全指向所組成
本文作者:
蔡 瀚 陞 曾任職中影杜比混音室錄音師及混音師 金鐘獎最佳音效入圍 參與三創技術副理,規劃5F展演廳Clapper Studio及場地技術營運 專長:電影錄音工程/音響硬體規劃/活動技術執行/互動裝置設計 部分作品包括: 2008 九降風 對白剪輯 2011 逆光飛翔 對白剪輯 2011 他們在畢業前一天爆炸 對白剪輯/音效剪輯/混音
Great article. Thank you for the information.
Thank you!! 🙂
你的文章太受用了!!
感謝!請多多分享~ :)
請問何謂A-Format跟B-Format?可以再詳細說明嗎?
謝謝!!