本文刊發(fā)于《現(xiàn)代電影技術》2024年第4期

　　專家點評

　　數(shù)字電影沉浸式音頻技術是現(xiàn)代電影制作與放映領域的重大創(chuàng)新，它通過提供更為豐富和真實的聲音體驗，顯著提升了觀眾的沉浸感和臨場感。在國際上，諸如Dolby Atmos和DTS∶X等系統(tǒng)已成為沉浸式音頻技術的代表。這些系統(tǒng)不僅規(guī)定了音頻編碼與傳輸?shù)臉藴?，還明確了音頻渲染和還音的具體要求，以確保沉浸式音頻在不同制作與放映環(huán)境中的一致性和互操作性。沉浸式音頻技術的核心在于運用對象音頻和元數(shù)據(jù)來實現(xiàn)聲音在三維空間的精準定位和渲染，而基于元數(shù)據(jù)的沉浸式音頻比特流實時處理是實現(xiàn)數(shù)字電影沉浸式音頻還音的關鍵?！稊?shù)字電影沉浸式音頻實時處理技術研究》一文展示了國內電影專業(yè)技術研究機構在沉浸式音頻技術領域取得的顯著進展。文章詳細闡述了數(shù)字電影沉浸式音頻實時處理技術的多個方面，涵蓋技術規(guī)范解讀、實時處理方案設計，以及相關工具的研發(fā)與實現(xiàn)。特別值得關注的是，文中提出的沉浸式音頻實時處理方案和所研發(fā)的工具緊密結合了國際規(guī)范與國內技術現(xiàn)狀，著眼于推動國產沉浸式音頻技術的規(guī)范化和標準化發(fā)展，有助于中國技術與標準實現(xiàn)更廣泛的推廣與應用。

　　——童雷

　　教授

　　北京電影學院副院長

　　作 者 簡 介

　　董強國

　　董強國(1984-)，男，碩士，高級工程師，中國電影科學技術研究所(中央宣傳部電影技術質量檢測所)檢測認證南方中心副主任，主要研究方向：電影技術。

　　龔波(1969-)，男，博士，正高級工程師，中國電影科學技術研究所(中央宣傳部電影技術質量檢測所)副所長，主要研究方向：電影技術。

　　龔  波

　　摘要

　　本文首先對符合國際規(guī)范的數(shù)字電影沉浸式音頻還音技術進行概述，對數(shù)字電影集成媒體模塊(IMB)與沉浸式音頻處理器之間的對接協(xié)議規(guī)范進行解讀，提出一種沉浸式音頻實時處理方案，并對研發(fā)的一套數(shù)字電影沉浸式音頻實時處理工具的實現(xiàn)方法進行了闡述。通過對數(shù)字電影沉浸式音頻實時處理技術的研究，期望為符合國際相關規(guī)范的國產沉浸式音頻技術的研發(fā)提供借鑒，旨在推動國產沉浸式音頻還音系統(tǒng)向標準化和規(guī)范化發(fā)展。

　　關鍵詞

　　數(shù)字電影;沉浸式音頻;實時處理技術;元數(shù)據(jù);渲染

　　1  引言

　　自有聲電影誕生以來，從1927年首部單聲道好萊塢影片《爵士歌王》到2012年首部沉浸式音頻制式影片《勇敢傳說》，電影還音制式經(jīng)歷了單聲道、模擬和數(shù)字立體聲、環(huán)繞聲(5.1、7.1等)和沉浸式音頻制式共4個階段的發(fā)展。每次技術的變革都圍繞聲音如何在放映空間內精準定位還音展開。傳統(tǒng)的單聲道、立體聲和環(huán)繞聲是基于聲道的概念，依靠增加聲道數(shù)量來營造聲音在影廳的空間環(huán)繞效果。影廳為了獲得較為真實的沉浸式還音效果，需要在傳統(tǒng)聲道制式的基礎上增加大量的聲道。單純通過增加聲道來獲取沉浸感效果的方式，將會給電影聲音制作和還音帶來很大挑戰(zhàn)，且需要制作端和還音端的揚聲器聲場布局保持一致，造成放映系統(tǒng)間互操作性差，給發(fā)行機構帶來多版本發(fā)行壓力。數(shù)字電影沉浸式音頻采用對象+元數(shù)據(jù)的技術架構，元數(shù)據(jù)提供聲音發(fā)聲位置的三維空間坐標信息，通過渲染算法，將聲音對象渲染到元數(shù)據(jù)提供的三維空間坐標所在區(qū)域內，實現(xiàn)聲音在影廳空間內的精準定位發(fā)聲。這種通過元數(shù)據(jù)控制聲音位置的方式，具有內容制作便捷、揚聲器布局較為靈活、系統(tǒng)間兼容性強的技術特點，其同時具有高效的制作方式和靈活的渲染方式，不再拘泥于揚聲器系統(tǒng)布局。隨著音頻處理芯片性能的提升，該項技術將成為未來聲音制式的主要發(fā)展方向。

　　由于數(shù)字電影沉浸式音頻技術能為觀眾營造更加自然和逼真的視聽體驗，一經(jīng)推出便獲得市場的高度認可。近幾年，隨著沉浸式音頻技術的發(fā)展，數(shù)字電影沉浸式音頻影廳已成為當今影院的熱門配置，國內廠家也紛紛推出各自的沉浸式音頻還音系統(tǒng)，但因國內廠家生產的音頻處理器僅支持數(shù)字電影集成媒體模塊(Integrated Media Block, IMB)AES/EBU接口的輸入，且最多支持8路AES/EBU音頻信號輸入，暫不支持基于元數(shù)據(jù)格式的沉浸式音頻比特流(IAB)接口。由于受到IMB輸出音頻信號通道數(shù)量的限制，導致各個廠家生產的沉浸式音頻處理系統(tǒng)還音各具特點，還音效果參差不齊，使國產系統(tǒng)難以在影院大范圍推廣，嚴重限制了國產沉浸式音頻技術的提升。

　　基于元數(shù)據(jù)的沉浸式音頻技術主要由影廳空間位置元數(shù)據(jù)+對象音頻文件組成，傳統(tǒng)的AES/EBU傳輸通道無法傳輸這種基于元數(shù)據(jù)+對象的音頻內容。SMPTE ST 430?14《數(shù)字電影同步信號和輔助數(shù)據(jù)傳輸協(xié)議》和SMPTE ST 2098?2《沉浸式音頻比特流規(guī)范》的發(fā)布，為我國沉浸式音頻傳輸技術的實現(xiàn)提供了很好的技術借鑒。為解決國產沉浸式音頻內容傳輸技術所面臨的難題，規(guī)范市場，助力企業(yè)的研發(fā)和生產，提高國產沉浸式音頻系統(tǒng)的國內外市場競爭力，推動國產沉浸式音頻技術的發(fā)展，我國亟需開展符合國內技術現(xiàn)狀、兼容國際標準的IMB與沉浸式音頻處理器之間的沉浸式音頻文件傳輸技術和實時處理技術的研究工作。

　　2  數(shù)字電影安全放映和傳輸技術相關規(guī)范解讀

　　數(shù)字電影沉浸式音頻處理系統(tǒng)為了能夠獲取IAB，需要與IMB進行通信，并從輔助數(shù)據(jù)軌獲取相關的IAB。SMPTE定義了數(shù)字電影輔助數(shù)據(jù)和同步信號的傳輸協(xié)議，本章節(jié)主要對如何從IMB輔助數(shù)據(jù)區(qū)提取輔助數(shù)據(jù)的相關規(guī)范進行解讀。

　　2.1 輔助內容同步協(xié)議

　　SMPTE ST 430?10 輔助內容同步協(xié)議是將合成播放列表(CPL)中的輔助資源同步到播放時間線的協(xié)議標準，規(guī)定了如何將輔助資源展示列表(RPL)中的輔助資源同步到播放時間線上，主要用于數(shù)字影院服務器(DCS)和一個或多個輔助內容服務器(ACS)之間的通信。其中，合成播放列表(CPL)定義了播放期間要呈現(xiàn)的資源，這些資源至少包括視頻和/或音頻，也可能包含字幕等。

　　DCS和ACS之間的主要通信方式為ACS向DCS發(fā)出連接請求后，DCS向ACS發(fā)出聲明以驗證ACS協(xié)議的正確性，ACS正確接收到聲明后向DCS發(fā)出聲明響應確認信息，然后DCS向ACS發(fā)出續(xù)租請求，ACS向DCS回復續(xù)租響應，隨后DCS向ACS發(fā)出獲取狀態(tài)請求，ACS回復確認獲取狀態(tài)響應，DCS向ACS發(fā)出設置RPL位置請求，ACS向DCS回復設置RPL位置響應狀態(tài)，DCS向ACS發(fā)出獲取狀態(tài)信息請求后，ACS向DCS發(fā)出獲取狀態(tài)響應，DCS發(fā)出終止續(xù)租請求后，ACS終止租約，DCS繼續(xù)發(fā)送續(xù)租請求。DCS和ACS之間的主要通信交互規(guī)則流程如圖1所示。

圖1　DCS和ACS間的通信交互規(guī)則

　　2.2 輔助資源展示列表

　　SMPTE ST 430?11 RPL用于指定數(shù)字電影服務器上內容資源所在的存儲位置，以及在單個素材或由多個素材組成的播放素材所在時間線上的相對位置。在播放開始前，DCS將RPL發(fā)送給ACS，ACS從DCS獲得時間線更新，并確定應提供哪些資源。RPL至少包含播放ID、時間線偏移、卷ID、編輯速率、卷資源ID、資源類型、語言、進入點、持續(xù)時間、固有持續(xù)時間、資源文件等信息，RPL架構如圖2所示。

圖2　RPL架構

　　2.3 輔助數(shù)據(jù)傳輸協(xié)議

　　SMPTE ST 430?14《數(shù)字電影同步信號和輔助數(shù)據(jù)傳輸協(xié)議》定義了一個用于將輔助數(shù)據(jù)軌跡文件中的數(shù)據(jù)項傳輸?shù)教幚砥鞯膫鬏攨f(xié)議，數(shù)據(jù)的傳輸使用超文本傳輸協(xié)議(HTTP)，圖像媒體模塊、服務器、DCS和ACS之間的通信傳輸規(guī)則如圖3所示。

圖3　同步信號和輔助數(shù)據(jù)通信規(guī)則

　　2.4 數(shù)字同步信號傳輸協(xié)議

　　SMPTE ST 430?14《數(shù)字電影同步信號和輔助數(shù)據(jù)傳輸協(xié)議》定義了用于處理器與圖像媒體模塊同步播放的同步信號協(xié)議，圖像媒體模塊播放視頻內容時會自動生成一個二進制同步信號，該同步信號精度可達到音視頻信號播放的幀速率級別。該同步信號應至少包含圖像播放狀態(tài)信息(如開始、播放、暫停)、播放ID、播放幀位置、采樣頻率、播放音視頻文件的UUID、合成播放列表UUID等信息。DCS與ACS間建立通信連接后，ACS接收到來自圖像媒體模塊發(fā)出的同步信號后，同步信號存放在ACS的緩沖存儲器中，根據(jù)同步信號的狀態(tài)進行播放，當播放ID發(fā)生變化時，將返回到緩沖存儲器提取新的播放信息，當ACS接收到的同步信號無效時，將返回到等待命令，ACS與DCS之間數(shù)字同步信號的通信流程如圖4所示。

圖4　數(shù)字同步信號通信流程

　　3 數(shù)字電影沉浸式音頻實時處理技術研究方案

　　數(shù)字電影倡導組織(DCI)發(fā)布的《基于對象的數(shù)字電影沉浸式音頻附錄》規(guī)定沉浸式音頻內容DCP打包時，應使用IMB的數(shù)字證書制作密鑰傳送消息(KDM)，完成沉浸式音頻內容與IMB的綁定，沉浸式音頻內容只有通過對應的IMB才能播放。根據(jù)數(shù)字電影放映技術要求，結合國際相關規(guī)范和國內技術現(xiàn)狀，基于對象的數(shù)字電影沉浸式音頻還音系統(tǒng)應由媒體播放服務器、沉浸式音頻處理器、聲頻功率放大器和揚聲器系統(tǒng)組成。IMB載入帶有KDM的沉浸式音頻播放素材后，首先應進行有效性檢驗、解密和播放，沉浸式音頻處理器接收到來自沉浸式音頻播放服務器傳輸?shù)腎AB后進行解碼，并將IAB文件實時渲染到相應的沉浸式音頻通道，經(jīng)過均衡和延時調節(jié)，通過揚聲器系統(tǒng)將沉浸式音頻還原到影廳?；趯ο蟮臄?shù)字電影沉浸式音頻還音流程如圖5所示。本章節(jié)主要介紹IMB與沉浸式音頻處理器之間的通信、沉浸式音頻實時解碼和渲染、沉浸式音頻實時處理硬件接口要求等。

　　圖5　基于對象的數(shù)字電影沉浸式音頻還音流程

　　3.1 IMB與沉浸式音頻處理器之間的通信

　　數(shù)字電影沉浸式音頻處理器應能夠接收來自媒體播放服務器的IAB，并能夠與視頻實現(xiàn)同步播放。IMB加載數(shù)字電影沉浸式音頻文件后，將自動生成帶有播放內容幀率、時長、播放文件存儲地址等信息的RPL，并向沉浸式音頻處理器發(fā)送帶有播放當前幀、播放內容時長、音頻采樣速率、圖像和沉浸式音頻信號UUID等信息的同步信號。數(shù)字電影沉浸式音頻處理器應能夠向IMB提取播放RPL信息，獲取同步信號信息，根據(jù)RPL提供的播放文件存儲地址和同步信號信息，提取相關幀的沉浸式音頻內容，然后進行IAB的解碼和渲染，實現(xiàn)沉浸式音視頻同步播放。沉浸式音頻處理器與IMB之間的數(shù)據(jù)交互模式應符合圖6所示模式。

圖6　數(shù)字沉浸式音頻實時處理系統(tǒng)數(shù)據(jù)交互模式

　　時鐘同步信號傳輸接口采用AES/EBU接口，IAB傳輸采用HTTP協(xié)議RJ45以太網(wǎng)接口。數(shù)字電影沉浸式音頻實時接收協(xié)議要求如表1所示。

表1　數(shù)字電影沉浸式音頻實時處理傳輸協(xié)議要求

　　3.2 沉浸式音頻實時解碼和渲染

　　數(shù)字電影沉浸式音頻處理器接收到來自IMB的音視頻同步信號和IAB后，需要對其進行解包、解碼和渲染處理。數(shù)字電影沉浸式音頻實時解碼和渲染工具要求如表2所示。

表2　數(shù)字電影沉浸式音頻實時解碼和渲染要求

　　3.3 沉浸式音頻實時處理硬件接口

　　數(shù)字電影沉浸式音頻處理器的硬件接口應至少具備音視頻同步信號接收接口、IAB接收接口、數(shù)模轉換接口和調試接口。數(shù)字電影沉浸式音頻處理器接口應符合表3要求。

表3　數(shù)字電影沉浸式音頻實時處理器接口要求

　　4 數(shù)字電影沉浸式音頻實時處理技術的實現(xiàn)

　　2018年至今，中國電影科學技術研究所(中央宣傳部電影技術質量檢測所)圍繞數(shù)字電影基于對象元數(shù)據(jù)沉浸式音頻高新技術格式的國產化，以國際數(shù)字電影沉浸式音頻技術規(guī)范為參考，結合我國技術現(xiàn)狀，對沉浸式音頻的制作、編碼和打包、解碼和渲染算法進行了研究，已完成沉浸式音頻混錄、編碼和打包、沉浸式音頻還音端的解碼和渲染算法的實驗驗證研究。為了能夠實現(xiàn)國產沉浸式音頻處理器與IMB之間的IAB傳輸，推動國產沉浸式音頻技術產品化應用，我們聯(lián)合IMB生產廠家開展了IAB實時接收、解碼和渲染技術的研究工作，研發(fā)了一套數(shù)字電影沉浸式音頻實時處理工具，該工具可以實時接收來自IMB的基于對象的IAB和同步信號，并可實現(xiàn)IAB的實時解碼和渲染。該項技術的還音流程和系統(tǒng)間的通信協(xié)議符合圖5中的相關規(guī)定。本章節(jié)主要介紹數(shù)字電影沉浸式音頻實時接收技術中系統(tǒng)間的通信、RPL提取、同步信號接收和IAB提取技術的實現(xiàn)，以及數(shù)字電影沉浸式音頻實時解碼和渲染技術中沉浸式音頻實時解碼、渲染、均衡和延時調節(jié)技術的實現(xiàn)。

　　4.1 數(shù)字電影沉浸式音頻實時接收技術實現(xiàn)

　　依據(jù)SMPTE ST 430?10、SMPTE ST 430?11和SMPTE ST 430?14相關標準規(guī)定，筆者研發(fā)了一款IAB實時接收模塊，可實時接收來自圖像媒體模塊發(fā)出的音視頻同步信號，可實時接收和處理IAB。該模塊具備網(wǎng)絡鏈接、實時接收和讀取RPL、使用AES/EBU聲卡設備實時接收同步信號、根據(jù)RPL和同步信號的信息提取IAB的功能。IAB實時接收模塊主界面如圖7所示。

圖7　IAB實時接收模塊

　　(1)系統(tǒng)間的通信實現(xiàn)

　　IAB實時接收模塊與IMB之間的通信規(guī)則符合圖1中的相關規(guī)定，通信協(xié)議編碼標識如表4所示。

表4　通信協(xié)議標識

　　(2)RPL提取實現(xiàn)

　　RPL應符合圖2的RPL架構相關規(guī)定，IAB實時接收模塊接收的RPL主要包含 Resource PresentationList PlayoutID、ReelResources EditRate、ReelID、TimelineOffset、ReelResource Duration、EntryPoint、 Id、IntrinsicDuration、Language、 ResourceType、ResourceFile等信息，該模塊接收到的RPL示例如圖8所示。

圖8　RPL示例

　　(3)同步信號接收實現(xiàn)

　　當圖像媒體服務模塊加載數(shù)字電影IAB文件后，將實時向IAB接收模塊發(fā)送音視頻播放狀態(tài)的同步信號，當該模塊接收到該同步信號后， 需要對同步信號的狀態(tài)進行控制，同步信號接收通信規(guī)則符合圖4中的相關規(guī)定，IAB實時接收模塊接收到的同步信號信息主要包含F(xiàn)lags、Timeline Edit Unit、Playout ID、Edit Unit Duration、Sample Duration Numerator、Sample Duration Denominator、Primary Picture Output Offset、Primary Screen Output Offset、Primary Picture Track File Edit Unit、Primary Picture Track File UUID、Primary Sound Track File Edit Unit、Primary Sound Track File UUID、Composition Playlist UUID等內容，該模塊接收到的同步信號示例如圖9所示。

圖9　同步信號示例

　　(4)IAB提取實現(xiàn)

　　IAB實時接收模塊接收到來自RPL和同步信號的IAB文件存儲地址、播放ID和播放幀信息后，將向存儲服務器發(fā)出指定的IAB提取信息，服務器收到請求后向IAB實時接收模塊發(fā)送指定的IAB。該模塊提取IAB的通信規(guī)則符合圖3中的相關規(guī)定。IAB通信標識如表5所示。

表5　IAB通信標識

　　4.2 數(shù)字電影沉浸式音頻實時解碼、渲染實現(xiàn)

　　數(shù)字電影沉浸式音頻實時解碼渲染模塊接收到IAB后，需對其進行解碼和渲染處理，通過聲頻功率放大器和揚聲器系統(tǒng)還原到影廳。針對IAB的技術特點，筆者研發(fā)了一款數(shù)字電影沉浸式音頻實時解碼和渲染模塊，其主界面如圖10所示，主要用于播放UUID的獲取、AES/EBU音頻接口同步信號的獲取、渲染后的音頻信號輸出、渲染質量的調節(jié)等。

圖10　數(shù)字電影沉浸式音頻實時解碼和渲染模塊

　　(1)IAB解碼實現(xiàn)

　　數(shù)字電影沉浸式音頻實時解碼模塊支持符合SMPTE ST 2098?2相關規(guī)定的IAB解碼，其標識如表6所示。解碼后的數(shù)字電影沉浸式音頻文件以128個音頻文件+元數(shù)據(jù)的格式存在，該工具最多支持10個聲床和118個對象+元數(shù)據(jù)的解碼。

表6　IAB標識

　　(2)數(shù)字電影沉浸式音頻文件的渲染實現(xiàn)

　　數(shù)字電影沉浸式音頻渲染是將沉浸式音頻文件的聲床映射到相應的聲道上，根據(jù)空間位置元數(shù)據(jù)信息將對象聲音渲染到元數(shù)據(jù)所規(guī)定的影廳位置處。該工具的渲染算法基于6階HOA+幅度矢量合成混合算法，最大可渲染輸出49個通道，支持符合SMPTE 2098?1相關規(guī)定的沉浸式音頻空間位置元數(shù)據(jù)的渲染，可根據(jù)影廳尺寸和揚聲器布局預設揚聲器系統(tǒng)的數(shù)量和擺放位置，生成適配的沉浸式音頻渲染算法，數(shù)字電影沉浸式音頻渲染通道設置界面如圖11所示，該工具可設置房間尺寸;可設置揚聲器系統(tǒng)數(shù)量和擺放位置，輸入位置格式為揚聲器系統(tǒng)在影廳內的長(X)、寬(W)、高(Z)坐標;可進行揚聲器陣列的設置、揚聲器的音頻輸入信號路由設置等。

圖11　數(shù)字電影沉浸式音頻渲染通道設置界面

　　(3)均衡和延時調節(jié)

　　數(shù)字電影影廳的電聲響應特性應符合GY/T 312—2017 《電影錄音控制室、室內影廳B環(huán)電聲響應規(guī)范和測量》中相關規(guī)定。為使數(shù)字電影沉浸式音頻影廳能夠滿足上述要求，數(shù)字電影沉浸式音頻實時解碼和渲染工具支持對每個通道的揚聲器系統(tǒng)進行增益、延時和均衡調節(jié)，支持對單個聲床和對象通道進行B環(huán)電聲響應調試;調試數(shù)據(jù)可實時保存和調用，數(shù)字電影沉浸式音頻實時解碼和渲染工具B環(huán)電聲響應調試界面如圖12所示，該界面支持單個聲床和對象通道的B環(huán)電聲響應調試，支持31段均衡和延時調節(jié)。

圖12　B環(huán)電聲響應調試界面

　　5 總結

　　基于對象的數(shù)字電影沉浸式音頻技術采用對象+空間位置元數(shù)據(jù)的理念，通過空間聲渲染算法，將對象聲音按照元數(shù)據(jù)空間位置信息精準靈活地渲染到元數(shù)據(jù)所規(guī)定的影廳位置處，其全新的制作和還音理念逐步被國際社會所認可，已成為當今世界主流的數(shù)字電影沉浸式音頻制作和還音方式。基于對象+元數(shù)據(jù)和聲床的沉浸式制作和安全還音方式，將是未來沉浸式音頻發(fā)展的主要趨勢。

　　本文通過對數(shù)字電影安全放映和內容傳輸技術規(guī)范的解讀，提出一種兼顧國際安全放映規(guī)范的數(shù)字電影沉浸式音頻還音方案，聯(lián)合IMB廠家搭建了國產沉浸式音頻實時處理技術實驗環(huán)境，研發(fā)了一套數(shù)字電影沉浸式音頻實時處理工具，該工具可與IMB建立通信，實時獲取音視頻同步信號和IAB，實時對IAB進行解碼和渲染，并能夠對聲床和對象通道進行均衡和延時調節(jié)。

　　該項技術符合當前數(shù)字電影內容安全還音機制，為國產沉浸式音頻技術盡快得到應用、推廣、演示、落地和標準化提供了技術支撐，為國產沉浸式音頻技術的研發(fā)提供借鑒，旨在推動國產數(shù)字電影沉浸式音頻技術向標準化和規(guī)范化發(fā)展，最終實現(xiàn)沉浸式音頻制版的相對統(tǒng)一、系統(tǒng)間互操作以及與國際技術標準兼容，為中國電影沉浸式音頻技術和行業(yè)標準的國際技術市場推廣打下夯實基礎。