|
通過(guò)新的開(kāi)源技術(shù)，Eclipsa Audio 重新定義聲音，打造三維音頻體驗 試想一下，你正坐在客廳里觀(guān)看電影，此時(shí)畫(huà)面中有一架直升機飛過(guò)，你可以聽(tīng)到直升機的聲音仿若就在你頭頂上方移動(dòng)，從房間的一側到另一側，營(yíng)造出真正身臨其境的觀(guān)影體驗。得益于基于沉浸式音頻模型和格式 (IAMF, Immersive Audio Model and Formats) 的新開(kāi)源音頻技術(shù) Eclipsa Audio™，上述的聽(tīng)覺(jué)體驗已能實(shí)現。無(wú)論是搭配了高端電視的高檔影院系統，還是入門(mén)級移動(dòng)設備和電視，該技術(shù)能夠在多種常見(jiàn)消費電子產(chǎn)品中快速高效地處理此類(lèi)需求。 該技術(shù)于今年國際消費類(lèi)電子產(chǎn)品展覽會(huì ) (CES) 上推出，由 Google、三星、Arm 和開(kāi)放媒體聯(lián)盟（開(kāi)發(fā)了 AV1 視頻格式的組織）共同打造。 什么是 Eclipsa Audio？ Eclipsa Audio 是一種多聲道音頻環(huán)繞格式，利用 IAMF 技術(shù)提供沉浸式聆聽(tīng)體驗。該技術(shù)通過(guò)垂直和水平傳播音頻，革新了聽(tīng)覺(jué)體驗。這種三維音景高度模擬自然環(huán)境，使電影、電視節目和音樂(lè )中的聲音表現更為生動(dòng)逼真。 Eclipsa Audio 會(huì )根據不同場(chǎng)景動(dòng)態(tài)調整音頻，從而確保呈現最佳音質(zhì)。此外，該技術(shù)還提供定制功能，使聽(tīng)眾能夠依據個(gè)人偏好調節聲音，進(jìn)而獲得個(gè)性化及獨特的聽(tīng)覺(jué)體驗。 一個(gè) Eclipsa Audio 比特流最多可以包含 28 個(gè)輸入通道，這些通道被渲染到一組輸出揚聲器或耳機。這些輸入聲道可以是固定的，如管弦樂(lè )隊中的麥克風(fēng)；也可以是動(dòng)態(tài)的，如動(dòng)作電影中直升機穿過(guò)聲場(chǎng)。 Eclipsa Audio 具備雙耳渲染功能，這對于通過(guò)耳機提供沉浸式音頻的移動(dòng)端應用至關(guān)重要。此外，這種新的音頻技術(shù)支持跨消費類(lèi)設備進(jìn)行內容創(chuàng )建，使用戶(hù)能夠自行構建沉浸式音頻體驗。 Arm 與 Google 在 IAMF 開(kāi)發(fā)的合作歷程 在 IAMF 開(kāi)發(fā)過(guò)程中，Arm 作為戰略合作伙伴，與 Google 團隊密切協(xié)作，以?xún)?yōu)化該技術(shù)的性能。Arm 的工作重點(diǎn)在于提高 Opus 編解碼器和 IAMF 庫 (libiamf) 的效率，確保其在當今廣泛應用于移動(dòng)設備和電視中的 Arm CPU 上實(shí)現最佳性能。 自 2005 年以來(lái)，Arm CPU 已經(jīng)集成了 Neon SIMD 擴展，并且在此之后取得了顯著(zhù)發(fā)展，使得音頻和視頻處理等數字信號處理 (DSP) 任務(wù)實(shí)現了性能躍升。針對 IAMF，Arm 的工程師致力于技術(shù)優(yōu)化，使其能夠在最低 CPU 使用率下實(shí)時(shí)解碼復雜的比特流，如此一來(lái)，即使 CPU 正在處理體驗中的其他任務(wù)，也能確�？煽康男阅�。這對于注重能效的移動(dòng)端應用尤為重要。 性能增強 Arm 一直在為 opus-codec 和 libiamf 升級補丁，專(zhuān)注于浮點(diǎn)實(shí)現，以實(shí)現最佳性能。這些增強包括： • Neon Intrinsic 優(yōu)化：該優(yōu)化支持多種 Arm 架構（包括 Armv7 + Neon、Armv8-A32、Armv8-A64 和 Armv9），從而加速了浮點(diǎn)到 INT16 的轉換和軟削波。此外，還為多通道揚聲器輸出中的矩陣乘法和通道解壓縮提供了 CPU 特定的優(yōu)化。 • 性能提升：在 Quartz64 和 Google Pixel 7 等設備上，不同揚聲器配置（如立體聲、5.1、9.1.6）都有顯著(zhù)的性能提升。舉例來(lái)說(shuō)，9.1.6 的輸出在 Pixel 7 的 Arm Cortex-A55 CPU 核心上性能提升超過(guò)了 160%。 • 解碼效率：經(jīng)優(yōu)化后，所有測試文件在 AArch64 上的解碼時(shí)間少于實(shí)時(shí)的 16%，而在 AArch32 上則少于實(shí)時(shí)的 23%，使其在 Cortex-A55 處理器上極為高效。 核心技術(shù) IAMF 支持多種音頻編碼格式，包括 LPCM、AAC、FLAC 和 Opus。其中，Opus 是當前最時(shí)新的編解碼器，通常被認為是首選。Arm 針對 Arm 架構對 Opus 進(jìn)行了進(jìn)一步優(yōu)化，從而確保其在 IAMF 框架內高效運行。 IAMF 庫 (libiamf) 負責解碼 IAMF 比特流，并為各類(lèi)音響系統生成揚聲器輸出。Arm 引入了一種 CPU 專(zhuān)用化框架，通過(guò)編譯時(shí)特征檢測，確保該庫針對其運行的平臺進(jìn)行了優(yōu)化。 通過(guò)對 Opus 編解碼器和 libiamf 庫等關(guān)鍵組件進(jìn)行優(yōu)化，Arm 的工程師確保了 IAMF 在 Arm CPU 上能夠提供卓越的性能。這不僅提升了用戶(hù)體驗，也體現了 Arm 的技術(shù)在前沿應用中的重要價(jià)值。 開(kāi)放媒體聯(lián)盟支持的 IAMF 開(kāi)放標準方法，與 Arm 提供廣泛可訪(fǎng)問(wèn)性和推動(dòng)創(chuàng )新的愿景高度契合。此次合作凸顯了 Arm 在推動(dòng)沉浸式音頻技術(shù)未來(lái)方面的重要作用，為包括高端家庭影院系統、入門(mén)級移動(dòng)設備和電視等在內的各種現有及未來(lái)設備，提供高質(zhì)量的音頻體驗。 沉浸式音頻的未來(lái)就在這里 IAMF 彰顯了沉浸式音頻技術(shù)的重大飛躍，通過(guò)利用人工智能 (AI) 和深度學(xué)習技術(shù)以及 Arm 支持的強大性能優(yōu)化，提供多功能和高質(zhì)量的音頻體驗。 沉浸式音頻的未來(lái)已經(jīng)到來(lái)，并且變得更加觸手可及。無(wú)論您是普通聽(tīng)眾還是音響發(fā)燒友，IAMF 將為您帶來(lái)前所未有的沉浸式音頻體驗。 |
