华为VR 3D音频大解密

VR 3D音频技术

开启听觉新时代

除了真实世界的声音，人类也通过音箱和耳机模拟出各种音效，提供听觉享受。

音箱从最开始的单声道，到广泛采用的双声道立体声，再到20世纪50年代的5.1/7.1环绕声，试图利用包围听众的音箱模拟环境的音效。

而耳机从1881年诞生后不断进行技术升级，带给人们随时随地享受音乐的便利。现在的耳机也可以模拟立体声，但是声场相对用户的头部是固定的，无法建立声音与听者环境的对应关系。

随着VR技术的兴起，3D音频技术实现了声音与虚拟现实中全景画面环境的连接。用户转头从不同角度看到虚拟世界中的物体时，声音也会根据头和物体的相对位置精确调整音源方位。相对传统家庭影院的平面级视听效果， VR音效拥有更大的空间感和互动性，带来的是球幕级的体验，代表着人们视听体验的又一次升级。

全景声

一张图看懂VR音频

下图中用户在VR世界里体验一场音乐会，用户能感知到鼓声发自左前方的鼓手的位置，这个时候如果听者头部向右转动90°，鼓手就会位于听者的左方，那鼓手的声音呢?传统的音频体验中，无论头怎么转动，鼓手的声音永远在听者的左前方不动，这会导致鼓手画面与鼓声位置脱节，很显然会破坏沉浸感。而VR音频技术要做的就是实时根据用户观看角度，要让鼓声始终从鼓手和头的相对位置发出，不能有大于1°(人耳分辨力极限)的偏差，不然就会感觉到非常不自然。因此，判断VR产品的音频做的好不好，转头听一听效果就知道!

影院模式

用VR眼镜实现家庭影院立体声音效

华为VR头盔插入手机后，即可进入VR模式，戴上耳机，就可以体验到身临其境的3D影院音效。例如有些电影片段，有着非常不错的影音效果，激烈的打斗场面，机械与地面的剧烈撞击，无数行人的惊慌尖叫，各种声音从四面八方传来，环绕感十足，试着左右转动头部，所有声场中的声音元素都让你感觉到如同置身真实电影院一般!通过手机和VR眼镜就模拟了传统家庭影院5.1/7.1音箱才具备的立体声效果。

华为VR 3D音频技术解密

要实现好的VR音频体验，从技术层面分析，需要做好以下几个方面：音视频同步(超高刷新率，处理低时延)、虚拟方位准确度(HRTF高精度)、整体音质(基础音效调优)。华为最新发布的VR头盔，在音频方面采用了华为自主研发的动态3D音频技术，大幅提升音频沉浸体验。

音视频的同步渲染对营造VR沉浸感十分重要，目前很多VR盒子并没有提供3D音频效果处理，或者音视频非常不同步。如果声音反应滞后超过50ms，这对体验是破坏性的。华为VR 3D音效算法每秒能获取100次姿态信息，这个数值相当于人头每秒几十次的左右快速转动，也能保证及时准确的获得运动信息。同时华为针对不同平台对软件进行深度优化，并避免算法处理本身引入时延，确保快速完成复杂的音频信息处理并传输到硬件进行播放，保证音视频同步。

VR音频一般采用基于HRTF的动态3D音频技术来构建空间位置感。 HRTF数据库可以通过消声室环境测试得到，这种方式只能测量有限个方位点的HRTF数据，无法覆盖到3D球面上的任何一个方位点。这就导致大部分厂商难以做到虚拟声音与声源位置的精确匹配。华为VR针对HRTF数据库进行了专门处理和优化，使空间分辨率可精确到1°。

音频音质对沉浸式体验同样十分重要，为了提高整体音质，华为使用自研的VR后处理音效算法，通过低频增强、均衡、动态范围压缩等算法提升整体音质，让听感更加自然，并保持细节更加丰富，低频更加震撼，极大提升了代入感和沉浸感。

因此，华为VR带来的不但是新颖的视觉享受，也带来了听觉体验的升级。