【Oculus】虚拟现实音频处理VR Audio - Part 6【翻译】

七、VR的混合场景

https://developer.oculus.com/documentation/audiosdk/latest/concepts/audio-intro-mixing/

和声音设计一样，为VR混合一个场景既是艺术又是科学，以下的推荐可能包含警告。

1. 创造性的控制

我们的最终目标不一定是真实，需要一直记住这一点。和计算机环境中的灯光一样，什么需要连续或者正确并不是在艺术上有很高的要求。音频团队应该注意，不要逼着自己在VR环境中去追求完全的正确。特别是在考虑动态范围、衰变曲线以及直接返回时间的时候。

2. 声源的精确3D位置信息

声源必须被精确的放在3D的场景中。以前，一个大概的位置信息就足够，因为可以通过移动和衰变来定位。一个物体的默认位置可能是它的尾部或者是脚和地面接触的地方，当一个声音从这些位置发出时，会在空间中显得很不和谐。

3. 有方向的声源

Oculus Audio SDK不包含声源的方向，但是高层级的SDK会使用基于角度的衰变进行建模，来控制方向。这些方向的衰变会在空间化之前就发生。

4. 场景声音

Oculus Audio SDK不包含场景声音，例如瀑布、河流、人群等。

5. 多普勒效应

当声音接近或远去时，会产生明显的多普勒效应。VR可以通过声源和听者之间的相对速度来消除，但是这个过程很容易引入噪声。

6. 声音传输时间

在现实世界中，声音的传输需要时间，因此在看到和听到东西之间会有明显的延迟。

Oculus Audio SDK支持time-of-arrival。

7. 非空间化的声音

并不是所有的声音都需要被空间化，有许多声音是静态的或者与头部相关的，例如：

• 用户交互的元素，例如点击、哔哔声、传输或者其他。

• 背景音乐

• 旁白

• 身体声音，例如呼吸和心跳

这些声音应该在编写程序时被隔离，避免它们在混音时不小心被加入到3D空间化声音的流水线中。

8. 效果

空间化的效果与设备的性能有关，例如在高配的PC上可以空间化30多种声音，但是在移动设备上只能空间化一到两个。

有些声音空间化后效果很差，例如低频的轰隆声，给出的空间感很弱。这些声音可以通过一些移动和衰变来作为标准的立体声播放。

9. 气氛（Ambiance）

传统的非VR游戏很难做到声音的沉浸感。因为PC用户的话筒质量很低，家庭影院的隔离效果很差。

有了耳机、位置追踪和完全的视觉沉浸之后，对用于声音体验的音效设计变得更为重要。

这就意味着：

• 有效空间化的声源

• 合适的音效范围，不太密集，也不太稀疏

• 避免用户疲劳

• 合适的音量，可以让用户听得时间比较长

• 空间和环境的效果

10. 延迟

VR音效的延迟与设备有关，最少可以达到2ms，最多可能达到几百毫秒。当用户脑袋的移动速度与声源速度的差别较大时，系统延迟会比较明显。如果观看者移动较慢，且场景相对静止时，音频的延迟很难被察觉。

11. 特效

在VR体验中，特效是很重要的一个环节，像是滤波、赋值、变形和折边等。例如一个低通的滤波器可以模拟水下游泳的声音，因为高频会比在空气中失去能量的更快。或者可以用扭曲来模拟迷失方向。