23、实时音频处理与渲染技术解析

实时音频处理与渲染技术解析

1. 实时处理的变化需求

实时处理中，需要对传入声波进行球面傅里叶变换以更新平面波分解，进而从新的环绕声编码集合中获取扬声器滤波器。当环境变化或声源移动导致传入声波场动态变化时，需要对滤波器进行交叉淡入淡出处理。由于声场在环绕扬声器阵列内的听众空间中（至少近似）被重现，因此无需对接收器进行相关更新。

2. 实时双耳渲染

在进行全交互式实时双耳模拟之前，需要一个中间步骤。双耳声音可以针对听众的某些位置和方向进行预处理或录制，这些情况可以在虚拟环境中创建，也可以对应真实房间。在这两种情况下，双耳脉冲响应都可以在横向和球面坐标的特定网格中获取。

在重放时，干声会与听众实际位置和方向的有效双耳脉冲响应进行卷积。同时会跟踪听众的移动，从而选择与位置和方向最匹配的双耳滤波器进行卷积。

这里有两个重要方面，一是滤波器之间的淡入淡出不可听，二是脉冲响应数据库要有足够的分辨率。通常使用虚拟人头的头部相关传递函数（HRTF）作为模拟或测量的基础。

头部旋转是最快且最突然的运动，此外还有用户或声源的平移运动。平移运动速度范围在30 - 50 cm/s，头部旋转速度可达每秒约45度。根据这些数据可以估计滤波器更新率和必要的分辨率，方位角分辨率约为1度，滤波器更新可用时间为20 ms。

以下是一些交互情况下的滤波器更新间隔建议：
| 动作 | 滤波器更新可用时间 | 需更新的滤波器内容 |
| ---- | ---- | ---- |
| 声源旋转 | 35 ms | 声源指向性 |
| 头部旋转 | 35 ms | 听众坐标下的双耳处理 - 新的HRTF