8、视听语音增强领域适应研究及APNet2神经声码器解析

视听语音增强领域适应研究及APNet2神经声码器解析

1. 视听语音增强领域适应研究

1.1 模型在匹配场景下的表现

在匹配场景中，对MEASE、MTMEASE和PLMEASE这三个模型在官方训练集上训练后，在评估集上的表现进行了研究。评估指标包括PESQ、STOI（%）和SISDR。具体结果如下表所示：
| 模型 | PESQ | STOI (%) | SISDR |
| — | — | — | — |
| Noisy | 1.14 | 44.10 | -5.07 |
| Baseline | 1.41 | 55.63 | 3.67 |
| MEASE | 1.60 | 67.66 | 5.34 |
| MTMEASE | 1.61 | 67.86 | 5.46 |
| PLMEASE | 1.56 | 66.28 | 4.97 |

从表中可以看出，这三个模型在各项评估指标上都展现出了有竞争力的性能。

1.2 MMMP - DA方法性能分析

为了验证MMMP - DA方法的有效性，将其与常见的单模型伪标签领域适应方法（SMP - DA）进行了比较。具体操作是将SMP - DA和MMMP - DA方法应用于四个模型：官方基线模型、MEASE、MTMEASE和PLMEASE。以下是对比结果：
| 模型 | SMP - DA（PESQ） | SMP - DA（STOI(%)） | SMP - DA（SISDR） | MMMP - DA（PESQ） | MMMP - DA（STOI(%)） | MMMP - DA（SISDR） |
| — | — |