25、用于异常声音检测的跨域特征融合多分支网络

用于异常声音检测的跨域特征融合多分支网络

1. 引言

在异常声音检测（ASD）领域，为了提高检测性能，提出了一种跨域特征融合多分支网络（MBN - CFF）。该网络具有多个创新设计，包括多分支网络架构、跨域特征融合（CFF）块、注意力沙漏（AS）块以及基于ArcFace损失的分类器。

2. 提出的方法

2.1 多分支网络架构

受人员重识别任务的启发，提出了一种多分支网络。该网络将完整的特征表示沿时间维度分为前半部分和后半部分，并将这两部分与完整的特征表示分别输入到三个分类器中。

具体流程如下：
1. 特征提取 ：原始波形首先通过两个并行路径分别提取时域和对数梅尔频域特征。
2. 特征融合 ：这两种类型的特征通过CFF块进行融合。
3. 特征处理 ：融合后的特征输入到Backbone中，其输出特征图沿时间维度分为前后两半，再与完整的特征图一起输入到三个分类器中。
4. 训练与测试 ：在训练阶段，三个分类器的预测结果都用于计算损失；在测试阶段，只有输入全局特征图的分类器生成最终预测。

Backbone是基于MobileFaceNet修改设计的，以更好地适应ASD任务的需求。其详细结构如下表所示：
| Operator | t | c | n | s |
| — | — | — | — | — |
| RHConv | – | 64 | 1 | 2 |
| RHConv | – | 128