29、音频与音乐领域的深度学习进展

音频与音乐领域的深度学习进展

1. 深度学习在音频场景分类中的表现

在典型的音频场景分类任务中，将网络用作特征提取器的方法大大超越了以往的方法。这种基于网络的特征提取方式能够更有效地捕捉音频中的关键信息，从而提高分类的准确性和效率。

2. 音乐描述中的师生范式应用

2.1 鼓转录任务

在鼓转录任务中，首次采用了师生范式。具体操作步骤如下：
1. 先使用干净的标注数据训练一个教师模型（部分固定的非负矩阵分解模型，即 Partially - Fixed - NMF 模型）。
2. 将训练好的教师模型应用于大量未标注的数据集。
3. 利用经过教师模型处理后的数据集来训练一个深度神经网络（DNN）学生模型。
实践证明，学生模型在该任务中的表现大大超过了教师模型。

2.2 歌唱语音分割任务

对于歌唱语音分割任务，同样使用了师生技术，但方式不同。操作步骤为：
1. 用一个干净但规模较小的标注数据集训练一个教师模型（深度卷积神经网络，即 deep CNN 网络）。
2. 把这个教师模型应用到从网络抓取的大量数据上，这些数据的标签是通过众包获得的，因此噪声较大。
3. 利用教师模型的输出过滤数据中的噪声。
4. 将清理后的数据作为学生模型的训练标签。
结果显示，学生模型在该任务中也表现出了更好的性能。

3. 自监督学习

自监督学习（Self - SL）是一种训练数据自动标注的监督学习技术，以下介绍几种常见的自监督学习方法。

3.1 基于视听对应（AVC）的方法

3.1.1 L3 网络

“Look, Listen and Learn” L3 网络是最早使用 AVC 的方法之一，其操作流程如下：
1. 将视频分解为图像和音频模态。
2. 将视觉子网络和音频子网络的输出输入到一个带有 softmax 输出的融合网络中。
3. 融合网络的目标是预测输入的图像和音频是否对应。对应的图像和音频对是从同一视频的同一时间点提取的，而不匹配的对则来自不同的视频。
经过这样训练的图像和音频子网络，在后续的声音分类或视觉分类（如 ImageNet 任务）中表现出色。

3.1.2 AVE - Net

AVE - Net 是 L3 网络的扩展，它用简单的欧几里得距离取代了融合网络。这使得子网络需要学习将数据（非线性地）投影到一个空间中，在这个空间里，图像内容（如吉他演奏者）和其对应的声音（如吉他声）的投影位置相近。由于音频和视频被投影到同一空间，因此可以实现跨模态应用，例如根据声音查询图像或反之，还能在视觉上定位“发声对象”（图像中投影最接近声音投影的子部分）。

3.2 基于音频信号变换的方法

SPICE（自监督音高估计）网络采用了这种方法，具体步骤如下：
1. 使用 Siamese 自动编码器（Siamese AE）。
2. 首先将编码器应用于原始音频，得到一个潜在变量 z1。
3. 将音频信号进行音高转换，转换因子为 p，然后再次编码得到 z2。
4. 训练网络，使其能够根据 z1 和 z2 的差异预测转换因子 p。
实验表明，虽然该网络是为预测音高转换而训练的，但在音高估计任务中，其结果与完全监督训练的网络非常接近。

以下是自监督学习方法的对比表格：
| 方法 | 核心原理 | 应用场景 | 优势 |
| — | — | — | — |
| L3 网络 | 利用视听对应，通过融合网络判断图像和音频是否对应 | 声音分类、视觉分类 | 训练后的子网络性能出色 |
| AVE - Net | 用欧几里得距离替代融合网络，使图像和声音投影相近 | 跨模态应用、定位发声对象 | 实现跨模态操作 |
| SPICE 网络 | 对音频信号进行音高转换，根据编码差异预测转换因子 | 音高估计 | 结果接近完全监督训练网络 |

下面是自监督学习的 mermaid 流程图：

graph LR
    classDef process fill:#E5F6FF,stroke:#73A6FF,stroke-width:2px

    A(自监督学习):::process --> B(基于视听对应):::process
    A --> C(基于音频信号变换):::process
    B --> B1(L3网络):::process
    B --> B2(AVE - Net):::process
    C --> C1(SPICE网络):::process
    B1 --> D(声音分类):::process
    B1 --> E(视觉分类):::process
    B2 --> F(跨模态应用):::process
    B2 --> G(定位发声对象):::process
    C1 --> H(音高估计):::process

4. 深度学习在音频分析与合成领域的影响及未来方向

深度学习的发展对音频分析和合成领域产生了深远的影响。当前，许多应用在一定程度上都采用了某种形式的深度神经处理。深度神经网络作为纯数据驱动的方法，其出现得益于不断增强的超级计算能力以及大量数据仓库的可用性（尽管大部分数据未标注）。然而，这也带来了一些挑战，特别是在复杂性、可解释性、公平性和数据需求方面。以下是对未来方向的一些展望。

4.1 利用音频模型提高可解释性

多年来，已经开发了许多音频模型，包括感知模型（仅对可听信息进行建模）、基于信号的模型（捕捉信号性质或结构的参数模型）或基于物理的模型（利用声音产生机制或声音传播特性的知识）。在深度架构中使用合适的音频源模型，除了可以降低复杂性外，还能约束或“引导”网络收敛到合适的解决方案，从而获得更具可解释性的网络。以下是一些具体应用：
- 音频场景分类 ：将非负因子分解模型与卷积神经网络（CNN）结合使用。
- 语音分离 ：使用非负因子分解模型与 CNN 进行处理。
- 音频合成 ：将信号处理模块与深度学习相结合。

4.2 利用多模态提高性能和可解释性

在许多情况下，音频信号可以与其他模态相关联，如视频（在视听场景中）、文本（如歌词或乐谱）、身体动作或脑电图（例如听音乐的人的脑电图）。视频已被证明对许多音频任务很有用，例如视听音乐表演分析和视听场景/对象识别。但当模态不同步观察时，仍存在重要挑战。以下是一些多模态应用的例子：
| 应用场景 | 额外模态 | 具体应用说明 |
| — | — | — |
| 歌唱语音分离 | 歌词 | 利用歌词信息辅助分离歌唱语音 |
| 音乐混音 | 乐谱 | 根据乐谱进行音乐混音操作 |
| 选择性源分离 | 频谱图上的草图 | 通过草图在频谱图上进行选择性源分离 |
| 基于注意力的音乐源分离 | 脑电图 | 利用脑电图进行基于注意力的音乐源分离 |

多模态应用的操作步骤如下：
1. 确定音频信号和其他模态的数据来源。
2. 对不同模态的数据进行预处理，使其格式和特征适合后续处理。
3. 将处理后的多模态数据输入到合适的模型中进行训练和分析。
4. 根据模型的输出进行相应的应用，如音频分类、分离等。

4.3 提高公平性和伦理

在深度学习应用中，公平性和伦理问题至关重要。在语音识别中，我们不希望系统对男性声音的识别效率高于女性声音。在音乐领域，由于大多数研究集中在西方音乐，存在对这种音乐类型的明显偏见。对于音乐推荐系统，公平性应成为核心目标，以避免在性别、种族或商业公平性方面出现偏见。在内容方面，需要能够过滤不适当或明确的内容。以下是提高公平性和伦理的一些建议：
1. 数据收集 ：确保数据的多样性，涵盖不同性别、种族和音乐类型。
2. 模型评估 ：使用公平性指标对模型进行评估，及时发现和纠正偏见。
3. 内容过滤 ：开发有效的算法来过滤不适当或明确的内容。

下面是未来发展方向的 mermaid 流程图：

graph LR
    classDef process fill:#E5F6FF,stroke:#73A6FF,stroke-width:2px

    A(深度学习未来方向):::process --> B(提高可解释性):::process
    A --> C(提高性能和可解释性):::process
    A --> D(提高公平性和伦理):::process
    B --> B1(使用音频模型):::process
    C --> C1(利用多模态):::process
    B1 --> B11(音频场景分类):::process
    B1 --> B12(语音分离):::process
    B1 --> B13(音频合成):::process
    C1 --> C11(歌唱语音分离):::process
    C1 --> C12(音乐混音):::process
    C1 --> C13(选择性源分离):::process
    C1 --> C14(基于注意力的音乐源分离):::process
    D --> D1(数据收集):::process
    D --> D2(模型评估):::process
    D --> D3(内容过滤):::process

综上所述，深度学习在音频和音乐领域已经取得了显著的进展，但仍面临着一些挑战。通过利用音频模型、多模态数据以及关注公平性和伦理问题，我们有望在未来实现更高效、更可解释和更公平的音频处理和音乐应用。