音乐分类特征组合研究
1. 音频特征概述
音乐分类是多媒体和信息检索领域的新兴方向,其关键问题在于高效且有效地提取用于高级分类的音频特征。此前的研究中,已使用了多种类型的特征,主要可分为低级特征和中级特征。
-
低级特征
:常见的低级特征有音色和时间特征,它们通常通过频谱分析提取。提取步骤如下:
- 将歌曲分割成小的局部窗口。
- 假设每个局部窗口内的截断信号段是平稳的,以应用各种频谱分析技术。
- 从每个局部窗口提取标准频谱系数,如快速傅里叶变换系数、梅尔频率倒谱系数(MFCC)、幅度谱包络(ASE)和基于倍频程的频谱对比度(OSC)。
- 聚合相邻局部窗口的系数,生成单个歌曲级别的特征。音色特征和时间特征的主要区别在于局部频谱系数的聚合方式,音色特征对系数的分布进行建模,而时间特征将系数视为时间序列数据,关注其时间演变。
- 中级特征 :如节拍和和弦等中级特征,在一些系统中用于补充或替代低级特征。与低级特征相比,中级特征更易于解释,与人类对音乐的感知联系更紧密,但在音乐分类任务中,中级特征是否优于低级特征仍有待研究。
为了提高音乐分类系统的性能,本文使用了8种单个特征,包括基于三种不同频谱系数的三种音色特征(SMFCC、SASE和SOSC)、基于相同三种系数波动模式的三种时间特征(TMFCC、TASE和TOSC),以及两种中级特征节拍(B)和和弦(C)。
2. 特征组合方法
特征组合方法可分为决策级方法和特征级方法。
2.1 决策级融合方法
决策级融合中,每个单独的分类器可以返回单个标签、排名或实值输出。假设训练在第m个特征上的分类器为测试实例x输出向量$F(x_m) = [f_1(x_m), \ldots, f_K(x_m)] \in R^K$,向量中的每个条目$f_k(x_m)$表示第k类的置信值。
-
多数投票
:这是最简单且最广泛使用的决策级融合规则,测试实例x的标签由下式给出:
$\arg \max_{k=1,\ldots,K} \sum_{m=1,\ldots,M} \delta_{k,m}$
其中$\delta_{k,m}$是一个硬决策函数,当且仅当第m个分类器投票给第k类时,即$f_k(x_m)$大于其他$f_j(x_m)$($j \neq k$),$\delta_{k,m}$等于1。
-
求和规则
:直接使用决策值$f_k(x_m)$进行聚合:
$\arg \max_{k=1,\ldots,K} \sum_{m=1,\ldots,M} f_k(x_m)$
即$f_k(x_m)$越大,对第k类的最终得分贡献越大。
-
堆叠泛化
:上述融合规则是在无监督的情况下定义的,未使用训练数据中的标签信息。堆叠泛化提供了一个学习监督决策规则的框架,它将各个分类器返回的输出值$f_k(x_m)$视为新的特征用于分类。具体来说,为训练实例$x_i$创建如下特征映射:
$F_i = [f_1(x_{1i}), \ldots, f_K(x_{1i}), \ldots, f_1(x_{Mi}), \ldots, f_K(x_{Mi})] \in R^{KM}$
然后构建新的训练集${(F_i, y_i)}
{i=1,\ldots,N}$,在其上学习新的分类器。本文采用线性SVM分类器,在二进制情况下,通过求解以下优化问题进行学习:
$\min
{w,b} \frac{1}{2}||w||^2 + \lambda \sum_{i=1}^{N} \max (0, 1 - y_i(\langle w, F_i \rangle + b))$
其对偶形式为:
$\max_{0\leq\alpha\leq\lambda} \sum_{i=1}^{N} \alpha_i - \frac{1}{2} \sum_{i=1}^{N} \sum_{j=1}^{N} \alpha_i y_i \alpha_j y_j K(F_i, F_j)$
s.t. $\sum_{i} \alpha_i y_i = 0$
2.2 特征级组合方法
特征级组合方法通常在特定的分类框架下开发,本文主要关注SVM分类器的特征级组合。
-
特征拼接
:将所有单个特征拼接成一个复合特征,复合特征是一个长特征向量$x = [x_1, \ldots, x_M]$,用于特征分类,在SVM中用于计算新的核$K(x_i, x_j)$。
-
核平均
:在由映射函数$\varphi$给出的隐式特征空间中进行特征拼接,相当于对各个特征映射诱导的核进行平均。具体来说,拼接的非线性特征为$\varphi(x) = \frac{1}{\sqrt{M}} [\varphi(x_1), \ldots, \varphi(x_M)]$,复合核函数定义为:
$K(x_i, x_j) = \langle \varphi(x_i), \varphi(x_j) \rangle = \frac{1}{M} \sum_{m=1}^{M} \langle \varphi(x_{mi}), \varphi(x_{mj}) \rangle = \frac{1}{M} \sum_{m=1}^{M} K(x_{mi}, x_{mj})$
-
多核学习(MKL)
:引入了一种更通用的公式来学习核权重,基于SVM对偶公式:
$\min_{\beta\geq0} \max_{0\leq\alpha\leq\lambda} \sum_{i=1}^{N} \alpha_i - \sum_{i=1}^{N} \sum_{j=1}^{N} \alpha_i y_i \alpha_j y_j K_{\beta}(x_i, x_j)$
其中$K_{\beta}(x_i, x_j) = \sum_{m=1}^{M} \beta_m K(x_{mi}, x_{mj})$,s.t. $\sum_{i} \alpha_i y_i = 0$ 且 $\sum_{m} \beta_m = 1$
2.3 递归特征消除
受相关思想启发,基于堆叠泛化开发了一种递归消除冗余特征的程序。定义第m个特征的相关性为$\sum_{j=1}^{K} \sum_{k=1}^{K} (w_{j,k,m})^2$,相关性越大,该特征对分类越有用。递归特征消除步骤如下:
1. 使用剩余特征学习特征组合模型。
2. 消除相关性最低的特征。
3. 重复上述两个步骤,直到达到所需的特征数量。
通过该程序,可以确定每个单个特征对分类的重要性,并保留一部分特征进行组合,同时还能得到特征的排名。
3. 实验结果
使用GTZAN数据集进行音乐流派分类的特征组合实验,该数据集包含1000个30秒的歌曲片段,均匀分布在10个流派中。每个分类实验重复20次,每次随机划分训练和测试数据,使用LibSVM包和高斯核进行SVM训练。
3.1 单个特征的有效性
下表展示了每个单个特征集在音乐流派分类中的平均准确率:
| 特征 | 蓝调 | 古典 | 乡村 | 迪斯科 | 嘻哈 | 爵士 | 流行 | 金属 | 雷鬼 | 摇滚 | 10 - 类 |
| ---- | ---- | ---- | ---- | ---- | ---- | ---- | ---- | ---- | ---- | ---- | ---- |
| SMFCC | 75.90 | 93.00 | 68.20 | 63.30 | 68.90 | 82.40 | 90.00 | 77.10 | 63.80 | 52.90 | 73.55 |
| SASE | 64.40 | 91.50 | 72.20 | 56.60 | 65.20 | 82.50 | 87.90 | 75.60 | 60.40 | 23.70 | 68.00 |
| SOSC | 76.90 | 94.80 | 76.10 | 63.00 | 72.40 | 83.40 | 86.70 | 71.40 | 65.90 | 40.40 | 73.10 |
| TMFCC | 73.20 | 95.80 | 72.70 | 63.20 | 73.80 | 87.80 | 89.40 | 66.10 | 67.60 | 48.50 | 73.81 |
| TASE | 72.00 | 92.10 | 71.20 | 69.10 | 77.50 | 80.10 | 87.20 | 71.80 | 65.90 | 45.10 | 73.20 |
| TOSC | 78.80 | 94.30 | 75.50 | 66.20 | 74.90 | 80.00 | 85.40 | 74.80 | 67.60 | 52.50 | 75.00 |
| 节拍 | 18.60 | 29.40 | 17.70 | 71.60 | 27.10 | 16.00 | 19.40 | 17.90 | 18.10 | 10.80 | 24.66 |
| 和弦 | 83.20 | 90.20 | 69.90 | 54.10 | 96.60 | 98.70 | 65.00 | 77.90 | 81.30 | 72.30 | 78.92 |
从表中可以看出,和弦特征是流派分类中最好的单个特征类型,在10个流派中的6个以及10类问题中都取得了最佳性能。除节拍特征外,其他大多数特征的分类性能相似,节拍特征的准确率明显较低,但在识别迪斯科方面表现最佳。
3.2 特征组合效果
下表比较了各种特征组合方案的平均准确率:
| 方法 | 蓝调 | 古典 | 乡村 | 迪斯科 | 嘻哈 | 爵士 | 流行 | 金属 | 雷鬼 | 摇滚 | 10 - 类 |
| ---- | ---- | ---- | ---- | ---- | ---- | ---- | ---- | ---- | ---- | ---- | ---- |
| 最佳单个特征 | 83.20 | 95.80 | 76.10 | 71.60 | 96.60 | 98.70 | 90.00 | 77.90 | 81.30 | 72.30 | 78.92 |
| 多数投票 | 86.30 | 96.80 | 82.90 | 77.60 | 85.90 | 92.00 | 91.10 | 78.60 | 82.90 | 68.80 | 84.29 |
| 特征拼接(FC) | 89.60 | 97.00 | 83.60 | 83.00 | 86.60 | 91.10 | 90.40 | 80.60 | 75.10 | 70.50 | 84.75 |
| 核平均(AvgK) | 94.20 | 97.20 | 88.50 | 83.70 | 91.90 | 96.30 | 92.50 | 88.00 | 84.60 | 73.90 | 89.08 |
| 求和规则(Sum) | 91.70 | 96.60 | 85.50 | 86.10 | 93.40 | 98.60 | 92.30 | 87.80 | 87.50 | 78.50 | 89.80 |
| 多核学习(MKL) | 93.70 | 97.50 | 89.40 | 86.30 | 93.00 | 97.90 | 93.80 | 89.70 | 86.50 | 76.00 | 90.38 |
| 堆叠泛化(SG) | 95.70 | 97.00 | 89.40 | 86.60 | 93.30 | 98.40 | 96.30 | 87.80 | 85.10 | 78.90 | 90.85 |
从表中可以看出,特征组合可以显著提高音乐分类的性能,即使是简单的多数投票规则在10类问题上也比最佳单个特征表现更好。特征组合对10个流派中的7个有效,在迪斯科和乡村音乐等单个特征表现不佳的流派中,改进更为明显。在表现最佳的四种组合方案中,决策级融合方案(SG和求和规则)总体上略优于特征级方案(MKL和核平均),有监督的组合方案(SG和MKL)也优于无监督的对应方案(求和规则和核平均)。
mermaid流程图如下:
graph LR
A[开始] --> B[数据准备:GTZAN数据集]
B --> C[提取单个特征]
C --> D[单个特征分类实验]
D --> E[记录单个特征准确率]
E --> F[特征组合实验]
F --> G[比较不同组合方法准确率]
G --> H[得出结论]
H --> I[结束]
综上所述,通过特征组合可以提高音乐分类的性能,不同的特征组合方法各有优劣,在实际应用中可以根据具体情况选择合适的方法。
音乐分类特征组合研究
4. 特征重要性分析
通过递归特征消除程序,对八个音频特征进行分析,以确定每个特征的相对重要性。该程序基于堆叠泛化,通过不断消除相关性最低的特征,直到达到所需的特征数量。
上图展示了准确率随保留特征数量的变化情况,误差线表示20次实验的标准差。可以看出,随着最不相关特征的消除,准确率保持相对稳定。这表明递归特征消除程序能够有效地识别并去除对分类贡献较小的特征,同时保留重要特征,从而提高分类效率和性能。
特征消除过程还提供了特征的排名。虽然不同测试轮次的排名可能有所不同,但总体排名可以反映出每个特征在分类中的相对重要性。这有助于我们深入理解不同特征对音乐分类的影响,为进一步优化特征组合提供依据。
5. 方法比较与总结
为了更直观地比较不同特征组合方法的性能,我们将之前实验结果中的关键信息进行整理和分析。
| 方法 | 平均准确率提升(10 - 类) | 优势 | 劣势 |
|---|---|---|---|
| 多数投票 | 84.29 - 78.92 = 5.37 | 简单易实现 | 忽略分类器输出的置信值 |
| 特征拼接(FC) | 84.75 - 78.92 = 5.83 | 直接有效 | 可能导致特征维度过高 |
| 核平均(AvgK) | 89.08 - 78.92 = 10.16 | 考虑特征间的非线性关系 | 对所有特征同等加权 |
| 求和规则(Sum) | 89.80 - 78.92 = 10.88 | 利用分类器输出的置信值 | 无监督学习,未充分利用标签信息 |
| 多核学习(MKL) | 90.38 - 78.92 = 11.46 | 学习特征核的权重 | 计算复杂度较高 |
| 堆叠泛化(SG) | 90.85 - 78.92 = 11.93 | 有监督学习,充分利用标签信息 | 计算复杂度较高 |
从表格中可以看出,堆叠泛化和多核学习在10 - 类问题上的平均准确率提升最为显著,这两种方法都属于有监督的特征组合方法,能够充分利用训练数据中的标签信息,从而提高分类性能。然而,它们的计算复杂度也相对较高,需要更多的计算资源和时间。
多数投票方法虽然简单易实现,但由于忽略了分类器输出的置信值,其性能相对较差。特征拼接方法直接将特征组合在一起,可能会导致特征维度过高,增加计算复杂度。核平均方法对所有特征同等加权,可能无法充分发挥每个特征的优势。求和规则方法虽然利用了分类器输出的置信值,但属于无监督学习,未充分利用标签信息。
综合来看,在选择特征组合方法时,需要考虑多个因素,如计算资源、数据规模、特征类型等。如果计算资源充足,且数据样本较多,可以选择有监督的方法,如堆叠泛化和多核学习;如果计算资源有限,或者对计算效率要求较高,可以选择简单的方法,如多数投票和特征拼接。
6. 实际应用建议
在实际的音乐分类应用中,可以根据具体需求和场景选择合适的特征和特征组合方法。以下是一些建议:
-
特征选择
:
- 和弦特征在大多数流派分类中表现出色,可以作为主要特征之一。
- 节拍特征虽然整体效果不佳,但在识别迪斯科等特定流派时具有独特优势,可以根据需要进行使用。
- 结合多种低级特征(如音色和时间特征)和中级特征,以充分利用不同特征的互补性。
-
特征组合方法选择
:
- 如果追求简单快速的实现,可以选择多数投票或特征拼接方法。
- 如果希望充分利用分类器的置信值,可以考虑求和规则方法。
- 如果对性能有较高要求,且计算资源允许,建议使用堆叠泛化或多核学习方法。
-
优化策略
:
- 在特征组合过程中,可以使用递归特征消除程序,去除冗余特征,提高分类效率。
- 通过交叉验证等方法,选择最优的分类器参数和特征组合方式。
7. 未来研究方向
虽然本研究在音乐分类的特征组合方面取得了一定的成果,但仍有许多问题值得进一步探讨和研究。以下是一些未来的研究方向:
-
新特征探索
:寻找更多能够反映音乐本质特征的音频特征,如情感特征、文化特征等,以提高音乐分类的准确性和多样性。
-
深度学习应用
:将深度学习技术引入音乐分类领域,利用其强大的特征提取和分类能力,进一步提升分类性能。
-
跨领域应用
:探索音乐分类在其他领域的应用,如音乐推荐、智能音乐创作等,拓展音乐分类的应用范围。
-
实时分类系统
:开发实时音乐分类系统,满足实时性要求较高的应用场景,如在线音乐平台、智能音箱等。
mermaid流程图如下:
graph LR
A[选择特征] --> B{特征类型}
B --> |低级特征| C[音色/时间特征]
B --> |中级特征| D[节拍/和弦特征]
C --> E[特征组合方法选择]
D --> E
E --> F{方法类型}
F --> |简单方法| G[多数投票/特征拼接]
F --> |利用置信值| H[求和规则]
F --> |高性能方法| I[堆叠泛化/多核学习]
G --> J[优化策略:递归特征消除]
H --> J
I --> J
J --> K[应用于实际场景]
K --> L[评估与反馈]
L --> A
这个流程图展示了从特征选择到实际应用的整个过程,包括特征类型的选择、特征组合方法的决策、优化策略的应用以及应用后的评估与反馈。通过不断的循环和优化,可以提高音乐分类的性能和效果。
总之,音乐分类的特征组合是一个充满挑战和机遇的研究领域。通过不断探索和创新,我们有望开发出更加高效、准确的音乐分类系统,为音乐产业和用户带来更好的体验。
374



被折叠的 条评论
为什么被折叠?



