音乐分类与二维形状识别中的特征组合与核方法
在机器学习领域,分类问题一直是研究的热点,尤其是在音乐分类和二维形状识别方面。不同的特征和方法被不断探索和应用,以提高分类的准确性和效率。
音乐分类中的特征组合
在音乐分类问题上,研究发现使用不同层次的多个特征可以显著提高分类性能,而不依赖于具体的组合方案。通过对各个特征的平均排名进行排序,发现节拍是最弱的单个特征,通常最先被淘汰;而和弦是最强的特征,往往最后保留。这表明在音乐分类中,和弦是最适合用于音乐流派分类的单个特征,而堆叠泛化则是多特征组合的最优方案。
二维形状识别中的生成嵌入与信息理论核
在二维形状识别领域,传统的分类器学习方法主要分为生成式和判别式两种范式。生成式方法基于概率类模型和先验类概率,通过贝叶斯定律得到后验概率;判别式方法则直接从数据中学习类边界或后验类概率,不依赖于生成式类模型。
在生成式方法中,隐马尔可夫模型(HMMs)被广泛应用于数据序列的建模。然而,由于缺乏先验知识或训练数据不足等原因,生成式方法可能会产生较差的结果。为了解决这个问题,研究人员提出了多种方法来丰富生成式范式,例如通过最大互信息(MMI)或最小贝叶斯风险(MBR)准则对HMM进行判别式训练,或者将HMM推广到概率判别式模型,如条件随机场(CRFs)。
生成嵌入方法是另一种探索的途径,其基本思想是使用HMM或其他生成式模型将待分类的对象映射到一个特征空间,在这个空间中可以使用判别式技术,可能是基于核的方法。生成嵌入通常涉及两个步骤:一是定义和学习用于构建嵌入的生成式模型;二是在采用的特征空间上判别式地学习一个(可能是核的)分类器。以往的文献主要关注第一步,而在第二步通常采用一些标准的现成工具,如使用经典线性或径向基函数(RBF)核的支持向量机(SVM)。
本文采用了不同的方法,将几种基于HMM的生成嵌入(包括经典的Fisher分数)与最近提出的非广延信息理论核相结合。具体来说,使用了四种不同的基于HMM的生成嵌入到特征空间的方法:
1.
Fisher分数嵌入(FSE)
:每个序列由一个特征向量表示,该向量包含生成模型的对数似然函数相对于其每个参数的导数。
- 公式为:$\varphi_{FSE}(o, \lambda) = \left[\frac{\partial \log(P(O = o|\lambda))}{\partial \lambda_1}, \cdots, \frac{\partial \log(P(O = o|\lambda))}{\partial \lambda_L}\right]^{\top} \in R^L$,其中$\lambda_i$表示模型$\lambda$的$L$个参数之一(转移矩阵、发射和初始概率的元素)。
2.
边缘化核嵌入(MKE)
:离散HMM的边缘化核(MK)定义为$MK (o, o’, \lambda) = \sum_{s=1}^{S} \sum_{i=1}^{N} m_{si} (o, \lambda) m_{si} (o’, \lambda)$,其中$m_{si} (o, \lambda) = \frac{1}{T} \sum_{q \in {1, \cdots, N}^T} P (Q = q|O = o, \lambda) \sum_{t=1}^{T} I (o_t = s \land q_t = i)$,$I(A)$是指示函数。将所有的$m_{si} (o, \lambda)$值收集到一个$(SN)$维向量$m(o, \lambda) \in R^{SN}$中,MKE简单地由$\varphi_{MKE}(o, \lambda) = m(o, \lambda) \in R^{SN}$给出。
3.
状态空间嵌入(SSE)
:特征向量的第$i$个分量测量在观察序列$o$中,HMM处于状态$i$的概率在时间上的总和。
- 公式为:$\varphi_{SSE}(o, \lambda) = \left[\sum_{t=1}^{T} P(Q_t = 1|o, \lambda), \cdots, \sum_{t=1}^{T} P(Q_t = N|o, \lambda)\right]^{\top} \in R^N$,每个分量可以解释为在给定观察序列的情况下,从相应状态转移的期望次数。
4.
转移嵌入(TE)
:与SSE类似,但考虑的是状态之间的转移概率。
- 公式为:$\varphi_{TE}(O, \lambda) = \begin{bmatrix} \sum_{t=1}^{T - 1} P(Q_t = 1, Q_{t + 1} = 1|o, \lambda) \ \sum_{t=1}^{T - 1} P(Q_t = 1, Q_{t + 1} = 2|o, \lambda) \ \vdots \ \sum_{t=1}^{T - 1} P(Q_t = N, Q_{t + 1} = N|o, \lambda) \end{bmatrix} \in R^{N^2}$,每个分量可以解释为在给定观察序列的情况下,从一个给定状态到另一个状态的期望转移次数。
同时,还使用了四种信息理论核:
1.
Jensen - Shannon核
:定义为$k_{JS}(p_1, p_2) = \ln(2) - JS(p_1, p_2)$,其中$JS(p_1, p_2)$是Jensen - Shannon散度,$JS(p_1, p_2) = H\left(\frac{p_1 + p_2}{2}\right) - \frac{H(p_1) + H(p_2)}{2}$,$H(p)$是通常的香农熵。
2.
Jensen - Tsallis(JT)核
:$k_{JT_q}(p_1, p_2) = \ln_q(2) - T_q(p_1, p_2)$,其中$\ln_q(x) = \frac{x^{1 - q} - 1}{1 - q}$是$q$ - 对数,$T_q(p_1, p_2) = S_q\left(\frac{p_1 + p_2}{2}\right) - \frac{S_q(p_1) + S_q(p_2)}{2q}$,$S_q(r)$是Jensen - Tsallis熵,对于多项分布$r = (r_1, \cdots, r_L)$,$r_i \geq 0$且$\sum_{i} r_i = 1$,$S_q(r_1, \cdots, r_L) = \frac{1}{q - 1} \left(1 - \sum_{i=1}^{L} r_i^q\right)$。
3.
加权Jensen - Tsallis核(版本A)
:$k_{A_q}(\mu_1, \mu_2) = S_q(\pi) - T_{\pi}^q(p_1, p_2)$,其中$\pi = (\pi_1, \pi_2) = \left(\frac{\omega_1}{\omega_1 + \omega_2}, \frac{\omega_2}{\omega_1 + \omega_2}\right)$,$T_{\pi}^q(p_1, p_2) = S_q(\pi_1 p_1 + \pi_2 p_2) - (\pi_1^q S_q(p_1) + \pi_2^q S_q(p_2))$。
4.
加权Jensen - Tsallis核(版本B)
:$k_{B_q}(\mu_1, \mu_2) = \left[S_q(\pi) - T_{\pi}^q(p_1, p_2)\right] (\omega_1 + \omega_2)^q$。
将生成嵌入与信息理论核相结合,定义了两个观察序列$o$和$o’$之间的核为$k(o, o’) = k_{i_q}(\Phi(o), \Phi(o’))$,其中$i \in {JT, A, B}$索引Jensen - Tsallis核之一,$\Phi$是通过将每个模型的嵌入向量连接起来得到的。
实验评估
为了验证上述方法的有效性,进行了二维形状分类实验,使用了Chicken Pieces数据库。该数据库包含446个鸡片的二进制图像(剪影),分为五个类别:翅膀、背部、鼓槌、大腿和背部、胸部。
实验步骤如下:
1. 从每个形状的轮廓中提取曲率值序列,并使用具有高斯发射密度的连续3状态HMM对这些序列进行建模。
2. 将原始数据集随机分为训练集和测试集(大小相等)。
3. 分类准确率值是10次实验的平均值。
4. 通过10折交叉验证(CV)优化SVM的常数$C$和信息理论核的参数$q$。
5. 嵌入可以使用或不使用空间标准化(移动和缩放每个特征)。
实验结果如下表所示:
| Embedding | Linear | $k_{JS} = k_{JT_1}$ | $k_{JT_q}$ | $k_{A_q}$ | $k_{B_q}$ |
| — | — | — | — | — | — |
| States | 0.7387 | 0.7230 | 0.7095 | 0.7995 | 0.8221 |
| States (standardized) | 0.7342 | 0.7230 | 0.7005 | 0.8086 | 0.7950 |
| Transitions | 0.7703 | 0.7545 | 0.7545 | 0.8243 | 0.8356 |
| Transitions (standardized) | 0.8311 | 0.7995 | 0.7973 | 0.8176 | 0.8198 |
| Fisher | 0.6171 | 0.6194 | 0.6261 | 0.7568 | 0.6689 |
| Fisher (standardized) | 0.8108 | 0.8243 | 0.8243 | 0.8311 | 0.8243 |
| Marginalized | 0.6712 | 0.7095 | 0.7455 | 0.8243 | 0.8063 |
| Marginalized (standardized) | 0.7477 | 0.6937 | 0.7162 | 0.7995 | 0.8063 |
从结果可以看出,除了一种情况外,每个嵌入的最佳Jensen - Tsallis核总是优于线性核,尽管优势不大。对于转移嵌入(TE),不同核的SVM准确率随参数$q$的变化如图所示,最佳性能在$q < 1$时获得。这可能是因为对于$q < 1$,$k_{JT_q}(p, v)$(或$k_{B_q}(p, v)$)关于$p$ 的最大化器不是$v$,而是更接近均匀分布的另一个分布,这种行为起到了平滑正则化的作用。
与其他最新的方法进行比较,结果表明本文提出的方法具有竞争力,初步实验评估证明了该方法的有效性。
综上所述,无论是在音乐分类还是二维形状识别中,合理选择特征和方法对于提高分类性能至关重要。未来的研究可以进一步探索不同特征和方法的组合,以获得更好的分类效果。
下面是生成嵌入与信息理论核结合的流程mermaid图:
graph TD;
A[定义和学习生成式模型] --> B[构建生成嵌入];
B --> C[选择信息理论核];
C --> D[定义核函数 k(o, o')];
D --> E[使用 SVM 分类器进行训练];
E --> F[进行实验评估];
通过以上的研究和实验,我们可以看到在机器学习的分类问题中,不断探索和创新方法是提高性能的关键。无论是音乐分类还是二维形状识别,都需要综合考虑特征的选择、模型的构建和方法的优化,才能取得更好的效果。希望本文介绍的方法和实验结果能为相关领域的研究和应用提供有益的参考。
音乐分类与二维形状识别中的特征组合与核方法
实验结果深入分析
从上述实验结果的表格中,我们可以进行更深入的分析。以不同的嵌入方式为线索,来探讨它们在不同核函数下的表现差异。
| Embedding | Linear | $k_{JS} = k_{JT_1}$ | $k_{JT_q}$ | $k_{A_q}$ | $k_{B_q}$ |
|---|---|---|---|---|---|
| States | 0.7387 | 0.7230 | 0.7095 | 0.7995 | 0.8221 |
| States (standardized) | 0.7342 | 0.7230 | 0.7005 | 0.8086 | 0.7950 |
| Transitions | 0.7703 | 0.7545 | 0.7545 | 0.8243 | 0.8356 |
| Transitions (standardized) | 0.8311 | 0.7995 | 0.7973 | 0.8176 | 0.8198 |
| Fisher | 0.6171 | 0.6194 | 0.6261 | 0.7568 | 0.6689 |
| Fisher (standardized) | 0.8108 | 0.8243 | 0.8243 | 0.8311 | 0.8243 |
| Marginalized | 0.6712 | 0.7095 | 0.7455 | 0.8243 | 0.8063 |
| Marginalized (standardized) | 0.7477 | 0.6937 | 0.7162 | 0.7995 | 0.8063 |
- 状态嵌入(States) :未标准化时,$k_{B_q}$核函数取得了最高的准确率 0.8221,而标准化后,$k_{A_q}$核函数表现最佳为 0.8086。这表明在状态嵌入中,信息理论核尤其是$k_{B_q}$和$k_{A_q}$能够挖掘出更多有用的信息,并且标准化操作对不同核函数的影响不同。
- 转移嵌入(Transitions) :未标准化时,$k_{B_q}$核函数的准确率达到 0.8356 为最高;标准化后,线性核函数的准确率提升到 0.8311。这说明转移嵌入本身可能包含了较多的有效信息,标准化对线性核函数的提升效果明显。
- Fisher 嵌入 :未标准化时,各核函数的准确率普遍较低,而标准化后,所有核函数的准确率都有显著提升,$k_{A_q}$核函数达到 0.8311。这表明 Fisher 嵌入对标准化操作非常敏感,标准化能够有效提升其分类性能。
- 边缘化嵌入(Marginalized) :未标准化时,$k_{A_q}$核函数表现最佳为 0.8243;标准化后,线性核函数的准确率提升到 0.7477。这显示出边缘化嵌入在不同核函数和标准化操作下的性能变化较为复杂。
不同核函数的特性分析
不同的信息理论核函数在实验中表现出了不同的特性。
- Jensen - Shannon 核($k_{JS}$) :它与$k_{JT_1}$等价,在实验中整体表现较为平稳,但在大多数情况下不是最优的。这可能是因为它基于香农熵,对数据的分布特征挖掘相对有限。
- Jensen - Tsallis(JT)核($k_{JT_q}$) :当$q$值不同时,其性能会发生变化。从实验结果来看,$q < 1$时能取得较好的性能。这是因为在$q < 1$时,它会倾向于更均匀的分布,起到了平滑正则化的作用,有助于提高分类的泛化能力。
- 加权 Jensen - Tsallis 核(版本 A 和 B) :这两个版本在实验中表现较为出色,尤其是在一些嵌入方式下能够取得较高的准确率。版本 A 为$k_{A_q}(\mu_1, \mu_2) = S_q(\pi) - T_{\pi}^q(p_1, p_2)$,版本 B 为$k_{B_q}(\mu_1, \mu_2) = \left[S_q(\pi) - T_{\pi}^q(p_1, p_2)\right] (\omega_1 + \omega_2)^q$。它们考虑了数据的权重信息,能够更好地适应不同的数据分布。
空间标准化的作用
空间标准化(移动和缩放每个特征)在实验中对不同的嵌入方式和核函数产生了不同的影响。可以总结如下:
- 对于 Fisher 嵌入,标准化操作带来了巨大的性能提升,从较低的准确率提升到了较高的水平,说明该嵌入方式原始特征的尺度差异较大,标准化能够消除这种差异,使分类器更好地学习特征。
- 对于转移嵌入,标准化对线性核函数的提升效果明显,而对其他核函数的影响相对较小。这可能是因为线性核函数对特征的尺度更为敏感。
- 对于状态嵌入和边缘化嵌入,标准化的影响相对复杂,不同核函数的表现有升有降。这表明空间标准化需要根据具体的嵌入方式和核函数进行选择和调整。
与其他方法的对比及优势
与其他最新的二维形状识别方法进行对比,本文提出的方法具有一定的竞争力。以下是部分对比结果:
| Methodology | Accuracy (%) |
| — | — |
| 1 - NN + Levenshtein edit distance | ≈0.67 |
| 1 - NN + approximated cyclic distance | ≈0.78 |
| KNN + cyclic string edit distance | 0.743 |
| SVM + Edit distance - based kernel | 0.811 |
| 1 - NN + mBm - based features | 0.765 |
| 1 - NN + HMM - based distance | 0.737 |
| SVM + HMM - based entropic features | 0.812 |
| SVM + HMM - based Top Kernel | 0.808 |
| SVM + HMM - based FESS embedding + rbf | 0.830 |
| SVM + HMM - based non linear Marginalized Kernel | 0.855 |
| SVM + HMM - based clustered Fisher kernel | 0.858 |
| 本文方法(最佳结果) | 0.836 |
本文方法的优势在于将生成嵌入与信息理论核相结合,充分利用了生成式模型的概率信息和信息理论核的分布特征挖掘能力。通过不同的生成嵌入方式和信息理论核的组合,能够适应不同的数据分布和分类任务,从而取得较好的分类效果。
未来研究方向
虽然本文的方法在实验中取得了较好的结果,但仍有一些可以进一步研究的方向。
- 特征组合的优化 :在音乐分类和二维形状识别中,除了现有的特征和方法,还可以探索更多的特征组合方式。例如,可以尝试将不同类型的特征进行融合,或者引入新的特征提取方法,以提高分类的准确性。
- 核函数的改进 :可以对现有的信息理论核函数进行改进,或者探索新的核函数。例如,结合更多的数据分布信息和先验知识,设计出更适合特定分类任务的核函数。
- 模型的可解释性 :在追求高分类准确率的同时,提高模型的可解释性也是一个重要的研究方向。可以通过可视化等方法,解释模型在分类过程中的决策依据,使模型更加透明和可信。
下面是一个未来研究方向的流程图:
graph TD;
A[特征组合优化] --> B[探索新特征融合方式];
A --> C[引入新特征提取方法];
D[核函数改进] --> E[改进现有核函数];
D --> F[探索新核函数];
G[模型可解释性] --> H[可视化决策依据];
G --> I[提高模型透明度];
B --> J[提高分类准确性];
C --> J;
E --> J;
F --> J;
H --> J;
I --> J;
综上所述,在机器学习的分类问题中,不断探索和创新是提高性能的关键。通过合理选择特征、优化模型和方法,以及深入研究不同核函数的特性,我们可以在音乐分类和二维形状识别等领域取得更好的成果。希望本文的研究能够为相关领域的进一步发展提供有益的参考。



被折叠的 条评论
为什么被折叠?



