生成嵌入的信息理论核与两类分类器的动态线性组合
1. 研究背景与动机
在许多实际应用中,如异常检测、生物特征认证等,需要设计能够区分正类和负类的分类器。通常通过测量样本与正类的相似度,当相似度得分高于预设阈值时将样本分类为正类。这类分类器的性能评估方式包括在特定阈值下的误分类误差权衡,或使用如ROC曲线下面积(AUC)等与阈值无关的指标。然而,在安全应用中,通常只在对应极低错误率的有限阈值范围内评估性能,而单个分类器很难满足这些要求。
为了提高整体性能,基于分类器集成的方法被广泛应用。一方面,选择“最佳”分类器并非易事,且高度依赖于排名标准;另一方面,使用分类器集成可以利用各个成员所包含的互补判别信息。当分类器产生相似度得分时,通常在得分层面通过某种“融合”规则(如线性组合)生成新的得分。目前,大多数文献中的解决方案采用“静态”方法,即组合规则的参数不依赖于待分类样本。但如果组合规则使用特定于样本的参数,有望进一步提高性能。
2. 生成嵌入与信息理论核的结合
研究探索了几种基于隐马尔可夫模型(HMM)的生成嵌入与最近引入的非广延信息理论核的组合。通过对形状轮廓曲率序列进行HMM建模获得生成嵌入,并在基于支持向量机(SVM)的二维形状分类中对这些组合进行了测试。在基准数据集上的实验表明,由此得到的分类器与当前最先进的方法具有竞争力。
3. 得分可判定性指数(SDI)
-
定义与计算
- 考虑一个两类问题,正类为 $\omega+$,负类为 $\omega-$。对于待分类的每个模式 $x_i$,两类分类器 $C_k$ 通常会产生一个输出得分 $s_{ik} = f_k (x_i)$。设定一个决策阈值 $th$,得分大于阈值的模式被分配到正类,否则分配到负类。
- 对于一个通用分类器 $C_k$,考虑一组已知类别的模式,定义 $S^+ k = { s^+ {ik} = f_k (x_i) | x_i \in \omega+ }, \forall i$ 和 $S^- k = { s^- {ik} = f_k (x_i) | x_i \in \omega- }, \forall i$。
-
两类分类器 $C_k$ 在所有可能决策阈值 $th$ 下的性能可以用AUC来概括,其值可以通过Wilcoxon - Mann - Whitney(WMW)统计量计算:
[AUC_k = \frac{\sum_{i=0}^{n^+} \sum_{j=0}^{n^-} I(s^+ {ik}, s^- {jk})}{n^+ \cdot n^-}]
其中 $n^+$ 和 $n^-$ 分别表示正类和负类模式的数量,函数 $I(a, b)$ 在 $a > b$ 时等于1,否则等于0。 -
进一步定义:
[r^-(s) = \frac{\sum_{i=0}^{n^+} I(s^+ i, s)}{n^+} \approx P(S^+ > s)]
[r^+(s) = \frac{\sum {j=0}^{n^-} I(s, s^-_j)}{n^-} \approx P(s > S^-)] -
对于训练集上由两类分类器 $C_k$ 产生的得分集 $S^+
k$ 和 $S^-_k$,对于与测试模式 $x_i$ 相关的每个得分 $s
{ik}$,得分可判定性指数(SDI)定义为:
[\Delta(s_{ik}) = r^+(s_{ik}) - r^-(s_{ik})]
-
意义
- SDI与模式 $x_i$ 从正类或负类得分分布中抽取的可能性相关。如果 $\Delta(s_{ik}) = 1$,即 $P(s_{ik} > S^- k ) = 1$ 且 $P(S^+_k > s {ik}) = 0$,则得分 $s_{ik}$ 大于训练集中的任何其他得分,模式 $x_i$ 更有可能来自正类分布。同理,如果 $\Delta(s_{ik}) = -1$,则模式 $x_i$ 更有可能来自负类分布。$\Delta(s_{ik})$ 在 $[-1, 1]$ 范围内的其他值表示对得分 $s_{ik}$ 对应的样本分类的不确定性,$|\Delta(s_{ik})|$ 的值越大,分类决策越有信心。
以下是计算流程的mermaid流程图:
graph TD;
A[输入模式xi和分类器Ck] --> B[计算输出得分sik];
B --> C[确定正类和负类得分集合S+k和S-k];
C --> D[计算AUCk];
D --> E[计算r-(sik)和r+(sik)];
E --> F[计算SDI Δ(sik)];
4. 动态线性组合
-
传统线性组合及其局限性
- 得分的线性组合是融合不同分类器输出的常用方法,形式为 $s_{lc}^i = \sum_{k=1}^{N} \alpha_k \cdot s_{ik}$。通常会引入一些约束来简化参数估计,如仿射组合要求 $\sum_{k} \alpha_k = 1$,锥形组合要求 $\alpha_k \geq 0$,凸组合或加权组合要求 $\alpha_k \geq 0$ 且 $\sum_{k} \alpha_k = 1$。
- 最简单的线性组合形式是对分类器输出进行平均(即均值规则),该规则隐式假设所有分类器具有相同的权重。但当分类问题由不平衡类组成时,加权组合的性能优于均值规则。组合的权重通常通过在训练集上最大化某种性能度量来计算,且每个分类器通常被分配一个唯一的权重,不依赖于待分类样本。此外,优化算法可能具有较高的计算成本。
-
基于SDI的动态线性组合
- 提出利用SDI来推导组合的权重,以使两类组合输出的分布能够有效分离。目标是为与正样本相关的每个得分提供较大的权重,使组合得分尽可能高;为与负样本相关的每个得分提供较小的权重,使组合得分尽可能小。
-
每个分类器可以提供测试模式最可能所属类别的信息。如果有与正类和负类相关的一组参考模式,该分类器在这组模式上的输出分布可以代表其对两类的行为。通过比较每个分类器在集成中产生的输出 $s$ 与同一分类器在参考集上的输出,可以得出以下结论:
- 如果 $s > s_{ik}, \forall s_{ik} \in S^-_k$,则模式可能为正类。
- 如果 $s < s_{ik}, \forall s_{ik} \in S^+_k$,则模式可能为负类。
- 对于任何其他中间情况,分类器可能以不同的强度支持一个决策或另一个决策,具体取决于支持上述两个命题的参考集的比例。
-
利用SDI计算动态线性组合的权重公式为:
[\alpha_{ik} = \frac{\Delta(s_{ik}) + 1}{2}]
其中 $\alpha_{ik}$ 的值在 $[0, 1]$ 范围内,与分类器输出的归一化一致,这种技术称为DLC。
以下是动态线性组合的步骤列表:
1. 计算每个分类器对每个模式的SDI。
2. 根据SDI计算每个模式和每个分类器的权重 $\alpha_{ik}$。
3. 使用权重进行线性组合,得到新的得分 $s_{lc}^i$。
5. 基于SDI的其他动态规则
-
SDI作为归一化得分
- 对于每个模式和每个分类器,$\Delta$ 的符号表示最可能的类别,$|\Delta|$ 的大小表示分类预测的“强度”。将 $\Delta$ 归一化到 $[0, 1]$ 范围内,得到的值可以作为每个分类器的新归一化得分。然后,可以通过任何组合机制将这些新值进行组合。为了保持系统简单,考虑这些新归一化得分的意义,可以采用简单的平均方法。
-
简化动态组合
- SDI值还可以用于计算简化组合规则的系数,其中只使用集成产生的得分中的最大值和最小值。具体计算方法可以根据SDI对最大值和最小值进行加权,以更好地利用分类器的判别信息。
6. 实验结果
在多模态生物特征数据集上的实验结果表明,所提出的动态机制在需要高精度时能够实现非常低的错误率,验证了基于SDI的动态组合技术的有效性。
通过上述研究,我们看到了生成嵌入与信息理论核结合在形状分类中的潜力,以及基于SDI的动态组合技术在两类分类问题中的优势。这些方法为提高分类性能提供了新的思路和途径。未来的研究可以进一步探索这些技术在更多不同性质数据集上的应用,以及对动态组合规则的进一步优化。
生成嵌入的信息理论核与两类分类器的动态线性组合
7. 技术对比分析
为了更清晰地展示基于SDI的动态组合技术的优势,我们将其与传统的静态组合技术进行对比分析,具体内容如下表所示:
| 对比项目 | 静态组合技术 | 基于SDI的动态组合技术 |
| — | — | — |
| 参数计算 | 预先在训练集上计算,不依赖待分类样本 | 根据每个待分类样本动态计算参数 |
| 对样本的适应性 | 无法针对单个样本调整,适应性差 | 能根据样本特征调整权重,适应性强 |
| 性能表现 | 在某些情况下能提升平均性能,但在高精度要求下效果不佳 | 在高精度要求下能实现更低的错误率 |
| 计算复杂度 | 优化算法可能有较高计算成本 | 计算相对简单,基于SDI计算权重 |
从表格中可以看出,基于SDI的动态组合技术在适应性和高精度性能方面具有明显优势。
8. 应用场景拓展
基于SDI的动态组合技术不仅在多模态生物特征数据集上表现出色,还可以拓展到其他多个应用场景:
-
金融风险评估
:在评估贷款申请人的风险时,可将多个分类器(如信用评分模型、收入评估模型等)的输出进行动态组合。通过计算每个申请人的SDI,为不同分类器的得分分配合适的权重,从而更准确地判断申请人的风险等级。
-
医疗诊断
:在疾病诊断中,结合多种检测手段(如血液检测、影像检测等)的分类结果。利用SDI动态调整各检测结果的权重,提高诊断的准确性,尤其是对于一些复杂疾病的诊断。
-
网络安全
:在网络入侵检测中,综合多个入侵检测系统的输出。通过动态组合技术,根据实时的网络流量和攻击特征,为不同检测系统的得分赋予不同权重,及时发现潜在的网络攻击。
9. 技术优化方向
虽然基于SDI的动态组合技术已经取得了较好的效果,但仍有一些可以优化的方向:
-
SDI计算优化
:目前SDI的计算依赖于训练集上的得分分布,在数据量较大时计算效率可能较低。可以探索更高效的计算方法,如采用近似算法或分布式计算,减少计算时间。
-
权重调整策略优化
:当前的权重计算仅基于SDI的简单线性变换,可能无法充分挖掘分类器的判别信息。可以研究更复杂的权重调整策略,如引入机器学习模型对SDI进行进一步处理,以获得更合理的权重。
-
多分类问题拓展
:目前的技术主要针对两类分类问题,可将其拓展到多分类问题。通过对多分类问题进行适当的转换,如采用一对一或一对多的策略,将多分类问题转化为多个两类分类问题,再应用基于SDI的动态组合技术。
10. 总结与展望
本文围绕生成嵌入与信息理论核的结合以及基于SDI的动态组合技术展开了研究。生成嵌入与信息理论核的结合在二维形状分类中展现出了与当前先进方法的竞争力,为形状分类问题提供了新的解决方案。而基于SDI的动态组合技术在两类分类问题中表现出了显著的优势,通过动态调整分类器输出的权重,在多模态生物特征数据集上实现了极低的错误率,尤其适用于对精度要求较高的场景。
展望未来,我们可以进一步将这些技术应用到更多不同性质的数据集和实际场景中,不断拓展其应用范围。同时,持续对基于SDI的动态组合技术进行优化,提高其计算效率和分类性能,使其在更多领域发挥更大的作用。
以下是技术发展的mermaid流程图:
graph LR;
A[现有技术] --> B[应用场景拓展];
A --> C[技术优化方向];
B --> D[新应用成果];
C --> D;
D --> E[更广泛应用与发展];
总之,这些技术为分类领域的发展带来了新的机遇和挑战,值得我们深入研究和探索。



被折叠的 条评论
为什么被折叠?



