42、分类与聚类技术详解

分类与聚类技术详解

1. 神经网络训练问题

在进行神经网络训练时，如果训练时间过长，反向传播算法的大量自由度可能会导致系统过度适应训练数据，出现过拟合现象。为了避免这种情况，我们需要选择合适的学习停止标准，这通常基于测试数据的分类误差来确定。

为了找到合适数量的节点和层以实现良好的泛化能力，我们可以采用以下操作步骤：
1. 从一个初始网络开始，通过移除节点的方式反复修改网络结构。
2. 当移除权重非常小的边时，能够进一步改善最优泛化网络的收敛性，因为这些边大多会给分类结果带来噪声。

2. 支持向量机

2.1 线性支持向量机

支持向量机（SVM）能够在多个可能的边界中选择一个与样本距离最大的边界，这有助于减少误分类的可能性，尤其适用于训练数据仅为真实分布样本的情况。

线性支持向量机主要用于解决两类分类问题。对于线性决策边界的分类问题，分类器可以表示为：
[D(f,w,w_0) \cdot d > 0, \quad d = class(f) \in {-1,1}]
进一步可改写为：
[d \cdot (w^Tf + w_0) \geq 1]
样本 (f) 到超平面的距离 (r) 为：
[r = \frac{w^Tf + w_0}{|w|}]
所有样本 (f_i) 的最小距离 (\mu_L) 为：
[\mu_L = \min_i \left{\frac{|w^Tf_i + w_0|}{|w|}\right}]
训练任务就是找到一个能使 (\mu_L) 最大化的超平面。对于这样的超平面，某些样本 (f_b) 到超平面