6、支持向量机解的特性分析

支持向量机解的特性分析

支持向量机（SVM）是一种强大的机器学习算法，在分类和回归问题中有着广泛的应用。本文将深入探讨支持向量机解的各种特性，包括解的唯一性、支持向量数量的减少、退化解、重复数据的影响、不平衡数据的处理以及血细胞数据的分类效果等方面。

1. 支持向量的相关定义与定理

• 不可约与可约支持向量集 ：对于L1支持向量机，若删除所有边界向量和任意一个支持向量会导致最优超平面改变，则该支持向量集是不可约的；若删除所有边界向量和某些支持向量后最优超平面不变，则是可约的。删除非支持向量不会改变解。
• Hessian矩阵特性 ：当所有支持向量无界时，不可约支持向量集对应的Hessian矩阵是正定的，可约支持向量集对应的Hessian矩阵是半正定的。
• 无界支持向量数量限制 ：对于L1支持向量机，若特征空间维度有限，不可约集中无界支持向量的数量不能超过特征空间维度加1；对于无限特征空间，无界支持向量的最大数量为训练数据的数量。对于L2支持向量机，支持向量的最大数量为训练数据的数量。
• 解的唯一性 ：对于L1支持向量机，若只有一个不可约支持向量集且支持向量都无界，则解是唯一的。

2. 非唯一解的情况

• 对偶问题非唯一 ：以二维情况为例，当x1和x2属于类1，x3和x4属于类2，且它们构成矩形时，对于线性核，{x1, x3}和{x2, x4}是不可约支持向量集。L1支持向量