7、支持向量机中的统计学习理论基础

支持向量机中的统计学习理论基础

1. 背景与术语缩写

在深入探讨支持向量机相关内容前，先了解一些重要的术语缩写：
|缩写|全称|
| ---- | ---- |
|ERM|Empirical risk minimization（经验风险最小化）|
|GA|Genetic algorithm（遗传算法）|
|QP|Quadratic programming（二次规划）|
|RBF|Radial basis function（径向基函数）|
|RMP|Risk minimization principle（风险最小化原则）|
|SLT|Statistical learning theory（统计学习理论）|
|SMO|Sequential minimization optimization（序列最小化优化）|
|SRM|Structured risk minimization（结构风险最小化）|
|SVM|Support vector machine（支持向量机）|
|VC|Vapnik Chervonenkis|

统计学习理论应用于机器学习，涵盖了经验或真实风险最小化、风险最小化原则、风险最小化的理论概念、最小化期望（或真实）风险的函数 (f_0(X))、渐近一致性或一致收敛性、二元分类的广义边界示例以及学习机器的形成方式等内容。

2. 经验风险最小化（ERM）

2.1 定义与目标

经验风险最小化（ERM）的目标是用 (\hat{y} t = F(X_t, W_t)) 来估计真实的 (y_t)，使得误差 (