SVM支持向量机系列理论（六） SVM过拟合的原因和SVM模型选择

6.1 SVM 过拟合的原因

实际我们应用的SVM模型都是核函数+软间隔的支持向量机，那么，有以下原因导致SVM过拟合：

• 选择的核函数过于powerful，比如多项式核中的Q设置的次数过高
• 要求的间隔过大，即在软间隔支持向量机中C的参数过大时，表示比较重视间隔，坚持要数据完全分离，当C趋于无穷大时，相当于硬间隔SVM

6.2 如何选择SVM模型

采用不同核函数，会有不同的参数数量，那么如何选择SVM的参数呢？

• 最简单有效的方法就是交叉验证。
• SVM的留一验证法误差会小于支持向量所占比例
  
  • $E_{loocv} \leq \frac{SV}{N}$

因此，支持向量的数量比较多时，可能表示你的模型的留一验证误差会比较大，可以利用这里来做一个初步的检查模型。