机器学习课程笔记---支持向量机

引言

机器学习三种方法：
1、经典的参数估计方法
局限性是需要样本的先验分布
2、非线性方法，如ann
局限性是全靠经验，缺少理论
3、统计学习理论针对小样本

误差：
1、一般误差
真实误差
2、经验误差
来自样本

机器学习的目标是最小化一般误差，但是实际都是最小化经验误差

支持向量机同时最小化经验风险和置信风险。

vc维大，则拟合函数的维度高。

svm

基本型

这里的泛化能力最大就是说，正负类间隔最大。

对偶问题

变成求aerfa。

解决不可分问题

映射

但是样本原来就是高维的怎么办？

因此引出了核


常用的核

效果

泛化问题

为了追求泛化能力强，可以容忍一个半个的样本错误。

被错分的样本离分解面的距离为kesai，然后把这些松弛变量的和最小。

与神经网络相比

神经网络的模型黑盒导致很多严谨的地方不能用。比如航天。同时，比如dropout的存在让可复现性差。