svm&贝叶斯

首先，svm最简单的形式就是解决二类线性可分的问题。其优势就是可以将核函数很好的加进来，解决高维可分的问题。缺点是相比于lr，不能提供概率。并且没有lasso这种特征选择的好性质。svm考虑到每一个样本。

不论原问题是否是凸问题，对偶问题都是凹问题。

在推导的的过程中，因为原问题是凸问题，满足KKT条件的点也是原，对偶问题的最优解。原问题的最优解即是对偶问题的最优解。

因此，我们就是在解决一个max min的问题。对于min_w,b，我们使用对参数求导的方式得到只关于拉格朗日乘子的式子，再用SMO求max。

由于 强对偶成立，则原问题的最优解和 对偶问题的最优解满足 KKT 条件(有一条就是通过求导证明的，L极小值，对x求导为0；另一个就是互补松驰性)。因此，可以得到 支持向量。

核函数：

如果原始空间是有限维，即属性数有限，那么一定存在一个高维特征空间使样本可分。

高维空间做内积，相当于原始空间做变换。对称函数所对应的核矩阵半正定，就可以作为核函数使用。

软间隔和正则化：结构风险和经验风险

先验  和  似然的估计。先验主要是使用频率来估计; 

极大似然估计：似然是假设某种分布，用极大似然对参数进行估计。 明明是想估计参数的，但是解决时是用在这组参数下，样本值出现的概率

朴素贝叶斯：假设属性之间独立。然后使用连乘的方式，注意不存在的样本要做平滑化处理

EM算法：

E步：估计当前参数下，隐变量分布

M步：更新参数，最大化这个分布

dsdsf