weixin_40530363的博客

1、LR为什么用sigmoid函数。这个函数有什么优点和缺点？为什么不用其他函数？

支持向量机学习的基本想法是求解能够正确划分训练数据集并且几何间隔最大的分离超平面。1、线性可分支持向量机学习算法------最大间隔法函数间隔y‘的取值对上面的不等式约束没有影响，对目标函数的优化也无影响。至于等价问题为什么要是平方乘以1/2的系数是因为要将问题转化为凸2次优化问题，便于求解。如此，就将问题转为成了一个凸2次优化问题。最终求解可以得到w、b，以及超平面。在决定分离...

决策树学习算法包含特征选择、决策树的生成与决策树的剪枝。1、特征选择（利用信息增益准则）1）信息增益特征A对训练数据集D的信息增益g（D，A），定义为集合D的经验熵H（D）与特征条件下D的经验条件熵H（D|A）之差。即 g（D，A）=H(D) - H(D | A)一般的，熵H（Y）与条件熵H（Y|X）之差称为互信息。...

1、线性支持向量机-----软间隔最大化

1、核函数的定义通过一个非线性变换将输入空间X（欧式空间或离散集合）对应于一个特征空间H（希尔伯特空间）核技巧：在学习与预测过程中只定义核函数K(x,z)，而不显式的定义映射函数φ。因为前者容易计算，而通过φ（x）和φ（z）计算K（x，z）不容易。特征空间和映射函数取法不唯一。...

https://www.cnblogs.com/earendil/p/8872001.html