AndrewGSD的博客

支持向量机主要用于分类问题。最初支持向量机是用于二分类的问题，并且刚开始的时候，支持向量机也只是线性的支持向量机。支持向量机的思路是找到一个超平面，将空间的数据点分开。二分类问题非常适合用支持向量机。求解支持向量机问题可以转化为求解凸二次规划（优化）问题。支持向量机的输入空间与特征空间：（1）支持向量机的输入空间：欧式空间或离散集合；（2）支持向量机的特征空间：欧式空间或希尔伯特空间。支持向量机的分类问题是在特征空间完成的，所以分类之前需要将输入空间转换为特征空间。线性与非线性支持向量机：

常用的模型学习优化算法

最大熵模型和逻辑回归模型都是线性对数模型，一般应用在分类问题中，这两个模型都具有很好的分类能力。在我看来都是具有一个比较特殊的分布函数或者分布特征，很适合分类。其中，最大熵模型(Maximum Entropy Model)由最大熵原理推导实现。此外，最大熵原理指：学习概率模型时， 在所有可能的概率模型(分布)中， 熵最大的模型是最好的模型， 表述为在满足约束条件的模型集合中选取熵最大的模型。假设离散随机变量X的概率分布是P(X)，熵为：约束条件为：其中，|X|是X的取值个数， X均匀分布时右边..

符合如下等式要求的为逻辑回归模型的函数和密度函数（至于为啥，我也不是很清楚，可能是具有这个分布的特征，然后就取了这个名字），其实我感觉逻辑回归和高斯模型挺像的。不过根据我的经验，二项逻辑回归很适合处理二分类问题。二分类回归模型，主要就是Y只能取两个值，也就是0或者1。logistic分类器是由一组权值系数组成的， 最关键的问题就是如何获取这组权值， 通过极大似然函数估计获得， 并且Y~f(x;w)。似然函数是统计模型中参数的函数。 给定输出x时， 关于参数θ的似然函数L(θ|x)（在数值上）

CART算法是决策树的一种方法之一，其同样有如下流程：决策树的特征的选择，决策树的生成，决策树的剪枝。决策树的生成可以看成是一种局部最优，而决策树剪枝是全局最优的求解。其中决策树的剪枝也是用熵的模型，不过用的是经验熵，但是搞懂了熵就差不多懂决策树剪枝，里面根据节点的熵的大小进行比较。熵比较下的叶子节点会被剪去，也就是树的回缩，减少模型的复杂度，防止过度拟合。理想的决策树有三种： (1)叶子结点数最少； (2)叶子结点深度最小； (3)叶子结点数最少且叶子结点深度最小。然而， 洪家荣等人已经证明了要..

自己学习总结决策树的生成过程主要利用信息增益或者信息增益比进行特征选择，然后依次进行节点的选择，直到全部的叶子节点全部分配完成。本文将介绍常见的决策树生成算法：ID3算法C4.5算法。其实ID3算法和C4.5算法原理都很简单。只要懂得怎么利用信息增益或者信息增益比进行特征选择，那么ID3算法和C4.5算法就会很轻松。ID3算法主要是在每一个子集中利用信息增益进行特征选择，然后在进行节点的类划分；C4.5算法主要是把ID3算法中的信息增益换成信息增益比，因为利用信息增益有一个问题，那就是某一个类

信息增益在决策树的特征选择中很重要，可以说是特征选择的核心方法之一，也同样是决策树生成的核心之一。决策树的算法很多都是建立在信息增益进行的，信息增益是建立在熵这个概念上进行的。熵就是衡量一个变量不确定性的度量。熵用的很广，在信息领域、在强化学习、在统计学习中都用的很广。下面我将分别介绍上述提到的概念：1. 熵：(entropy)：信息量大小的度量， 即表示随机变量不确定性的度量。熵越大， 随机变量的不确定性越大。2. 信息增益：通俗的理解是：一个变量的熵减去其条件熵，得到的值就是这个条件的信息

朴素贝叶斯之所加上“朴素”，主要是因为其在条件概率中假设为各个参数之间相互独立，比如P(X=x|Y=y)，在其中假设X参数之间相互独立，就可以以乘积的形式求条件概率，否则，要求出相应的条件概率，几乎不可能，因为随着X参数以及Y类别参数的增加，需要求的参数是指数级别的增加，对计算量要求太高。朴素贝叶斯经过期望风险最小化原则，可以只考虑P(Y=y)P(X=x| P=y)，最后在Y类别参数中进行argmax就可以求出相应Y的概率，也即可以对类别进行预测。朴素贝叶斯算法在连续变量中的应用，可以把P(Y=y)和.