BITDDD小栈

1.SMO算法简介SMO算法又称序列最小优化，是John Platt发布的的一种训练SVM的强大算法，SMO算法的思想是将大的优化问题转换为多个小优化问题，这些小的优化往往很容易求解，并且对他们进行顺序求解和作为整体求解的结果是完全一致的。SMO算法的目标是求出一些列alpha和b，一旦求出alpha，我们的超平面w的系数便得到，我们就可以利用超平面来进行分类了。SMO算法的工作原理是每次循环中选......

线性模型给定d个属性描述的实例x = (x1,x2,...,xd),其中xi是x在第i个属性上的取值，线性模型想要学得一个通过属性的线性组合来进行预测的函数，即： 一般写成向量模型： .........

Bagging简介Bagging是并行式集成学习的最著名代表，名字是由Bootstrap AGGregatING缩写而来，看到Bootstrap我们就会联想到boostrap的随机模拟法和它对应的样本获取方式，它是基于自助采样法（Boostrap sampleing），Bagging也是同理.给定包含m个样本的数据集，先随机抽取一个样本放入采样集中，再把该样本放回，使得下次采样时该样本仍有机会被选.........

多样性增强在讲随机森林之前，先讨论一下多样性增强.在集成学习中需要有效的生成多样性大的个体学习器，与构造单一学习器对比而言，一般是通过在学习过程中引入随机性，常见的做法是对数据样本，输入属性，输出表示，算法参数进行扰动.1）数据样本扰动给定初始数据集，可从中产生生不同的数据子集，再利用不同的数据子集训练出不同的个体学习器.数据样本扰动是基于采样法，例如Bagging采用自助法采样，，对很多的常见基.........

1.损失函数上一篇文章简单介绍了集成学习和弱学习器的理论概率，最后给出了AdaBoost的伪代码与实现步骤，思路比较清晰，这篇文章主要针对分类器的重要性α与分布权重Dt的更新规则进行推导.推导之前先看一下常见的损失函数（损失函数在SVM（3）里介绍过，这里只给出损失函数形式）：.........

1.集成学习现实情景中，一个学习器的泛化性能可能有局限，而集成学习则可以通过构造多个学习器来完成学习任务，有时也被称为多分类器系统，集成学习的大致步骤是先生成一组‘个体学习器’，然后基于某种策略将学习器结合起来，个体学习器同昌由现有的算法从训练数据产生，最常用的是决策树，还有神经网络1，支持向量机等。根据集成学习中分类器的类别来看，如果集成学习器中的个体学习器都是相同的，则称为‘同质’集成，对应的.........

1.结构风险与经验风险在支持向量机部分，我们接触到松弛变量，正则化因子以及最优化函数，在朴素贝叶斯分类，决策树我们也遇到类似的函数优化问题。其实这就是结构风险和经验风险两种模型选择策略，经验风险负责最小化误差，使得模型尽可能的拟合数据，而结构风险则负责规则化参数，使得参数的形式尽量简洁，从而达到防止过拟合的作用.所以针对常见模型，我们都有下式：.........

引言：前边几篇文章中提到的分类数据点，我们都假设是线性可分的，即存在超平面将样本正确分类，然而现实生活中，存在许多线性不可分的情况，例如“异或”问题就不是线性可分的，看一下西瓜书上的一个"异或"的例子，对于二维数据点，[0,0],[1,1]属于0类，[0,1],[1,0]属于1类，我们就无法用一条直线超平面将样本数据分类.线性可分-常规数据.........

      接触机器学习时间不长，最先接触的就是比较基础的KNN算法和手写数字识别，正好《机器学习实战》这本书第二章又讲到了手写数字识别，就写一些自己的心得体会，同时也要感谢同学的热心帮助。最先接触时，对KNN，Kmeans还不够深入了解，慢慢的才知道，KNN是有监督学习和Kmeans是无监督学习的区别。废话不多说，KNN算法又叫K-近邻算法，其分类思想是测量不同特征值之间的距离从而进行分类。K近...

    我们经常使用决策树处理分类问题，相比于其他分类算法，决策树算法的实现更加简单明了，而绘制出的决策树也能够轻松的看出数据隐含的内在信息，常用的决策树有CART树，ID3树，还有C4.5树，决策树的优点在于计算复杂度不高，输出结果易于理解，可以处理不相关特征数据，缺点是可能会产生过度匹配问题，因此建模完成后还经常需要剪枝或者在建模时对节点，深度进行一些限制，不过一般数据量不是很大时，这个问题暂...

KNN，决策树两种算法都明确给出了“该数据实例到底属于哪一类”这类明确的回答，而这一篇讲到的朴素贝叶斯分类器，基于概率论的分类方法，将给出数据实例属于不同种类的概率（基于数据的后验概率），从而供我们选择一个最优的类别猜测结果。例如给定一组数据(x，y)，可能的分类是C1，C2，这里我们基于之前给出的数据，求P(C1|x，y)和P(C2|x，y)，比较两个概率的大小，判断(x，y)更可......

前言 ：这篇主要讲logistic回归，虽然名字上是回归，但很多时候我们都将他用于分类，由于这一章公式比较多，而且第一次遇到了最优化算法，所以本文大部分会放在相关数学公式的证明和理解上，代码实现部分之后再补充。 先解释一下什么是回归，我们经常会接触到一些数据点，希望拟合一条直线或者曲线去近似他，从而预测其他未知变量的值，而这个拟合过程就称作回归。而logistic回归解决分类问题的主......

对于支持向量机，我们首先要关注的几个点就是间隔，超平面，支持向量，再深入的话就是对偶问题，拉格朗日对偶问题，凸优化，和KKT条件，我们先从基本的间隔，超平面，支持向量说起。1.SVM基础模型给定训练集D={(x1,y1),(x2,y2)...(xn,yn)},yi∈{-1,1}，例如下面图中的点，蓝线左上方的6个点对应1类，右下方的6个点对应-1类，基于数据分类的思想，如果我......

上一篇文章推导SMO算法时，我们通过导入松弛因子，改变了对偶问题的约束条件，这里涉及到软间隔和正则化的问题，我们一直假定训练样本是完美无缺的，样本在样本空间或特征空间一定是线性可分的，即存在一个超平面将不同类的样本完全划分开，然而现实中，数据往往不那么‘完美’，即使找到完美的它，我们也很难断定这里的线性可分是否存在过拟合。如何解决这个问题呢，允许支持向量机在一些样本上出错，这样我们便引入了软间隔：......

局部加权线性回归线性回归的一个问题是有可能出现欠拟合，因为它求的是具有最小均方误差的无偏估计，显然模型欠拟合将无法做出很好的回归预测，所以有些方法允许在估计中引入一些偏差，从而降低预测的均方误差。局部线性加权的思想是对待预测点附近的每个点赋予一个权重，然后在带权的样本上基于最小均方误差来进行回归.普通线性回归：......