Garvin的专栏

1.背景        PCA

1.背景    采样算法是机器学习中比较常用，也比较容易实现的（出去分层采样）。常用的采样算法有以下几种（来自百度知道）：   一、单纯随机抽样（simple random sampling）将调查总体全部观察单位编号，再用抽签法或随机数字表随机抽取部分观察单位组成样本。优点：操作简单，均数、率及相应的标准误计算简单。 缺点：总体较大时，难以一一编号。二、系统抽样（systemat

1.背景        无监督学习的定义就不多说了，不懂得可以google。因为项目需要，需要进行无监督的分类学习。        K-means里面的K指的是将数据分成的份数，基本上用的就是算距离的方法。        大致的思路就是给定一个矩阵，假设K的值是2，也就是分成两个部分，那么我们首先确定两个质心。一开始是找矩阵每一列的最大值max，最小值min，算出range=max-min，然后设

/********************************* 本文来自博客  “李博Garvin“* 转载请标明出处:http://blog.youkuaiyun.com/buptgshengod******************************************/

(转载请注明出处：http://blog.youkuaiyun.com/buptgshengod)

(转载请注明出处：http://blog.youkuaiyun.com/buptgshengod)1.背景     上一节学习支持向量机，感觉公式都太难理解了，弄得我有点头大。不过这一章的Adaboost线比较起来就容易得多。Adaboost是用元算法的思想进行分类的。什么事元算法的思想呢？就是根据数据集的不同的特征在决定结果时所占的比重来划分数据集。就是要对每个特征值都构建决策树，并且赋予他们不同的

(转载请注明出处：http://blog.youkuaiyun.com/buptgshengod)1.背景知识   前面我们提到的数据集都是线性可分的，这样我们可以用SMO等方法找到支持向量的集合。然而当我们遇到线性不可分的数据集时候，是不是svm就不起作用了呢？这里用到了一种方法叫做核函数，它将低维度的数据转换成高纬度的从而实现线性可分。     可能有的人不明白为什么低维度的数据集转换成高

(转载请注明出处：http://blog.youkuaiyun.com/buptgshengod)1.背景知识     通过上一节我们通过引入拉格朗日乗子得到支持向量机变形公式。详细变法可以参考这位大神的博客——地址  参照拉格朗日公式F(x1,x2,...λ)=f(x1,x2,...)-λg(x1,x2...)。我们把上面的式子变型为： 约束条件就变成了：

(转载请注明出处：http://blog.youkuaiyun.com/buptgshengod)1.背景       支持向量机SVM（support vector machines）。SVM是一种二值分类器，是近些年比较流行的一种分类算法。本文，首先要介绍一些基本的知识概念，在下一章将对SVM进行简单地代码实现。2.基本概念（1）线性可分

(转载请注明出处：http://blog.youkuaiyun.com/buptgshengod)1.背景知识      在刚刚结束的天猫大数据s1比赛中，逻辑回归是大家都普遍使用且效果不错的一种算法。 （1）回归              先来说说什么是回归，比如说我们有两类数据，各有50十个点组成，当我门把这些点画出来，会有一条线区分这两组数据，我们拟合出这个曲线（因为很有可能是非

(转载请注明出处：http://blog.youkuaiyun.com/buptgshengod)1.背景     以前我在外面公司实习的时候，一个大神跟我说过，学计算机就是要一个一个贝叶斯公式的套用来套用去。嗯，现在终于用到了。朴素贝叶斯分类器据说是好多扫黄软件使用的算法，贝叶斯公式也比较简单，大学做概率题经常会用到。核心思想就是找出特征值对结果影响概率最大的项。公式如下：

(转载请注明出处：http://blog.youkuaiyun.com/buptgshengod)1.背景     接着上一节说，没看到请先看一下上一节关于数据集的划分数据集划分。现在我们得到了每个特征值得信息熵增益，我们按照信息熵增益的从大到校的顺序，安排排列为二叉树的节点。数据集和二叉树的图见下。（二叉树的图是用python的matplotlib库画出来的）数据集：

(转载请注明出处：http://blog.youkuaiyun.com/buptgshengod)

(转载请注明出处：http://blog.youkuaiyun.com/buptgshengod)1.背景    今后博主会每周定时更新机器学习算法及其python的简单实现。今天学习的算法是KNN近邻算法。KNN算法是一个监督学习分类器类别的算法。     什么是监督学习，什么又是无监督学习呢。监督学习就是我们知道目标向量的情况下所使用的算法，无监督学习就是当我们不知道具体的目标变量的情况下所使