share

前言     动笔写这个支持向量机(support vector machine)是费了不少劲和困难的，原因很简单，一者这个东西本身就并不好懂，要深入学习和研究下去需花费不少时间和精力，二者这个东西也不好讲清楚，尽管网上已经有朋友写得不错了(见文末参考链接)，但在描述数学公式的时候还是显得不够。得益于同学白石的数学证明，我还是想尝试写一下，希望本文在兼顾通俗易懂的基础上，真真正正能足以成为一

机器学习(Machine Learning, ML)的目的是根据给定的训练样本求对某系统输入输出之间依赖关系的估计，使它（这种关系）能够对未知输出做出尽可能准确地预测。机器学习至今没有一个精确的公认的定义。作为人工智能(Artificial Intelligence, AI)的一个重要研究领域，ML的研究工作主要围绕学习机理、学习方法和面向任务这三个基本方面进行研究。模式识别、函数逼近和概率密度估

很多机器学习分类算法，比如支持向量机（SVM），的介绍都说了假设数据要是线性可分。 如果数据不是线性可分的，我们就必须要采用一些特殊的方法，比如SVM的核技巧把数据转换到更高的维度上，在那个高维空间数据更可能是线性可分的（Cover定理）。 现在的问题是，如何判断数据是线性可分的？ 最简单的情况是数据向量是一维二维或者三维的，我们可以把图像画出来，直观上就能看出来。

SVM线性分类器 SVM从线性可分情况下的最优分类面发展而来。最优分类面就是要求分类线不但能将两类正确分开(训练错误率为0),且使分类间隔最大。SVM考虑寻找一个满足分类要求的超平面,并且使训练集中的点距离分类面尽可能的远,也就是寻找一个分类面使它两侧的空白区域(margin)最大。 过两类样本中离分类面最近的点且平行于最优分类面的超平面上H1,H2的训练样本就叫做支持向量。 图

http://52opencourse.com/133/coursera%E5%85%AC%E5%BC%80%E8%AF%BE%E7%AC%94%E8%AE%B0-%E6%96%AF%E5%9D%A6%E7%A6%8F%E5%A4%A7%E5%AD%A6%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0%E7%AC%AC%E4%B8%83%E8%AF%BE-%E6%AD%A3

目录(?)[-] K-Means介绍 K-Means 算法 k-means算法选择初始seeds的基本思想就是初始的聚类中心之间的相互距离要尽可能的远k-means代码httprosettacodeorgwikiK-means2B2B_clustering KNNK-Nearest Neighbor介绍KNN和K-Means的区别 K-Means介绍

一、前言 阿里的比赛一直是跟着大神们的脚步，现在大家讨论最多的是gbrt（Gradient Boost Regression Tree），也就是GBDT（Gradient Boosting Decision Tree）迭代决策树。所以先看了决策树，见上一篇博客决策树。关于迭代决策树就主要是看了几篇博客，这里推荐几个和机器学习有关的博客：1、苏冉旭的博客，；2、leftnoteasy，有数学基

推荐系统（推荐引擎）： 基于用户的协同过滤算法UserCF      近邻算法，容易实现 基于物品的协同过滤算法ItemCF       速度快，容易实现分布式计算 SlopeOne算法       @Deprecated at mahout 0.8 KNN Linear interpolation item–based推荐算法    最近邻算法   @