Lin

转自：http://www.cnblogs.com/kemaswill/archive/2013/01/26/2877434.html  KMeans算法是最常用的聚类算法，主要思想是:在给定K值和K个初始类簇中心点的情况下，把每个点(亦即数据记录)分到离其最近的类簇中心点所代表的类簇中，所有点分配完毕之后，根据一个类簇内...

聚类  常见的无监督学习任务有密度估计、异常检测、聚类等，本问主要记录聚类算法及相关知识。  在无监督学习中，训练样本的标记信息是未知的，训练的过程就是要找出数据中的内在性质和规律。   聚类既可作为一个单独的过程，也能够作为其他学习任务的前驱过程，如分类，由于事先不知道样本的类别，我们可以先对样本进行聚类，根据聚类结果将每个簇(类)定义为一个类别，然后再基于这些类别训练分类模型，来判别...

KNN（K-nearest neighbor）是一种可用作分类与回归的算法，由Cover和Hart于1968年提出。算法输入为实例的特征向量，可以当做特征空间的一个点，目标是为这个实例确定一个类别，可取多个类别。算法基于这样一个假设，给定一个训练集并且其中的每个实例的类别已知。当新的实例到来时，根据距离度量方式从训练集中选出k个最相近的实例的类别，然后根据多数投票方式决定新的实例的类别。k，距离度量

《统计学习方法——支持向量机》 支持向量积（support vector machine）是机器学习中的一种分类器，其基本模型是定义在特征空间上的最大间隔线性分类器，跟感知机的区别也在于最大间隔这个点，感知机的解是有多个的，而svm由于限定了最大间隔，因此其解是唯一的。线性可分支持向量机与硬间隔最大化 假设对于一个二分类问题，其数据是线性可分的，线性可分支持向量机的学习目标就是找出一个分离超平