机器学习--KNN算法，决策树

KNN算法

1. 基本概念
   KNN算法即K临近算法，是一个基础的分类算法，非常有效并且易于掌握。采用测量不同特征值之间的距离方法进行分类。
   优点：精度高、对异常值不敏感、无数据输入假定。
   缺点：计算复杂度高、空间复杂度高。
   适用数据范围：数值型和标称型
2. 原理
   对于KNN算法我们需要给定一个样本数据集，并且样本集中每个数据都存在标签，即我们知道样本集中每个数据与所属分类的对应关系。对新输入没有标签的实例，在训练数据集中找到与该实例最邻近的 k 个实例，这 k 个实例的多数属于某个类，就把该输入实例分为这个类。
   具体是测定实例坐标与样本集每个样本坐标的欧式距离，然后选出距离最小的k个点，统计这k个点钟出现频率最多的样本特征作为实例的特征。这个比较好理解

简单的示例判别特征：

#### KNN文件
from numpy import *
import operator
###################### 简单的提供样本标签与坐标的函数
def CreatDataSet():
    group=array([[1.0,1.1],[1.0,1.0],[0,0],[0,0.1]])
    labels=['A','A','B','B']
    return group,labels
###################### 主要函数，inX为需要分类的向量，dataset是样本集，labels是样本集对应的标签集，k是用于选择最近邻居的个数，一般来说k不大于20
def classify(inX,dataSet,labels,k):
    dataSetSize=dataSet.shape[0]
    diffMat=tile(inX,(dataSetSize,1))-dataSet
    sqDiffMat=diffMat**2
    sqDistances=sqDiffMat.sum(axis=1)
    distances=sqDistances**0.5
    sortedDistIndicies=distances.argsort()
    classCount={
   }
    for i in range(k):
        voteIlabel=labels[sortedDistIndicies[i]]
        classCount[voteIlabel]=classCount.get(voteIlabel,0)+1
    sortedClassCount=sorted(classCount.items(),    ###python3.5中iteritems变为items
                            key=operator.itemgetter(1),reverse=True)
    return sortedClassCount[0][0]

• CreatDataSet()
  用来生成简单数据集的函数，这里给出了4个样本数据坐标和其对应的样本特征（A,或者B）在实际应用中，数据集是通过文件导入的。接下来调用该函数来生成我们需要示范的简单数据集。