本文内容
1.k—近邻算法
2.从文本文件中解析或者导入数据
3.归一化数值
1.1 k-近邻算法的概述
优点:精确度高,对异常值不敏感,无数据输入的假定
缺点:计算复杂度高,空间复杂度高
适用数据范围:数值型和标称型
工作原理:存在一个样本数据集也称是训练样本集。样本集中每个数据都存在一个标签,即我们知道样本集中的数据和所属分类对用的关系。输入没有标签的新数据后,将新数据的每个特征和样本集的中的特征进行比较,然后算法提取样本集中特征最相似数据的(最近邻的)分类标签。一般来说,我们只选择样本集中前k个最相似的数据,此k就是k近邻算法的k的出处,一般k的值为不大于20的整数。最后,选择k个最相似数据中出现次数最多的分类,作为新数据的分类。
1.2构建简单地k近邻的分类器
from numpy import * #科学计算包模块
import operator #运算符模块
def classify0(inX,dataSet,labels,k):
dataSetSize=dataSet.shape[0] #shape是numpy中查看数组的维数,shape[0]查看第二维的长度
diffMat=tile(inX,(dataSetSize,1))-dataSet #使构造的inX形式和dataSetSize一样,然后采用欧式距离公式计算待测数据和测试数据的距离
sqDiffMat=diffMat**2
sqDistance=sqDiffMat.sum(axis=1)#axis=0表示矩阵的对应列相加,axis=1时表示矩阵的每一行相加,没有axis参数时就是普通相加
distances=sqDistance**0.5
sortedDistIndicies=distances.argsort()#输出排好序的元素的原始索引值
classCount={}
for i in range(k):
voteIlabel=labels[sortedDistIndicies[i]]
classCount[voteIlabel]=classCount.get(voteIlabel,0)+1#get函数返回指定的值,如果值不存在返回默认值0
sortedClassCount=sorted(classCount.items(),key=operator.itemgetter(1),reverse=True)
return sortedClassCount[0][0]
def createDataSet():
group=array([[1.0,1.1],[1.0,1.0],[0,0],[0,0.1]])
labels=[‘A’,’A’,’B’,’B’]
return group,labels
if name==”main“:
group,labels=createDataSet()
print(classify0([0.1,0.1],group,labels,3))
在if主函数中的classify0()函数的第一个参数可以改变值可以测试分类器的分类效率,下片文章介绍测试分类器和分类器的实际应用
如有侵权请私信联系作者,转发者不能以商业牟利为目的