读懂《机器学习实战》代码—K-近邻算法改进约会网站配对效果

于 2016-03-20 18:38:03 发布
阅读量3.3k 收藏 9
点赞数 2
分类专栏： 机器学习与数据挖掘 Python 文章标签： 机器学习 k-近邻算法 实战
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/u013457382/article/details/50937577
版权
本文介绍了K-近邻算法的实现与应用，通过约会数据集案例，详细讲解了数据预处理、归一化及分类过程，并展示了如何通过可视化手段评估分类效果。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

从上一篇文章大概了解了K-近邻算法的原理，并实现了分类函数：

#inX为用于分类的输入向量  
#dataSet为输入的训练样本集  
#lables为标签向量  
#参数k表示用于选择最近邻居的数目  
def classify0(inX,dataSet,lables,k)

接下来，通过人物特点将约会者分到不同的类型中，约会数据集格式为


第一行表示每年的飞行里程数，第二行表示玩视频游戏所耗时间比，第三行表示每周消费的冰淇淋公升数，最后一行表示约会对象等级，《机器学习实战》中将读取文件数据封装到函数中：

#########################
#将文件内容转化成所需的矩阵格式
#########################
def file2matrix(filename):
    #获得文件内容
    fileReader = open(filename)
    #分行获取文件内容
    arrayOfLines = fileReader.readlines()
    #获取文件总行数
    numberOfLines = len(arrayOfLines)
    #创建一个零填充的numpy矩阵
    returnMat = zeros((numberOfLines,3))
    #
    classLabelVector = []
    index = 0
    for line in arrayOfLines:
        #将每一行回车符截取掉，去掉前后空格
        # strip() 方法用于移除字符串头尾指定的字符（默认为空格）
        #strip()方法语法：str.strip([chars]);
        #参数chars -- 移除字符串头尾指定的字符。
        line = line.strip()
        #split()通过指定分隔符对字符串进行切片，如果参数num 有指定值，则仅分隔 num 个子字符串
        #split()方法语法：str.split(str="", num=string.count(str)).
        #参数:str -- 分隔符，默认为空格。num -- 分割次数。
        #'\t'代表一个tab字符
        listFromLine = line.split('\t')
        #取出数据的前三个元素放入numpy矩阵中
        returnMat[index,:] = listFromLine[0:3]
        #运用-1索引取出最后一列的特征元素
        classLabelVector.append(int(listFromLine[-1]))
        index +=1
    return returnMat,classLabelVector


由于三个人物特性具有相同的权重，如果单纯用原始数据进行欧氏距离的计算，明显每年的飞行里程数这一项数据会造成严重的影响，其余两项的作用会被明显弱化，所以要先将数据归一化，可用等式newValue = (value-minValue)/(maxValue-minValue)将数据归一化到0-1区间

#######################
#输入参数为原始数据集
#返回参数为normDataset归一化数据集,ranges归一化间距,minVals各项特性中的最小值
#######################
def autoNorm(dataset):
    #求出数据集中的最大值最小值，dataset.min(0)或max(0)中的参数0可以使函数从列中获得最小（大）值，而不是从行中获得最小（大）值
    minVals = dataset.min(0)
    maxVals = dataset.max(0)
    ranges = maxVals - minVals
    normDataset = zeros(shape(dataset))
    m = dataset.shape[0]
    #minVals与ranges都是1*3的矩阵，通过tile函数被扩展为m*3的矩阵，这就是tile函数的作用
    normDataset = dataset - tile(minVals,(m,1))
    normDataset = normDataset/tile(ranges,(m,1))
    return normDataset,ranges,minVals

将数据的分布可视化出来



可视化的程序

#获取figure对象
fig = plt.figure()
#指定图像所在的子视图位置，add_subplot(nmi),意思为在fig视图被划分为n*m个子视图，i指定接下来的图像放在哪一个位置
ax = fig.add_subplot(111)

l=datingDataMat.shape[0]
#存储第一类，第二类，第三类的数组
X1=[]
Y1=[]
X2=[]
Y2=[]
X3=[]
Y3=[]
for i in range(l):
    if datingLabels[i]==1:
        X1.append(datingDataMat[i,1]);Y1.append(datingDataMat[i,2])
    elif datingLabels[i]==2:
        X2.append(datingDataMat[i,1]);Y2.append(datingDataMat[i,2])
    else:
        X3.append(datingDataMat[i,1]);Y3.append(datingDataMat[i,2])
#画出散点图，坐标分别为datingDataMat的第一列数据与第二列数据，c='color'指定点的颜色
type1=ax.scatter(X1,Y1,c='red')
type2=ax.scatter(X2,Y2,c='green')
type3=ax.scatter(X3,Y3,c='blue')
ax.axis([-2,25,-0.2,2.0])
ax.legend([type1, type2, type3], ["Did Not Like", "Liked in Small Doses", "Liked in Large Doses"], loc=2)
plt.xlabel('Percentage of Time Spent Playing Video Games')
plt.ylabel('Liters of Ice Cream Consumed Per Week')
plt.show()

然后写测试程序 

#可适当调整k值来调整准确率
def datingClassTest():
    #取出10%的数据作为测试样例
    hoRatio = 0.10    
    k = 4
    #载入数据
    datingDataMat,datingLabels = file2matrix('F:\PythonProject\datingTestSet2.txt')       
    #进行数据归一化
    normMat, ranges, minVals = autoNorm(datingDataMat)
    m = normMat.shape[0]
    numTestVecs = int(m*hoRatio)
    errorCount = 0.0
    for i in range(numTestVecs):
        #输入参数:normMat[i,:]为测试样例，表示归一化后的第i行数据
        #       normMat[numTestVecs:m,:]为训练样本数据，样本数量为(m-numTestVecs)个
        #       datingLabels[numTestVecs:m]为训练样本对应的类型标签
        #       k为k-近邻的取值
        classifierResult = classify0(normMat[i,:],normMat[numTestVecs:m,:],datingLabels[numTestVecs:m],k)
        print "the classifier came back with: %d, the real answer is: %d" % (classifierResult, datingLabels[i])
        if (classifierResult != datingLabels[i]): errorCount += 1.0
    print "the total error rate is: %f" % (errorCount/float(numTestVecs))
    print "the total error times is:"+str(errorCount)

当k取4，取10%的数据作为测试样本时，可得到3%的失误率


完整代码：

from numpy import * 
import matplotlib
import matplotlib.pyplot as plt
import operator
from os import listdir

def classify0(inX, dataSet, labels, k):
    dataSetSize = dataSet.shape[0]
    diffMat = tile(inX, (dataSetSize,1)) - dataSet
    sqDiffMat = diffMat**2
    sqDistances = sqDiffMat.sum(axis=1)
    distances = sqDistances**0.5
    sortedDistIndicies = distances.argsort()     
    classCount={}          
    for i in range(k):
        voteIlabel = labels[sortedDistIndicies[i]]
        classCount[voteIlabel] = classCount.get(voteIlabel,0) + 1
    sortedClassCount = sorted(classCount.iteritems(), key=operator.itemgetter(1), reverse=True)
    return sortedClassCount[0][0]
    
#########################
#将文件内容转化成所需的矩阵格式
#########################
def file2matrix(filename):
    #获得文件内容
    fileReader = open(filename)
    #分行获取文件内容
    arrayOfLines = fileReader.readlines()
    #获取文件总行数
    numberOfLines = len(arrayOfLines)
    #创建一个零填充的numpy矩阵
    returnMat = zeros((numberOfLines,3))
    #
    classLabelVector = []
    index = 0
    for line in arrayOfLines:
        #将每一行回车符截取掉，去掉前后空格
        # strip() 方法用于移除字符串头尾指定的字符（默认为空格）
        #strip()方法语法：str.strip([chars]);
        #参数chars -- 移除字符串头尾指定的字符。
        line = line.strip()
        #split()通过指定分隔符对字符串进行切片，如果参数num 有指定值，则仅分隔 num 个子字符串
        #split()方法语法：str.split(str="", num=string.count(str)).
        #参数:str -- 分隔符，默认为空格。num -- 分割次数。
        #'\t'代表一个tab字符
        listFromLine = line.split('\t')
        #取出数据的前三个元素放入numpy矩阵中
        returnMat[index,:] = listFromLine[0:3]
        #运用-1索引取出最后一列的特征元素
        classLabelVector.append(int(listFromLine[-1]))
        index +=1
    return returnMat,classLabelVector
#######################
#输入参数为原始数据集
#返回参数为normDataset归一化数据集,ranges归一化间距,minVals各项特性中的最小值
#######################
def autoNorm(dataset):
    #求出数据集中的最大值最小值，dataset.min(0)或max(0)中的参数0可以使函数从列中获得最小（大）值，而不是从行中获得最小（大）值
    minVals = dataset.min(0)
    maxVals = dataset.max(0)
    ranges = maxVals - minVals
    normDataset = zeros(shape(dataset))
    m = dataset.shape[0]
    #minVals与ranges都是1*3的矩阵，通过tile函数被扩展为m*3的矩阵，这就是tile函数的作用
    normDataset = dataset - tile(minVals,(m,1))
    normDataset = normDataset/tile(ranges,(m,1))
    return normDataset,ranges,minVals
    
#可适当调整k值来调整准确率
def datingClassTest():
    #取出10%的数据作为测试样例
    hoRatio = 0.10    
    k = 4
    #载入数据
    datingDataMat,datingLabels = file2matrix('F:\PythonProject\datingTestSet2.txt')       
    #进行数据归一化
    normMat, ranges, minVals = autoNorm(datingDataMat)
    m = normMat.shape[0]
    numTestVecs = int(m*hoRatio)
    errorCount = 0.0
    for i in range(numTestVecs):
        #输入参数:normMat[i,:]为测试样例，表示归一化后的第i行数据
        #       normMat[numTestVecs:m,:]为训练样本数据，样本数量为(m-numTestVecs)个
        #       datingLabels[numTestVecs:m]为训练样本对应的类型标签
        #       k为k-近邻的取值
        classifierResult = classify0(normMat[i,:],normMat[numTestVecs:m,:],datingLabels[numTestVecs:m],k)
        print "the classifier came back with: %d, the real answer is: %d" % (classifierResult, datingLabels[i])
        if (classifierResult != datingLabels[i]): errorCount += 1.0
    print "the total error rate is: %f" % (errorCount/float(numTestVecs))
    print "the total error times is:"+str(errorCount)

###############################
#画图
###############################
#获取figure对象
fig = plt.figure()
#指定图像所在的子视图位置，add_subplot(nmi),意思为在fig视图被划分为n*m个子视图，i指定接下来的图像放在哪一个位置
ax = fig.add_subplot(111)

l=datingDataMat.shape[0]
#存储第一类，第二类，第三类的数组
X1=[]
Y1=[]
X2=[]
Y2=[]
X3=[]
Y3=[]
for i in range(l):
    if datingLabels[i]==1:
        X1.append(datingDataMat[i,1]);Y1.append(datingDataMat[i,2])
    elif datingLabels[i]==2:
        X2.append(datingDataMat[i,1]);Y2.append(datingDataMat[i,2])
    else:
        X3.append(datingDataMat[i,1]);Y3.append(datingDataMat[i,2])
#画出散点图，坐标分别为datingDataMat的第一列数据与第二列数据，c='color'指定点的颜色
type1=ax.scatter(X1,Y1,c='red')
type2=ax.scatter(X2,Y2,c='green')
type3=ax.scatter(X3,Y3,c='blue')
ax.axis([-2,25,-0.2,2.0])
ax.legend([type1, type2, type3], ["Did Not Like", "Liked in Small Doses", "Liked in Large Doses"], loc=2)
plt.xlabel('Percentage of Time Spent Playing Video Games')
plt.ylabel('Liters of Ice Cream Consumed Per Week')
plt.show()
#测试
datingClassTest()

datintTestSet2.txt文件下载： http://download.youkuaiyun.com/detail/u013457382/9467348

评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值