【机器学习】机器学习实战-K近邻算法

最新推荐文章于 2020-06-29 18:19:03 发布

翻译最新推荐文章于 2020-06-29 18:19:03 发布 · 371 阅读

课堂笔记同时被 2 个专栏收录

15 篇文章

订阅专栏

机器学习

15 篇文章

订阅专栏

概述

采用测量不同特征值之间的距离方法进行分类 e.g. 电影分类

优点：精度高、对异常值不敏感、无数据输入假定
缺点：
- 计算复杂度高（耗时）
- 空间复杂度高（耗存储空间）
- 无法给出任何数据的基础结构信息，既而无法知晓平均实例样本和典型实例样本具有什么特征
适用数据范围：数值型和标称型

工作原理

训练样本集每个数据都有标签，即知道样本集中每一数据与所属分类的对应关系。输入没有标签的新数据后，将新数据的每个特征与样本集中数据对应的特征进行比较，然后提取样本集中特征最相似数据（最近邻）的分类标签。一般来说，我们只选择样本数据集中前k（不大于20）个最相似的数据。最后，选择k个最相似数据中出现次数最多的分类，为新数据的分类。

一般流程

收集数据：可以使用任何方法
准备数据：距离计算所需要的数值，最好是结构化的数据格式
分析数据：可以使用任何方法
训练算法：不适用
测试算法：树计算错误率
使用算法：首先需要输入样本数据和结构化的输出结果，然后运行算法判定输入数据分别属于哪个分类，最后应用对计算出的分类执行后续的处理

e.g. 约会网站实例

【kNN.py】

对未知类别属性的数据集中的每个点依次执行以下操作：

计算已知类别数据集中的点与当前点之间的距离
按照距离递增次序排序
选取与当前点距离最小的k个点
确定前k个点所在类别的出现频率
返回前k个点出现频率最高的类别作为当前点的预测分类

file2matrix()—从文本文件中解析数据

NumPy矩阵与数组的区别？

都可以用于处理行列表示的数据元素，但执行相同的数学运算可能得到不同的结果，其中NumPy函数库中的matrix与MATLAB中的matrices等价。
【具体有哪些运算不一样？为什么不一样？】

python如何处理文本文件？

打开文件，得到文件的行数
创建以零填充的矩阵NumPy
循环处理文件中的每行数据
1. line.strip()截取掉所有的回本字符
2. 使用\t将上一步得到的整行数据分割成一个元素列表
3. 选取元素存储到特征矩阵中

注意：

必须明确地通知解释器，告诉它列表中存储的元素值为整型，否则python会将这些元素当作字符串处理。
NumPy提供的数组操作并不支持Python自带的数组类型，注意不要使用错误的数组类型。

矩阵具体特征值相除？

使用NumPy库中title()将变量内容复制成输入矩阵同样大小的矩阵
对于某些数值处理软件包，/可能意味着矩阵除法，但在NumPy库中，矩阵除法需要使用函数linag.solve(mathA,mathB)
分析数据：创建散点图

《机器学习实战》书中的一个小错误，P22的datingTestSet.txt这个文件，根据网上的源代码，应该选择datingTestSet2.txt这个文件。主要的区别是最后的标签，作者原来使用字符串‘veryLike’作为标签，但是Python转换会出现ValueError: invalid literal for int() with base 10: 'largeDoses’的错误。所以改成后面的文件就可以了。后面直接用1 2 3 代表not like， general like, very like。

>>> import kNN
>>> from numpy import *
>>> import operator
>>> datingDataMat,datingLabels=kNN.file2matrix('datingTestSet2.txt')
>>> datingDataMat
array([[  4.09200000e+04,   8.32697600e+00,   9.53952000e-01],
       [  1.44880000e+04,   7.15346900e+00,   1.67390400e+00],
       [  2.60520000e+04,   1.44187100e+00,   8.05124000e-01],
       ...,
       [  2.65750000e+04,   1.06501020e+01,   8.66627000e-01],
       [  4.81110000e+04,   9.13452800e+00,   7.28045000e-01],
       [  4.37570000e+04,   7.88260100e+00,   1.33244600e+00]])
>>> datingLabels[0:20]
[3, 2, 1, 1, 1, 1, 3, 3, 1, 3, 1, 1, 2, 1, 1, 1, 1, 1, 2, 3]
>>> im
>>> import matplotlib
>>> import matplotlib.pyplot as plt
>>> fig = plt.figure()
>>> ax = fig.add_subplot(111)
>>> ax.scatter(datingDataMat[:,1],datingDataMat[:,2])
<matplotlib.collections.PathCollection object at 0x00000000099AEA90>
>>> plt.show()

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-JmGVGdJK-1582096824457)(http://note.youdao.com/noteshare?id=56e7d7fa395c7a38d370615d244aae39&sub=D7F86D2A29A2478BA3B43702A8A5E05F)]

>>> ax.scatter(datingDataMat[:,1],datingDataMat[:,2],15.0*array(datingLabels),15.0*array(datingLabels))

autoNorm—归一化数据

为了平衡不同量的特征对计算的影响

newValue = (oldValue-min)/(max-min)

测试算法
使用算法