k-近邻算法是一种基于距离度量的分类方法，以其简单和高效的特点被广泛应用。算法主要特点是精度高但计算复杂度高，适用于数值型和标称型数据。其工作原理是通过找到新数据与样本集中最相似的k个数据，根据这些数据的类别进行预测。常见的距离计算方法有曼哈顿距离和欧氏距离。文章通过电影分类、约会网站配对和手写识别等例子介绍了k-近邻算法的应用，并探讨了如何将结果进行可视化。
K-近邻算法
描述
k-近邻算法采用测量不同特征值之间的距离方法进行分类。
算法特点：
- 优点：精度高、对异常值不敏感、无数据输入假定。
- 缺点：计算复杂度高、空间复杂度高。（耗时，耗计算资源，例如中间数据的存储，另外是测试对象，要和所有的样本对象进行比较，没有训练的过程，只有测试过程。）。最大的缺点就是无法给出数据的内在含义。
- 适用数据范围：数值型（可以通过范围进行散列）和标称型。（散列）
工作原理：存在一个样本数据集合，也称训练样本集，并且样本集中每个数据都存在标签，即我们知道样本集中每一数据与所属分类的对应关系。输入没有标签的新数据后，将新数据的每个特征与样本集中数据对应的特征进行比较，然后算法提取样本集中特征最相似数据（最近邻）的分类标签。
K值的意思：一般来说，我们只选择样本数据集中前k个最相似的数据，这就是K-近邻算法中K的出处，通常k是不大于20的整数。最后少数服从多数。
注意这里需要说明的是：
- 距离：可以是加权距离，集合距离或者矩阵距离ÿ
最低0.47元/天 解锁文章
扫一扫
121
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
