kNN算法

kNN算法的处理步骤:

    1 收集数据

    2 准备数据,距离计算所需要的数值计算

    3 分析数据

    4 测试算法,计算错误率

    5 使用算法,判定输入的数据处于哪个分类

实例:改进约会网站的配对效果

    1 准备数据,从文本文件中解析数据,将数据处理成分类器可以接受的格式

     

# 从文本中解析数据,处理输入格式问题,将字符串转化为训练样本矩阵和类标签向量
def fileToMatrix(fileName):
   # 读取文件内容
   fr = open(fileName)
   # readlines()和readline()的区别
   arrayOfLine = fr.readlines()
   numberOfLine = len(arrayOfLine)
   # 创建处理特征值的二维数组和存储标签的列表
   returnMat = zeros((numberOfLine, 3))
   classLabelVector = []
   index = 0
   # 循坏处理每行数据
   for line in arrayOfLine:
      # strip()移除字符串头尾指定的字符,即移除每行尾部的空格。split()对字符串进行切片
      # \t是制表符,其中t是TAB的缩写。制表符,产生一定距离的空白。
      line = line.strip()
      listFromLine = line.split('\t')
      # 将前三个元素存储到特征矩阵中,最后一个元素到标签向量中
      returnMat[index, :] = listFromLine[0:3]
      #for i in range(3):
      #   returnMat[index, i] = float(listFromLine[i])
      classLabelVector.append(int(listFromLine[-1]))
      index += 1
   return returnMat, classLabelVector

2 分析数据,使用Matplotlib绘制散点图

import matplotlib.pyplot as plt
from chapter2.kNN import *

# 分析数据,创建散点图
datingDataMat,datingDataLabel = fileToMatrix("E:\机器学习\machinelearninginaction\Ch02\datingTestSet2.txt")
fig = plt.figure()
ax = fig.add_s
KNN(K-Nearest Neighbors)算法是一种基于实例的学习方法,其核心思想是通过计算样本之间的距离来完成分类或回归任务。在分类问题中,KNN通过查找训练集中与待分类样本最接近的K个邻居,并根据这些邻居的类别进行多数投票,以确定待分类样本的类别。在回归问题中,KNN通常采用K个邻居目标值的平均值或加权平均值作为预测结果。 KNN算法的关键要素包括: 1. **距离度量**:通常使用欧氏距离或曼哈顿距离来衡量样本之间的相似性。 2. **K值选择**:K值决定了参与决策的最近邻居数量,较小的K值对噪声更敏感,而较大的K值可能会导致边界模糊。 3. **分类决策规则**:在分类任务中,通常采用多数表决法,而在回归任务中,通常采用平均值或加权平均值。 KNN算法的主要优点是实现简单,且对数据分布的假设较少。然而,它也存在一些显著的缺点。由于KNN没有显式的训练过程,每次预测都需要大量的计算来查找最近的K个邻居,因此在大规模数据集上计算开销较大。此外,KNN对特征的尺度敏感,因此在应用前通常需要对数据进行标准化处理。 KNN广泛应用于多个领域,例如: - **图像识别**:用于手写数字识别、人脸识别等。 - **文本分类**:用于文档分类、情感分析等。 - **推荐系统**:用于基于用户行为的推荐。 - **医学诊断**:用于疾病诊断、基因表达分析等[^4]。 以下是一个简单的KNN算法的Python实现示例: ```python from sklearn.neighbors import KNeighborsClassifier from sklearn.model_selection import train_test_split from sklearn.datasets import load_iris # 加载数据集 iris = load_iris() X = iris.data y = iris.target # 划分训练集和测试集 X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42) # 创建KNN分类器 knn = KNeighborsClassifier(n_neighbors=3) # 训练模型 knn.fit(X_train, y_train) # 预测 predictions = knn.predict(X_test) # 输出预测结果 print(predictions) ``` 上述代码展示了如何使用`scikit-learn`库中的`KNeighborsClassifier`来构建一个KNN分类模型,并对其进行训练和预测。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值