KNN分类

本文通过使用Scikit-learn库中的KNN分类器,演示了如何生成数据集、训练模型并进行预测。首先,我们利用make_blobs生成了一个包含三个中心的数据集,然后使用KNN分类器对数据进行训练,并对一个样本点进行了预测,展示了预测过程中的最近邻搜索。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

import matplotlib.pyplot as plt
import numpy as np

from sklearn.datasets.samples_generator import make_blobs
# 生成数据
centers = [[-2, 2], [2, 2], [0, 4]]
X, y = make_blobs(n_samples=600, centers=centers, random_state=0, cluster_std=0.60)    #make_blobs 生成数据集

# 画出数据
plt.figure(figsize=(16, 10))
c = np.array(centers)
plt.scatter(X[:, 0], X[:, 1], c=y, s=100, cmap='cool');         # 画出样本
plt.scatter(c[:, 0], c[:, 1], s=100, marker='^', c='orange');   # 画出中心点

from sklearn.neighbors import KNeighborsClassifier
# 模型训练
k = 5
clf = KNeighborsClassifier(n_neighbors=k)
clf.fit(X, y);

# 进行预测
X_sample = [0, 2]
X_sample = np.array(X_sample).reshape(1, -1)
y_sample = clf.predict(X_sample);
neighbors = clf.kneighbors(X_sample, return_distance=False);

# 画出示意图
plt.figure(figsize=(16, 10))
plt.scatter(X[:, 0], X[:, 1], c=y, s=100, cmap='cool')    # 样本
plt.scatter(c[:, 0], c[:, 1], s=100, marker='^', c='k')   # 中心点
plt.scatter(X_sample[0][0], X_sample[0][1], marker="x", 
            s=100, cmap='cool')    # 待预测的点

for i in neighbors[0]:
    # 预测点与距离最近的 5 个样本的连线
    plt.plot([X[i][0], X_sample[0][0]], [X[i][1], X_sample[0][1]], 
             'k--', linewidth=0.6);

 

 

### KNN分类算法的实现与应用 #### 什么是KNN分类算法? KNN(K-Nearest Neighbors)是一种基于实例的学习方法,属于监督学习的一种。它通过计算待测样本与其最近邻居的距离来进行分类决策[^1]。 #### 基本原理 KNN的核心思想是找到距离目标点最近的K个已知类别样本,并依据这些邻居的多数投票决定目标点所属的类别。具体来说,对于一个新的输入向量 \(X\) ,算法会执行以下操作: 1. 计算 \(X\) 到训练集中每一个样本之间的距离; 2. 找到离 \(X\) 最近的 \(K\) 个样本; 3. 统计这 \(K\) 个样本中各个类别的数量; 4. 将 \(X\) 归为数量最多的那一类[^2]。 #### MATLAB中的KNN实现 在MATLAB中,可以通过内置函数 `fitcknn` 来快速构建KNN模型。以下是基本流程: ```matlab % 加载数据集 load fisheriris; meas = meas(:, 3:4); % 只取花瓣长度和宽度作为特征 species = species; % 类别标签 % 创建KNN分类器 classifier = fitcknn(meas, species, 'NumNeighbors', 5); % 预测新样本 newSample = [5.0, 1.8]; predictedClass = predict(classifier, newSample); disp(predictedClass); ``` 上述代码展示了如何使用Fisher Iris数据集创建一个具有五个邻居的KNN分类器,并对新的样本进行预测。 #### Python中的KNN实现 Python提供了丰富的库支持KNN算法的应用开发,其中最常用的是Scikit-Learn库。下面是一个简单的例子: ```python from sklearn import datasets from sklearn.model_selection import train_test_split from sklearn.preprocessing import StandardScaler from sklearn.neighbors import KNeighborsClassifier from sklearn.metrics import accuracy_score # (一) 加载并查看鸢尾花数据集 iris = datasets.load_iris() X = iris.data[:, [2, 3]] # 花瓣长度和宽度 y = iris.target # (二) 进行z-score标准化处理 scaler = StandardScaler() X_std = scaler.fit_transform(X) # (三) 划分训练集和测试集 X_train, X_test, y_train, y_test = train_test_split( X_std, y, test_size=0.3, random_state=1, stratify=y) # (四) 构建KNN模型并进行预测 knn = KNeighborsClassifier(n_neighbors=5, p=2, metric='minkowski') knn.fit(X_train, y_train) y_pred = knn.predict(X_test) # 输出准确率 print('Accuracy:', accuracy_score(y_test, y_pred)) ``` 此段代码实现了从加载数据、预处理、分割数据集到最后评估模型性能的一整套工作流[^3]。 #### 应用场景分析 尽管KNN算法简单易懂,但在某些特定条件下可能表现不佳。例如当面对样本容量较小的数据集时,由于缺乏足够的代表性样本来定义边界区域,因此较容易发生错误分类现象。然而,在大规模高维空间里,只要参数调整得当,它可以很好地完成复杂的模式识别任务。 ---
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值