【分类算法】KNN算法超详细讲解

机器学习——KNN算法 阅读详情

KNN算法超详细讲解(附Python完整实现+鸢尾花分类实战)

KNN(K-近邻,K-Nearest Neighbors)是机器学习中最经典的入门算法,兼具分类和回归能力,核心逻辑简单到无需复杂的数学推导,属于基于实例的懒惰学习(Lazy Learning) 算法——无需提前训练模型,直接用全部训练数据完成预测。

它的思想源于生活中的“物以类聚,人以群分”,通过寻找新样本的“邻居”来判断其类别/预测其数值,是本科生和研究生入门机器学习的必学算法,也是理解“距离度量”“模型泛化”等核心概念的基础。

本文将从通俗原理、核心理论、完整算法流程、Python实战实现、优缺点与算法对比五个维度展开,内容通俗易懂,公式做简化拆解,附带可直接运行的鸢尾花分类实战代码和可视化效果,适配本科课程学习和研究生入门实践。

一、什么是KNN算法?(通俗理解)

KNN的核心逻辑可以用一句话概括:“新样本的类别/数值,由它周围最近的K个训练样本决定”,全程无需训练模型,仅通过计算距离和少数服从多数/取平均完成预测,用一个水果分类的例子就能轻松理解:

已知3个水果的特征(大小+颜色)和类别:

  1. 中等大小+红色 → 苹果
  2. 大+橙色 → 橙子
  3. 小+红色 → 苹果
    现在来一个新水果:中等大小+红色,需要判断它是苹果还是橙子。
  4. 选K=3,即找离新水果最近的3个邻居;
  5. 计算新水果与3个已知水果的距离,发现这3个都是最近邻;
  6. 3个邻居中2个是苹果、1个是橙子,少数服从多数,判定新水果为苹果。

这个过程就是KNN的全部逻辑,没有复杂的模型训练,没有繁琐的参数求解,核心只有3个关键点:

  1. K:选择几个最近的邻居,K是KNN唯一的核心超参数;
  2. 距离:如何计算样本之间的“远近”,常用欧几里得距离(直线距离);
  3. 投票/平均:分类任务用多数投票,回归任务用邻居数值平均。

KNN的核心特点:懒惰学习(Lazy Learning)

KNN被称为懒惰学习算法,与线性回归、SVM、决策树等急切学习(Eager Learning) 算法有本质区别:

  • 急切学习:训练阶段会从训练数据中学习出一个模型公式/规则(如线性回归的y=wx+by=wx+by=wx+b),训练完成后丢弃训练数据,仅用模型做预测;
  • 懒惰学习:无训练阶段,不学习任何模型公式,直接保存全部训练数据;预测阶段才用训练数据计算距离、完成预测,训练数据不可或缺。

简单来说,KNN的“懒惰”体现在把所有计算工作都放到了预测阶段。

二、KNN的核心理论基础

KNN的理论基础围绕距离度量、K值选择、预测规则三个核心展开,数学公式简单易懂,无复杂的推导过程,是入门机器学习的绝佳选择。

2.1 距离度量:如何判断样本的“远近”?

距离是KNN的核心,距离越近,样本的相似性越高,常用的距离度量有3种,其中欧几里得距离是最常用的一种。

假设存在两个nnn维特征样本:x=(x1,x2,...,xn)x=(x_1,x_2,...,x_n)x=(x1​,x2​,...,xn​),y=(y1,y2,...,yn)y=(y_1,y_2,...,y_n)y=(y1​,y2​,...,yn​),以下是3种距离的计算公式:

(1)欧几里得距离(Euclidean Distance)

即两点之间的直线距离,是最符合人类直觉的距离度量,也是KNN的默认选择,公式为:
d(x,y)=∑i=1n(xi−yi)2d(x,y) = \sqrt{\sum_{i=1}^{n}(x_i - y_i)^2}d(x,y)=i=1∑n​(xi​−yi​)2​
二维示例:样本A(1,2),样本B(3,4),欧几里得距离d=(1−3)2+(2−4)2=8≈2.828d=\sqrt{(1-3)^2+(2-4)^2}=\sqrt{8}≈2.828d=(1−3)2+(2−4)2​=8​≈2.828。

(2)曼哈顿距离(Manhattan Distance)

也叫城市街区距离,模拟在城市中沿街道行走的距离(只能走直线和直角),公式为:
d(x,y)=∑i=1n∣xi−yi∣d(x,y) = \sum_{i=1}^{n}|x_i - y_i|d(x,y)=i=1∑n​∣xi​−yi​∣
二维示例:样本A(1,2),样本B(3,4),曼哈顿距离d=∣1−3∣+∣2−4∣=4d=|1-3|+|2-4|=4d=∣1−3∣+∣2−4∣=4。

(3)闵可夫斯基距离(Minkowski Distance)

是欧几里得距离和曼哈顿距离的通用形式,通过参数ppp控制距离类型,公式为:
d(x,y)=(∑i=1n∣xi−yi∣p)1pd(x,y) = \left( \sum_{i=1}^{n}|x_i - y_i|^p \right)^{\frac{1}{p}}d(x,y)=(i=1∑n​∣xi​−yi​∣p)p1​

  • 当p=2p=2p=2时,闵可夫斯基距离=欧几里得距离;
  • 当p=1p=1p=1时,闵可夫斯基距离=曼哈顿距离。

2.2 K值选择:选几个邻居最合适?

KKK是KNN唯一的核心超参数,代表选择最近的K个训练样本作为邻居,K的取值直接决定模型的性能,无固定值,需通过实验选择。

K的取值规律
  • K太小(如K=1):模型过于敏感,易受噪声/异常值影响,导致过拟合(对训练集预测极准,对测试集泛化能力差);
    • 例:K=1时,若新样本的最近邻是一个噪声点,直接会被误分类。
  • K太大(如K=样本总数):模型过于粗糙,忽略样本的局部特征,导致欠拟合(对训练集和测试集的预测准确率都低);
    • 例:K=样本总数时,新样本的类别直接是训练集中的多数类,失去分类意义。
  • K通常取奇数:分类任务中取奇数(如1、3、5、7),避免出现平票(如K=2时,1个苹果、1个橙子,无法判断)。
K的选择方法

实战中常用交叉验证(Cross Validation) 选择最优K值:

  1. 设定K的取值范围(如1~30);
  2. 对每个K值,用交叉验证计算模型的准确率;
  3. 选择准确率最高的K值作为最优值。

2.3 预测规则:分类与回归的不同逻辑

KNN既可以做分类任务(预测离散类别,如苹果/橙子、鸢尾花的品种),也可以做回归任务(预测连续数值,如房价、温度),二者的预测规则不同,核心分别是多数投票和取平均值。

(1)分类任务:多数投票法

设新样本xxx的K个最近邻的类别为y1,y2,...,yKy_1,y_2,...,y_Ky1​,y2​,...,yK​,则xxx的预测类别y^\hat{y}y^​为K个邻居中出现次数最多的类别(众数),公式为:
y^=mode(y1,y2,...,yK)\hat{y} = mode(y_1,y_2,...,y_K)y^​=mode(y1​,y2​,...,yK​)
例:K=3,邻居类别为[苹果,苹果,橙子],众数是苹果,预测类别为苹果。

(2)回归任务:平均值法

设新样本xxx的K个最近邻的数值为y1,y2,...,yKy_1,y_2,...,y_Ky1​,y2​,...,yK​,则xxx的预测值y^\hat{y}y^​为K个邻居数值的算术平均值,公式为:
y^=1K∑i=1Kyi\hat{y} = \frac{1}{K}\sum_{i=1}^{K}y_iy^​=K1​i=1∑K​yi​
例:K=3,邻居房价为[100万,120万,110万],预测房价=(100+120+110)/3=110万。

三、KNN算法的完整流程

KNN的算法流程极其简单,无训练阶段,仅包含数据准备和预测两个阶段,分类和回归任务的流程基本一致,仅最后一步的预测规则不同。

3.1 通用算法流程(分类+回归)

阶段1:数据准备(仅执行1次)
  1. 收集并整理训练数据集:{(x1,y1),(x2,y2),...,(xN,yN)}\{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\}{(x1​,y1​),(x2​,y2​),...,(xN​,yN​)},其中xix_ixi​是nnn维特征向量,yiy_iyi​在分类任务中是类别标签、在回归任务中是连续数值;
  2. 特征标准化/归一化:KNN对特征的量纲极其敏感(如特征1是“身高(cm)”,特征2是“体重(kg)”,量纲差异会导致距离计算偏差),必须将所有特征标准化为均值0、方差1(或归一化为0~1)。
阶段2:新样本预测(对每个新样本执行1次)
  1. 选择K值:根据交叉验证结果选择最优K值;
  2. 选择距离度量:通常选择欧几里得距离;
  3. 计算距离:计算新样本xxx与训练集中所有样本xix_ixi​的距离,得到距离集合{d(x,x1),d(x,x2),...,d(x,xN)}\{d(x,x_1),d(x,x_2),...,d(x,x_N)\}{d(x,x1​),d(x,x2​),...,d(x,xN​)};
  4. 寻找K个最近邻:将距离集合升序排序,选择前K个距离最小的训练样本,作为新样本的K个最近邻;
  5. 执行预测规则:
    • 分类任务:对K个最近邻的类别做多数投票,得到新样本的预测类别;
    • 回归任务:对K个最近邻的数值做算术平均,得到新样本的预测数值;
  6. 输出结果:返回新样本的预测类别/数值。

3.2 简单案例推导(二维分类任务)

用一个二维平面的简单案例,完整推导KNN的分类过程,帮助理解核心步骤:

已知训练样本:

  • 点A(1,2) → 类别0
  • 点B(2,3) → 类别0
  • 点C(3,3) → 类别1
  • 点D(6,5) → 类别1
    新样本:x(3,2)x(3,2)x(3,2),选择K=3,判断其类别。
步骤1:计算新样本与所有训练样本的欧几里得距离
  • d(A,x)=(1−3)2+(2−2)2=4=2d(A,x)=\sqrt{(1-3)^2+(2-2)^2}=\sqrt{4}=2d(A,x)=(1−3)2+(2−2)2​=4​=2
  • d(B,x)=(2−3)2+(3−2)2=2≈1.414d(B,x)=\sqrt{(2-3)^2+(3-2)^2}=\sqrt{2}≈1.414d(B,x)=(2−3)2+(3−2)2​=2​≈1.414
  • d(C,x)=(3−3)2+(3−2)2=1=1d(C,x)=\sqrt{(3-3)^2+(3-2)^2}=\sqrt{1}=1d(C,x)=(3−3)2+(3−2)2​=1​=1
  • d(D,x)=(6−3)2+(5−2)2=18≈4.242d(D,x)=\sqrt{(6-3)^2+(5-2)^2}=\sqrt{18}≈4.242d(D,x)=(6−3)2+(5−2)2​=18​≈4.242
步骤2:寻找K=3个最近邻

距离升序排序:d(C,x)<d(B,x)<d(A,x)<d(D,x)d(C,x) < d(B,x) < d(A,x) < d(D,x)d(C,x)<d(B,x)<d(A,x)<d(D,x),最近3个邻居为点C、点B、点A。

步骤3:多数投票预测类别

3个邻居的类别:点C(1)、点B(0)、点A(0),类别0出现2次(多数),因此新样本xxx的预测类别为0。

四、KNN算法的Python完整实现(鸢尾花分类实战)

本次实战基于经典的鸢尾花(Iris)数据集,使用Python+sklearn实现KNN分类,包含数据加载与可视化、数据预处理、最优K值选择、模型训练与评估、混淆矩阵可视化全流程,代码可直接复制运行,注释详细,适配Python3.7+、sklearn1.0+。

4.1 实战目标

  1. 基于鸢尾花的4个特征(花萼长度、花萼宽度、花瓣长度、花瓣宽度),用KNN算法将其分为3个品种(Setosa、Versicolour、Virginica);
  2. 通过交叉验证选择最优K值,理解K值对模型性能的影响;
  3. 完成模型评估并可视化混淆矩阵,直观展示分类效果;
  4. 掌握KNN实战的核心步骤:特征标准化和K值调优。

4.2 完整代码与注释

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
# 加载数据集
from sklearn import datasets
# 数据划分、交叉验证
from sklearn.model_selection import train_test_split, cross_val_score
# 特征标准化
from sklearn.preprocessing import StandardScaler
# KNN模型
from sklearn.neighbors import KNeighborsClassifier
# 模型评估指标
from sklearn.metrics import accuracy_score, classification_report, confusion_matrix

# 解决中文显示问题
plt.rcParams['font.sans-serif'] = ['SimHei']
plt.rcParams['axes.unicode_minus'] = False

# ===================== 1. 加载数据集并可视化 =====================
# 加载鸢尾花数据集
iris = datasets.load_iris()
X = iris.data  # 特征矩阵:4个特征,150个样本
y = iris.target  # 类别标签:0(Setosa)、1(Versicolour)、2(Virginica)
feature_names = iris.feature_names  # 特征名
target_names = iris.target_names  # 类别名

# 转换为DataFrame,方便可视化
df = pd.DataFrame(np.c_[X, y], columns=feature_names + ['target'])
df['target'] = df['target'].map({0:target_names[0], 1:target_names[1], 2:target_names[2]})

# 特征两两组合可视化,展示数据分布
sns.pairplot(df, hue='target', markers=["o", "s", "D"])
plt.title('鸢尾花数据集特征两两组合分布', y=1.05)
plt.show()

# ===================== 2. 数据预处理:划分+标准化 =====================
# 划分训练集(70%)和测试集(30%),random_state保证结果可复现
X_train, X_test, y_train, y_test = train_test_split(
    X, y, test_size=0.3, random_state=42, stratify=y  # stratify=y:分层抽样,保证训练/测试集类别分布一致
)

# 特征标准化:KNN必做步骤,消除量纲影响
scaler = StandardScaler()
X_train_scaled = scaler.fit_transform(X_train)  # 训练集拟合+转换
X_test_scaled = scaler.transform(X_test)        # 测试集仅转换,避免数据泄露

# ===================== 3. 交叉验证选择最优K值 =====================
# 设定K的取值范围:1~30
k_range = range(1, 31)
k_scores = []  # 存储每个K值的交叉验证平均准确率

# 遍历每个K值,计算10折交叉验证的准确率
for k in k_range:
    knn = KNeighborsClassifier(n_neighbors=k, metric='euclidean')  # 欧几里得距离
    scores = cross_val_score(knn, X_train_scaled, y_train, cv=10, scoring='accuracy')
    k_scores.append(scores.mean())

# 可视化K值与准确率的关系
plt.figure(figsize=(10, 6))
plt.plot(k_range, k_scores, color='#FF6B6B', linewidth=2, marker='o', markersize=6)
plt.xlabel('K值(邻居数量)', fontsize=14)
plt.ylabel('10折交叉验证平均准确率', fontsize=14)
plt.title('KNN最优K值选择', fontsize=16)
plt.xticks(k_range)
plt.grid(linestyle='--', alpha=0.7)
plt.show()

# 选择最优K值(准确率最高的K值,若有多个选最小的)
best_k = k_range[np.argmax(k_scores)]
print(f"KNN最优K值:{best_k}")
print(f"最优K值对应的交叉验证准确率:{max(k_scores):.4f}")

# ===================== 4. 训练最优K值的KNN模型并评估 =====================
# 初始化并训练KNN模型
knn_best = KNeighborsClassifier(n_neighbors=best_k, metric='euclidean')
knn_best.fit(X_train_scaled, y_train)

# 对测试集进行预测
y_pred = knn_best.predict(X_test_scaled)

# 模型评估
print("\n===================== KNN模型测试集评估结果 =====================")
print(f"测试集准确率:{accuracy_score(y_test, y_pred):.4f}")
print("\n分类报告(精确率/召回率/F1分数):")
print(classification_report(y_test, y_pred, target_names=target_names))

# ===================== 5. 混淆矩阵可视化:直观展示分类效果 =====================
# 计算混淆矩阵
conf_mat = confusion_matrix(y_test, y_pred)

# 可视化混淆矩阵
plt.figure(figsize=(8, 6))
sns.heatmap(
    conf_mat, annot=True, fmt='d', cmap='Blues',
    xticklabels=target_names,
    yticklabels=target_names
)
plt.xlabel('预测类别', fontsize=14)
plt.ylabel('真实类别', fontsize=14)
plt.title('KNN模型分类混淆矩阵', fontsize=16)
plt.show()

# ===================== 6. 新样本预测 =====================
# 构造一个新样本(花萼长5.0,花萼宽3.5,花瓣长1.5,花瓣宽0.2)
new_sample = np.array([[5.0, 3.5, 1.5, 0.2]])
# 新样本标准化(必须用训练集的scaler)
new_sample_scaled = scaler.transform(new_sample)
# 预测类别
new_pred = knn_best.predict(new_sample_scaled)
new_pred_name = target_names[new_pred[0]]
print(f"\n新样本的预测鸢尾花品种:{new_pred_name}")

4.3 运行结果说明

  1. 数据可视化:pairplot展示4个特征两两组合的分布,能直观看到Setosa品种与另外两个品种的特征差异极大,极易分类;
  2. 最优K值选择:折线图展示K值130的交叉验证准确率,通常K=510时准确率最高,这也是KNN的默认K值(n_neighbors=5);
  3. 模型评估:测试集准确率可达95%以上,分类报告中3个品种的精确率、召回率均接近1;
  4. 混淆矩阵:可视化结果中,对角线数值为正确分类数,非对角线为错误数,鸢尾花数据集中几乎无错误分类;
  5. 新样本预测:构造的新样本特征符合Setosa品种,模型能准确预测。

4.4 KNN核心参数说明(sklearn)

sklearn中KNeighborsClassifier(分类)和KNeighborsRegressor(回归)的核心参数一致,常用参数如下:

  • n_neighbors:K值,默认5,需通过交叉验证选择最优值;
  • metric:距离度量,默认euclidean(欧几里得距离),可选manhattan(曼哈顿距离)、minkowski(闵可夫斯基距离);
  • weights:邻居权重,默认uniform(等权重),可选distance(距离越近,权重越大),能提升模型抗噪声能力;
  • p:闵可夫斯基距离的参数,p=1为曼哈顿距离,p=2为欧几里得距离。

五、KNN算法的优缺点

KNN是入门级算法,核心逻辑简单、易实现,但“懒惰学习”的特性也导致其存在明显的局限性,优缺点总结如下,适配本科/研究生课程考点和实战选型参考。

5.1 核心优点

  1. 简单直观,易理解易实现:无复杂的数学推导和模型训练,核心只有“计算距离+投票/平均”,零基础也能快速掌握;
  2. 无训练阶段,无需拟合模型:直接保存训练数据,新增训练样本时无需重新训练,适合动态更新的数据集;
  3. 兼具分类和回归能力:一套算法可解决两类任务,仅需修改最后一步的预测规则,灵活性强;
  4. 对多分类问题友好:无需额外改造,天然支持多分类任务(如鸢尾花的3分类),优于部分二分类算法(如逻辑回归);
  5. 调参简单:核心超参数仅K值,辅以距离度量和权重,调参成本远低于SVM、XGBoost等算法;
  6. 适合非线性数据:无需假设数据的线性分布,通过K个邻居的局部特征完成预测,能拟合复杂的非线性分类边界。

5.2 核心缺点

  1. 预测速度慢,计算复杂度高:预测时需要计算新样本与所有训练样本的距离,训练集规模越大(如百万级样本),计算量呈指数级增长,预测速度极慢;
  2. 内存消耗大:需要永久保存全部训练数据,训练集越大,占用的内存越多;
  3. 对特征量纲极其敏感:未标准化的特征会导致距离计算偏差(如“身高(m)”和“体重(kg)”),标准化是KNN的必做步骤;
  4. 对噪声和异常值敏感:K值较小时,噪声点/异常值会成为新样本的最近邻,直接导致预测错误;
  5. 对高维数据效果差:随着特征维度的增加,样本之间的距离会趋于一致(维度灾难),导致KNN无法有效区分样本;
  6. 对不平衡数据不友好:若训练集中某类样本占比过高,K个邻居中该类样本会占多数,导致少数类样本被误分类。

六、KNN与相似算法的对比

为了让大家在实战中精准选算法,以下从核心思想、优缺点、训练/预测速度、适合数据类型四个维度,对比KNN与决策树、SVM两种经典算法的差异,表格简洁明了,适配本科课程考核和研究生实战选型:

对比项KNN(K-近邻)决策树(ID3/C4.5/CART)支持向量机(SVM)
核心思想基于距离的近邻投票/平均,懒惰学习基于特征划分的树形规则,急切学习基于最大间隔的超平面分类,急切学习
核心优点简单直观、无训练、支持分类/回归、非线性友好可解释性强、无需标准化、适配离散/连续特征高维数据效果好、抗噪声、非线性拟合能力强
核心缺点预测慢、内存大、对量纲/噪声/高维数据敏感易过拟合、对噪声敏感、贪心策略局部最优调参复杂、大规模数据训练慢、可解释性差
训练速度无训练阶段,速度为∞快,递归划分数据即可慢,需求解二次规划问题
预测速度慢,随训练集规模增大而降低快,沿树形规则遍历即可中等,仅依赖支持向量
特征标准化必须做,否则距离计算偏差无需做,对量纲不敏感建议做,提升模型效果
适合数据类型小样本、低维、特征尺度一致、分布简单的数据集中小样本、结构化数据、离散/连续特征混合中小样本、高维数据、非线性分类任务
典型应用简单分类/回归、基准模型测试、推荐系统金融风控、决策支持、规则引擎文本分类、图像识别、高维数据分类

七、KNN的适用场景与实战建议

KNN的“懒惰学习”特性决定了它适合小样本、低维的简单任务,工业级大规模场景中通常被其他算法替代,但作为基准模型仍有重要价值,以下是实战中的选型建议和优化技巧。

7.1 优先选择KNN的场景

  1. 小样本、低维数据集:样本数在千级以内,特征数在20维以内,KNN的计算复杂度和内存消耗可接受;
  2. 快速构建基准模型:在正式建模前,用KNN快速得到一个基准准确率,为后续算法(如随机森林、XGBoost)的性能对比提供参考;
  3. 动态更新的数据集:需要频繁新增训练样本,KNN无需重新训练,仅需添加新样本到训练集即可,远优于需要重新训练的急切学习算法;
  4. 非线性简单分类/回归任务:数据无明显的线性分布,但分类边界简单,KNN能通过局部近邻拟合非线性边界,且实现成本远低于SVM;
  5. 机器学习入门实验:作为入门算法,帮助理解“距离度量”“特征标准化”“超参数调优”等核心机器学习概念。

7.2 考虑其他算法的场景

  1. 大规模数据集(万级以上):KNN预测速度极慢,选择随机森林、XGBoost、LightGBM等集成算法,支持并行计算,训练和预测效率更高;
  2. 高维数据集(特征数>50):KNN受维度灾难影响,先做降维处理(如PCA、TSNE)再用KNN,或直接选择SVM、随机森林;
  3. 对预测速度要求高的场景:如实时推荐、实时分类,选择决策树、逻辑回归等预测速度快的算法;
  4. 噪声/异常值较多的数据集:选择随机森林、XGBoost等集成算法,通过多模型投票降低噪声影响;
  5. 对模型可解释性要求高的场景:选择决策树,树形规则可直接转化为业务逻辑,远优于“黑箱”的KNN;
  6. 类别不平衡的数据集:选择XGBoost、LightGBM,支持类别权重调整、过采样/欠采样,对不平衡数据的处理更优。

7.3 KNN的实战优化技巧

若实战中确需使用KNN,可通过以下技巧提升模型性能和运行效率:

  1. 必做特征标准化:使用StandardScaler(标准化)或MinMaxScaler(归一化),消除特征量纲影响;
  2. 合理选择K值:通过交叉验证选择最优K值,避免K太小过拟合、K太大欠拟合;
  3. 使用距离权重:设置weights='distance',让距离更近的邻居拥有更高的投票权重,降低噪声影响;
  4. 选择合适的距离度量:低维数据用欧几里得距离,高维稀疏数据(如文本)用余弦相似度(替代距离);
  5. 数据降维:对高维数据做PCA/TSNE降维,减少特征维度,缓解维度灾难;
  6. 数据清洗:移除噪声点和异常值(如通过箱线图、Z-score),提升模型的鲁棒性;
  7. 使用KD树/球树加速:sklearn中KNN默认使用暴力搜索,对中规模数据集,可设置algorithm='kd_tree'或'ball_tree',通过树结构减少距离计算量,提升预测速度;
  8. 处理不平衡数据:对少数类样本做过采样(SMOTE)或对多数类样本做欠采样,保证训练集类别分布平衡。

八、总结

  1. KNN是经典的懒惰学习算法,无训练阶段,核心逻辑是**“物以类聚,人以群分”**,通过计算距离寻找K个最近邻,分类任务多数投票、回归任务取平均;
  2. KNN的核心三要素是K值、距离度量、预测规则:K值需通过交叉验证选择,距离度量默认欧几里得距离,预测规则分分类(投票)和回归(平均);
  3. 特征标准化是KNN的必做步骤,其对特征量纲极其敏感,未标准化会导致距离计算偏差,直接影响模型性能;
  4. KNN的最大优点是简单直观、易实现、支持分类/回归、无需训练;最大缺点是预测慢、内存消耗大、对量纲/噪声/高维数据敏感;
  5. KNN适合小样本、低维、分布简单的数据集,可作为基准模型快速测试数据规律;工业级大规模、高维、高要求的场景中,通常被随机森林、XGBoost等集成算法替代;
  6. KNN是机器学习入门的绝佳算法,通过学习KNN能理解距离度量、特征标准化、超参数调优、维度灾难等核心概念,为后续学习复杂算法奠定基础。

拓展学习:掌握KNN后,可依次学习决策树(ID3/C4.5/CART)、逻辑回归、SVM等经典算法,对比理解“懒惰学习”和“急切学习”的差异;再过渡到集成学习(Bagging/Boosting),掌握随机森林、XGBoost等工业级算法,形成完整的机器学习知识体系。

K-近邻法(KNN算法) 1、kNN算法(K 最近邻(k-Nearest Neighbors))描述 简单地说,k-近邻算法采用测量不同特征值之间的距离方法进行分类。 k-近邻算法是一种基本分类与回归方法;它是是监督学习中分类方法的一种,属于懒散学习法(惰性学习方法)。 ... 阅读详情

相关推荐

机器学习——K 近邻、K-NN 算法图文详解

K 近邻算法原理、距离度量方法、欧式距离、曼哈顿距离、切比雪夫距离、闵式距离、归一化和标准化、归一化、MinMaxScaler、标准化、StandardScaler、K 值选择问题、GridSearchCV 、分类模型评估方法、留出法、交叉验证法、KFold、分层交叉验证、StratifiedKFold、留一法、自助法、accuracy_score、分类算法评估

好记性不如烂笔头 4670

KNN算法(k近邻算法)原理及总结

KNN 算法,或者称 k最邻近算法,是有监督学习中的分类算法。它可以用于分类或回归问题,但它通常用作分类算法。

m0_74405427的博客 14万+

数据挖掘领域十大经典算法之—K-邻近算法/kNN(超详细附代码)

相关文章: 数据挖掘领域十大经典算法之—C4.5算法(超详细附代码) 数据挖掘领域十大经典算法之—K-Means算法(超详细附代码) 数据挖掘领域十大经典算法之—SVM算法(超详细附代码) 数据挖掘领域十大经典算法之—Apriori算法 数据挖掘领域十大经典算法之—EM算法 数据挖掘领域十大经典算法之—PageRank算法 数据挖掘领域十大经典算法之—...

fuqiuai的博客 2万+

KNN算法(一) KNN算法原理

一.KNN算法概述 KNN可以说是最简单的分类算法之一,同时,它也是最常用的分类算法之一,注意KNN算法是有监督学习中的分类算法,它看起来和另一个机器学习算法Kmeans有点像(Kmeans是无监督学习算法),但却是有本质区别的。那么什么是KNN算法呢,接下来我们就来介绍介绍吧。 二.KNN算法介绍 KNN的全称是K Nearest Neighbors,意思是K个最近的邻居,从这个名字我们就能看出一些KNN算法的蛛丝马迹了。K个最近邻居,毫无疑问,K的取值肯定是至关重要的。那么最近的邻居又是怎么回事呢

weixin_45014385的博客 12万+

机器学习3—分类算法之K邻近算法(KNN)

加载数据集采用loadtxt()函数加载酒类数据集,采用逗号(,)来分割。划分数据集由于Wine数据集第一列为类标,后面13列为13个酒类特征,获取其中两列特征,并将其划分成特征数组和类标数组,调用concatenate()函数实现。KNN训练调用Sklearn机器学习包中KNeighborsClassifier()函数训练,设置K值为3类,并调用clf.fit(train_data,train_target)训练模型,clf.predict(test_data)预测分类结果。...

ex_6450的博客 3247

K近邻算法(KNN)的概述与实现

KNN是一种简单但功能强大的算法,适用于分类和回归任务。然而,其计算成本和对K值的敏感性使其在处理大规模数据集或高维数据时存在一定的局限性。随着数据规模的增加,优化KNN的计算速度和性能成为一个值得探索的方向。你是否有使用KNN算法进行项目的经验?在实践中你会选择什么样的距离度量方法?欢迎分享你的看法和经验!

m0_62710548的博客 2246

K-邻近算法(KNN)

1. KNN 算法原理 k-近邻算法(k-Nearest Neighbour algorithm)的工作原理:给定一个已知标签类别的训练数据集,输入没有标签的新数据后,在训练数据集中找到与新数据最邻近的 k 个实例,如果这 k 个实例的多数属于某个类别,那么新数据就属于这个类别。即由那些离新数据最近的 k 个实例来投票决定新数据归为哪一类。 最邻近分类算法是数据挖掘分类(classificat...

wangprince2017 1万+

邻近算法(KNN算法)

邻近算法  锁定 本词条由“科普中国”百科科学词条编写与应用工作项目 审核 。 邻近算法,或者说K最近邻(kNN,k-NearestNeighbor)分类算法是数据挖掘分类技术中最简单的方法之一。所谓K最近邻,就是k个最近的邻居的意思,说的是每个样本都可以用它最接近的k个邻居来代表。 kNN算法的核心思想是如果一个样本在特征空间中的k个最相邻的样本中的大多数属于某一个类

Believe in the Future的专栏 6537

Python KNN k-邻近算法 手动实现及分析 分类、回归、糖尿病预测实战

Python KNN k-邻近算法 算法原理 \qquad k-邻近算法的核心思想是未标记样本的类别,由距离其最近的k个邻近投票来决定。 \qquad 假设,我们有一个已经标记的数据集,即已经知道了数据集中每个样本所属的类别。此外,有一个未标记的数据样本,我们的任务是预测出这个数据样本所属的类别。k-邻近算法的原理是,计算待标记的数据样本和数据集中每个样本的距离,取距离最近的k个样本。待标记的数据...

Rp的博客 2863

数据处理和分析之分类算法:K近邻算法(KNN):KNN在分类任务中的应用

KNN算法是一种简单而有效的分类方法,但在实际应用中需要注意K值的选择和数据预处理,以提高模型的性能。通过上述示例,我们可以看到如何使用Python的库来实现KNN分类,并评估模型的准确率。K近邻算法(K-Nearest Neighbors, KNN)是一种基于实例的学习方法,用于分类和回归任务。其核心思想是:对于一个给定的样本,根据其在特征空间中最近的K个邻居的类别来预测该样本的类别。计算距离:选择一个距离度量方法(如欧氏距离),计算待分类样本与训练集中每个样本的距离。找到K个最近邻。

2401_87715305的博客 1326

Imatest-Dot Pattern

本文介绍了DotPattern模块测试方法,用于评估相机拍摄点阵图的表现。测试主要关注两点:色彩准确性(是否存在彩色噪点和杂边)和摩尔纹现象。测试步骤包括导入图片、选择分析区域、微调ROI、选择点状图类型和分析保存结果。测试结果包含横向色差、光学畸变和SMIATV畸变等数据,其中0.115%的色差值和0.004度的网格旋转角度表明相机表现良好,但-10.4%的SMIATV畸变显示存在明显桶形畸变。文章还提供了各项指标的具体解读标准。

weixin_64706696的博客 1353

机器学习——K-近邻算法(KNN)

K-近邻算法(K-Nearest Neighbors, 简称 KNN)是一种基于实例的机器学习算法,广泛应用于分类和回归任务。它通过计算数据点之间的相似度(通常是距离度量),然后预测新的数据点的标签或数值。在图像分类任务中,KNN 可以通过计算图像特征向量之间的距离来分类,例如手写数字识别。KNN 可用于垃圾邮件检测,通过比较新邮件和历史邮件的相似性,判断其类别。原则,根据 kkk 个最近邻居的类别进行投票,选出出现最多的类别。基于用户相似度的推荐系统中,KNN 常用于查找兴趣相似的用户群体。

CYTLOVELY的博客 4924

记一次Redis出问题及解决方案

Q1: redis服务关闭前确认数据还是在的,重启后发现一条数据都没了,key* 查也是空的 A1: 经仔细检查发现redis.conf配置文件配置的数据存储目录配置的是dir ./ 也就是相对目录,也就是说在哪个目录执行redis-server redis.config启动命令 redis数据就会存到哪个目录,同样就会加载哪个目录下的数据文件(dump.rdb),前后两次启动命令的位置不一样导致第二次启动没有加载到(dump.rdb)文件,从而导致查不出数据 Q2:springboot 集成r

u010013928的博客 3060

邻近算法(KNN)原理简单解析

邻近算法(KNN)原理简单解析 一、什么是邻近算法1.1简介1.2核心思想1.3 算法流程1.4 优缺点二、实例演示KNN算法 一、什么是邻近算法 1.1简介 邻近算法,或者说K最近邻(KNN,K-NearestNeighbor)分类算法是数据挖掘分类技术中最简单的方法之一。所谓K最近邻,就是K个最近的邻居的意思,说的是每个样本都可以用它最接近的K个邻近值来代表。近邻算法就是将数据集合中每一个记录进行分类的方法 。 1.2核心思想 KNN算法的核心思想是,如果一个样本在特征空间中的K个最相邻的样本中的大多

我玩的很开心的博客 6110

CMake接口库实战:如何用add_library的INTERFACE选项管理跨项目依赖

本文深入探讨了CMake中add_library的INTERFACE选项在管理跨项目依赖时的实战应用。通过创建不包含源代码的接口库,开发者可以集中管理头文件路径、编译定义、链接库等公共配置,并将其声明式地传递给依赖目标。文章以构建模块化跨平台网络应用为例,详细展示了如何利用接口库实现配置的集中化、依赖关系的显式化,从而提升大型项目的可维护性和可移植性。

water的专栏 1041

华为自研 ERP、Oracle EBS 与 SAP 上线时系统配置思路设计差异深度分析

本文对比分析了华为自研ERP、Oracle EBS和SAP S/4HANA三大ERP系统在上线配置思路上的核心差异。从架构设计看,华为采用分布式微服务架构,SAP采用分层服务架构,Oracle采用集中式一体化架构;在模块配置上,华为以业务场景为导向,SAP基于行业模板,Oracle强调模块独立性;数据迁移方面,华为侧重业务规则清洗,SAP注重数据质量监控,Oracle依赖标准化工具;流程适配上,华为系统随流程调整,SAP在框架内优化,Oracle需定制开发;定制开发模式差异明显,华为采用插件化扩展,SAP使

金牌架构师 1456

邻近算法 KNN

待完善,预习用 邻近算法 KNN,K-NearestNeighbor 属于数据挖掘-分类技术 分类算法 K最近邻 即:每个样本可以用它最接近的K个邻近值来代表 近邻算法就是将数据集合中的每一个记录进行分类的方法。 基本思想 要判断一个新数据的类别,就看它的邻居。根据新数据的特征得到在相应属性空间中的坐标,看附近的数据都是什么类别。 KNN中的K表示邻居的数量,K=3就是通过最近的3个样本来判断数据类别。 计算距离时,可以用两点间的直线距离(欧氏距离),也可以使用坐标轴距离绝对值的和(曼哈顿距离).

pocket_eight的博客 1536

[QMT量化交易小白入门]-七十三、主力资金动向:板块与个股资金流数据API(量化python代码解析)

本专栏主要是介绍QMT的基础用法,常见函数,写策略的方法,也会分享一些量化交易的思路,大概会写100篇左右。QMT的相关资料较少,在使用过程中不断的摸索,遇到了一些问题,记录下来和大家一起沟通,共同进步。

木头大左的博客 1123

机器学习实战2.1. 超详细的k-近邻算法KNN(附Python代码)

超详细的k-近邻算法KNN(附Python代码) 搜索微信公众号:‘AI-ming3526’或者’计算机视觉这件小事’ 获取更多机器学习干货 csdn:https://blog.youkuaiyun.com/baidu_31657889/ github:https://github.com/xiaoming3526/ai-ming3526 本文参考地址:[apachecn/AiLearning] KNN ...

小明的博客 3133

ABAP CDS 和 HANA SQL 的关系

摘要: ABAP CDS与HANA SQL既有紧密联系又有本质区别。ABAP CDS作为语义数据建模框架,在SQL基础上扩展了业务语义层,通过注解(annotations)、关联关系(associations)等机制为数据附加业务含义,并支持权限控制、客户端处理等ABAP平台特性。虽然CDS实体最终会转换为HANA数据库对象执行,但它并非简单的SQL封装,而是构建了独立于数据库的语义模型。二者在数据库执行层深度融合,ABAP CDS通过代码下推技术将计算任务优化到HANA层完成。实际开发中应优先使用ABAP

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 865

OPC通信从入门到精通_1_OPC基础知识及简单C#程序编写(OPCDA,OPCUA简介;OPC通信数据流框架图;C#程序编写)

ModbusTCP通信是采用直接方式进行通信,用OPC的方式如何去做呢?PLC作为ModbusTCP服务器,用KepServer作为ModbusTCP客户端,同时作为OPC服务器,PC作为OPC客户端新建项目,加载dll库(利用COM技术写的)添加引用,查看到其中包含了众多方法其中OPCGroups继承于IOPCGroups接口。

分享学习成长历程,Winter is coming! 1万+

KNN算法(K近邻算法)

KNN算法是一种基于相似度的分类和回归方法,通过计算样本距离进行分类预测。关键要素包括k值选择(影响模型复杂度)、距离度量(欧氏/曼哈顿/切比雪夫距离)和特征预处理(归一化/标准化)。应用流程包含数据分割、模型训练、预测评估等步骤,案例演示了鸢尾花分类和手写数字识别。算法优势是简单直观,但需注意k值选择和特征缩放对结果的影响。

pan13360344415的博客 2010

迈瑞BS系列全自动生化分析仪LIS协议接口手册(内含HL7和ASTM)

迈瑞BS系列全自动生化分析仪LIS协议接口手册,内含HL7和ASTM)

基于K近邻算法(KNN)的分类器实现

K近邻算法(K-Nearest Neighbors, KNN)是一种简单而有效的监督学习算法,常用于分类和回归任务。如果一个样本在特征空间中的K个最相似的样本中的大多数属于某一个类别,则该样本也属于这个类别。通过本次实验,我们实现了基于KNN算法的分类器,并对约会网站的数据进行了分类。KNN算法简单易懂,但在实际应用中需要注意数据预处理和参数选择。未来可以尝试将该算法应用于其他数据集,并与其他分类算法进行对比分析。

HeaViolet的博客 1281

VB摄像头监控

该VB模块可对摄像头捕获的画面进行录像等,可在创建的窗口进行控制

深度学习工具包 DeepLearningToolbox

深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain's apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012",}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath('DeepLearnToolbox'));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand('state',0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W'); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand('state',0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = 'sigm';%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.10, 'Too big error');```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand('state',0)sae = saesetup([784 100]);sae.ae{1}.activation_function = 'sigm';sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)')% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = 'sigm';nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.16, 'Too big error');```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x',28,28,60000))/255;test_x = double(reshape(test_x',28,28,10000))/255;train_y = double(train_y');test_y = double(test_y');%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you'll get around 1.2% errorrand('state',0)cnn.layers = { struct('type', 'i') %input layer struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %sub sampling layer struct('type', 'c', 'outputmaps', 12, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er<0.12, 'Too big error');```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand('state',0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.08, 'Too big error');%% ex2 neural net with L2 weight decayrand('state',0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex3 neural net with dropoutrand('state',0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex4 neural net with sigmoid activation functionrand('state',0)nn = nnsetup([784 100 10]);nn.activation_function = 'sigm'; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex5 plotting functionalityrand('state',0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = 'softmax'; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand('state',0)nn = nnsetup([784 20 10]); nn.output = 'softmax'; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');```[![Bitdeli Badge](https://d2weczhvl823v0.cloudfront.net/rasmusbergpalm/deeplearntoolbox/trend.png)](https://bitdeli.com/free "Bitdeli Badge")

k近邻算法(KNN)-分类算法

k近邻算法(KNN)-分类算法 1 概念 定义:如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别,则该样本也属于这个类别。 k-近邻算法采用测量不同特征值之间的距离来进行分类。 2 优缺点 优点:简单,易于理解,易于实现,无需估计参数,无需训练 缺点:懒惰算法,对测试样本分类时的计...

fighting 1816

霍尼韦尔SoftMaster使用说明

霍尼韦尔SoftMaster使用说明

机器学习——k邻近算法(kNN)

机器学习——k近邻算法(kNN) 参考教材:机器学习实战(人民邮电出版社)Peter Harrington【美】著 语言:python 软件:VS code 1.k近邻算法的概述 k近邻算法采用不测量不同特征值之间的距离方法进行分类。 算法的距离计算公式为欧式距离公式: k近邻算法的优缺点: 优点:精度高、对异常值不敏感、五数据输入假定。 缺点:计算复杂度高、空间复杂度高。 适用数据范围:数据型和标称型。 k近邻算法原理: 存在一个样本数据集合(训练样本集),切样本集中每...

Mr_marsa的博客 3942
上一篇: 【分类算法】ID3算法超详细讲解
下一篇: 【分类算法】LightGBM算法超详细讲解
「已注销」
博客等级 码龄1年 312粉丝 132原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

「已注销」

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值