【回归算法】K近邻回归(KNN回归)详解

最近邻回归(概念+实例) 目录 前言 一、基本概念 1. KNN回归的原理 2. KNN回归的工作原理举例 3. KNN回归的参数 4. KNN回归的优缺点 5. KNN回归的应用场景 二、实例 前言 最近邻回归(K-nearest neighbors regression,简称KNN回归)是一种简单而又直观的非参数回归方法。与其他回归方法不同,KNN回归不需要对数据进行假设,而是直接利用数据中的实例进行预测。在这种方法中,预测结果是由最接近输入实例的K个训练样本的输出值的加权平均得到的。KNN回归在数据量较小 阅读详情

K近邻回归(KNN回归)详解

本内容专为本科生、研究生梳理,将通俗讲解KNN回归的核心原理、实现流程、实战案例及算法优劣,兼顾理论理解与实际应用。
KNN回归(K-Nearest Neighbors Regression)是一种简单直观的机器学习回归算法,专门用于预测数值型数据(如房价、气温、销售额等),属于非参数估计方法,无需对训练数据做显式建模,仅通过寻找新样本的邻近数据点完成预测。

一、KNN回归基本原理

KNN回归的核心思路可以概括为两步走,用生活中的例子就能轻松理解,核心是“找邻居、算平均”。

  1. 找邻居:要预测某个新数据点的数值时,先在已有训练数据集中,找到离这个新点最近的K个数据点,这K个点就是新点的“邻居”;
  2. 求平均值:将这K个邻居的目标值(即要预测的数值型结果)取平均,这个平均值就是新数据点的预测值。

通俗举例:预测新房房价

假设我们有大量已售房子的信息(含地理位置、房价),现在要预测一套新房的价格:

  • 第一步:在已售房源中,找到离这套新房地理位置最近的K套房子;
  • 第二步:计算这K套房子的平均售价,作为这套新房的预测房价。

二、K值的选择与影响

K值(邻居数量)是KNN回归最核心的超参数,K的大小直接决定模型的预测效果,没有固定的最优K值,需通过实验确定,其对模型的影响如下:

  1. K值太小(如K=1):预测结果会被单个邻居的数值影响,模型稳定性差,容易出现过拟合(把训练数据的噪声也拟合进去);
  2. K值太大(如K=100):模型会更稳定,但会纳入很多离新数据点很远的“邻居”,这些点的参考价值低,导致预测精度下降,容易出现欠拟合(无法捕捉数据的局部特征);
  3. K值的合理选择:通常通过交叉验证(如5折、10折交叉验证)做实验,找到能平衡模型偏差和方差的最优K值。

三、KNN回归原理深度解析

这部分是本、研究生需要掌握的核心理论,包含数据表示、距离度量、预测值计算三个关键模块。

1. 基本思想与数据表示

设训练数据集为D={(x1,y1),(x2,y2),...,(xN,yN)}D=\left\{\left(x_{1}, y_{1}\right),\left(x_{2}, y_{2}\right), ...,\left(x_{N}, y_{N}\right)\right\}D={(x1​,y1​),(x2​,y2​),...,(xN​,yN​)},其中:

  • xi∈Rdx_{i} \in \mathbb{R}^{d}xi​∈Rd:第iii个样本的输入特征向量,ddd为特征的维度(比如房价预测中,维度就是面积、房龄、楼层等特征的数量);
  • yi∈Ry_{i} \in \mathbb{R}yi​∈R:第iii个样本对应的目标值(即要预测的数值);
  • NNN:训练数据集的样本总数。

对于一个待预测的新样本x∗x^{*}x∗,KNN回归的核心思想是:按某种距离度量,在训练集中找到x∗x^{*}x∗的K个最近邻,再通过这些邻居的目标值计算x∗x^{*}x∗的预测值。

2. 距离度量:判断“远近”的标准

要找“最近邻”,首先要定义样本间的“距离”,距离越小表示样本越相似。KNN回归中常用的距离度量有三种,欧氏距离是最常用的。

(1)欧氏距离(欧式距离)

即我们日常理解的“直线距离”,公式为:
d(xi,xj)=∑m=1d(xim−xjm)2d\left(x_{i}, x_{j}\right)=\sqrt{\sum_{m=1}^{d}\left(x_{i m}-x_{j m}\right)^{2}}d(xi​,xj​)=m=1∑d​(xim​−xjm​)2​
其中ximx_{im}xim​表示第iii个样本的第mmm个特征,xjmx_{jm}xjm​表示第jjj个样本的第mmm个特征。

(2)曼哈顿距离

也叫“城市街区距离”,适合描述在网格状空间中的移动距离,公式为:
d(xi,xj)=∑m=1d∣xim−xjm∣d\left(x_{i}, x_{j}\right)=\sum_{m=1}^{d}\left|x_{i m}-x_{j m}\right|d(xi​,xj​)=m=1∑d​∣xim​−xjm​∣

(3)闵可夫斯基距离

是欧氏距离和曼哈顿距离的通用形式,公式为:
d(xi,xj)=(∑m=1d∣xim−xjm∣p)1pd\left(x_{i}, x_{j}\right)=\left(\sum_{m=1}^{d}\left|x_{i m}-x_{j m}\right|^{p}\right)^{\frac{1}{p}}d(xi​,xj​)=(m=1∑d​∣xim​−xjm​∣p)p1​

  • 当p=2p=2p=2时,闵可夫斯基距离就是欧氏距离;
  • 当p=1p=1p=1时,闵可夫斯基距离就是曼哈顿距离。

3. 预测值的计算方法

找到K个最近邻后,有三种常用的预测值计算方式,核心区别是是否给不同邻居赋予不同的权重,离新样本越近的邻居,理论上参考价值越高。

(1)直接均值(最基础)

所有K个邻居的权重相同,直接取算术平均,公式为:
y^(x∗)=1K∑i=1Kyi\hat{y}\left(x^{*}\right)=\frac{1}{K} \sum_{i=1}^{K} y_{i}y^​(x∗)=K1​i=1∑K​yi​
其中y^(x∗)\hat{y}(x^*)y^​(x∗)是新样本x∗x^*x∗的预测值,yiy_iyi​是第iii个最近邻的目标值。

(2)距离加权均值(最常用)

让离新样本越近的邻居权重越大,权重与距离成倒数关系,公式为:
y^(x∗)=∑i=1Kwiyi∑i=1Kwi\hat{y}\left(x^{*}\right)=\frac{\sum_{i=1}^{K} w_{i} y_{i}}{\sum_{i=1}^{K} w_{i}}y^​(x∗)=∑i=1K​wi​∑i=1K​wi​yi​​
其中权重wiw_iwi​的计算方式为:
wi=1d(x∗,xi)+ϵw_{i}=\frac{1}{d\left(x^{*}, x_{i}\right)+\epsilon}wi​=d(x∗,xi​)+ϵ1​
ϵ\epsilonϵ是一个极小的正数,目的是防止分母为0(避免新样本和某个邻居的距离为0时,权重无意义)。

(3)高斯核加权

用高斯核函数给邻居赋权,离新样本越近,权重衰减得越快,公式为:
wi=exp(−d(x∗,xi)22σ2)w_{i}=exp \left(-\frac{d\left(x^{*}, x_{i}\right)^{2}}{2 \sigma^{2}}\right)wi​=exp(−2σ2d(x∗,xi​)2​)
适合对“近邻的参考价值”要求更高的场景。

四、KNN回归的误差分析:偏差-方差分解

本、研究生需要理解模型的误差来源,KNN回归的总误差可分解为偏差平方和方差,这也是解释K值影响的理论依据。

1. 数据分布假设

假设真实的数据关系为:y=f(x)+ϵy=f(x)+\epsilony=f(x)+ϵ,其中:

  • f(x)f(x)f(x):数据的真实函数(我们无法直接获取);
  • ϵ∼N(0,σ2)\epsilon \sim \mathcal{N}\left(0, \sigma^{2}\right)ϵ∼N(0,σ2):随机噪声,服从均值为0、方差为σ2\sigma^2σ2的高斯分布。

2. 误差分解公式

KNN回归的预测值为f^(x)=1K∑i=1Kyi\hat{f}(x)=\frac{1}{K} \sum_{i=1}^{K} y_{i}f^​(x)=K1​∑i=1K​yi​,其总误差满足:
Error=Bias2+Var=O(1K2)+O(1K)Error =Bias^{2}+Var=O\left(\frac{1}{K^{2}}\right)+O\left(\frac{1}{K}\right)Error=Bias2+Var=O(K21​)+O(K1​)
其中:

  • 方差(Var):描述模型在不同训练集上的预测结果波动程度,Var(f^)=σ2KVar(\hat{f})=\frac{\sigma^{2}}{K}Var(f^​)=Kσ2​,K越小,方差越大(模型越不稳定,过拟合);
  • 偏差(Bias):描述模型的预测值与真实函数的偏离程度,Bias(f^)=f(x)−E[f^(x)]=O(1K)Bias(\hat{f})=f(x)-\mathbb{E}[\hat{f}(x)]=O\left(\frac{1}{K}\right)Bias(f^​)=f(x)−E[f^​(x)]=O(K1​),K越大,偏差越大(模型越粗糙,欠拟合)。

简单来说:K值的调整,本质是在模型的偏差和方差之间做权衡。

五、KNN回归的标准算法流程

KNN回归的实现步骤固定,输入输出明确,本、研究生可按此流程实现算法,步骤如下:

输入

  1. 训练数据集D=(x1,y1),(x2,y2),...,(xN,yN)D={(x_{1}, y_{1}),(x_{2}, y_{2}), ...,(x_{N}, y_{N})}D=(x1​,y1​),(x2​,y2​),...,(xN​,yN​);
  2. 待预测的新样本x∗x^{*}x∗;
  3. 选定的邻居数KKK;
  4. 距离度量方式(如欧氏距离);
  5. 预测值计算策略(直接均值、加权均值等)。

步骤

  1. 计算距离:计算新样本x∗x^*x∗与训练集中所有样本的距离(按选定的度量方式);
  2. 选择最近邻:从训练集中选取距离最小的K个样本,作为x∗x^*x∗的K个近邻;
  3. 计算预测值:按选定的策略,计算K个近邻目标值的均值,得到y^(x∗)\hat{y}(x^*)y^​(x∗);
    • 直接均值:y^(x∗)=1K∑i=1Kyi\hat{y}\left(x^{*}\right)=\frac{1}{K} \sum_{i=1}^{K} y_{i}y^​(x∗)=K1​∑i=1K​yi​;
    • 加权均值:y^(x∗)=∑i=1Kwiyi∑i=1Kwi\hat{y}\left(x^{*}\right)=\frac{\sum_{i=1}^{K} w_{i} y_{i}}{\sum_{i=1}^{K} w_{i}}y^​(x∗)=∑i=1K​wi​∑i=1K​wi​yi​​。
  4. 输出结果:输出新样本的预测值y^(x∗)\hat{y}(x^*)y^​(x∗)。

六、KNN回归实战案例:加州房价预测

以加州房价数据集为例,用Python+Scikit-learn实现KNN回归,包含数据处理、超参数优化、模型评估、可视化全流程,代码可直接运行,适合本、研究生动手实践。

案例目标

用KNN回归预测加州房屋的中位数价格,通过网格搜索找到最优K值,评估模型效果。

完整代码(含详细注释)

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns

# 导入数据集、模型、评估指标、交叉验证工具
from sklearn.datasets import fetch_california_housing
from sklearn.model_selection import train_test_split, GridSearchCV
from sklearn.neighbors import KNeighborsRegressor
from sklearn.metrics import mean_squared_error, r2_score
from sklearn.preprocessing import StandardScaler  # 【新增】导入标准化器

# 设置绘图风格
sns.set_style("whitegrid")
plt.rcParams['font.sans-serif'] = ['SimHei', 'Arial Unicode MS', 'DejaVu Sans'] # 防止中文乱码(如果标题用中文)
plt.rcParams['axes.unicode_minus'] = False

# 1. 加载并查看加州房价数据集
housing = fetch_california_housing(as_frame=True)
data = housing.frame
print("数据集维度(样本数×特征数):", data.shape)
print("数据集所有特征:\n", data.columns)

# 2. 划分特征与目标变量
X = data.drop("MedHouseVal", axis=1)
y = data["MedHouseVal"]

# 3. 划分训练集和测试集(8:2)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 【重要步骤】特征标准化 (Standardization)
# KNN 是基于距离的算法,必须对特征进行缩放,否则大数值特征(如 Population)会主导结果
scaler = StandardScaler()
X_train_scaled = scaler.fit_transform(X_train)
X_test_scaled = scaler.transform(X_test)

# 4. 超参数优化:用网格搜索+5折交叉验证找最优K值
knn = KNeighborsRegressor()
param_grid = {'n_neighbors': np.arange(1, 31)}

# 注意:这里使用缩放后的数据 X_train_scaled 进行训练
grid_search = GridSearchCV(knn, param_grid, cv=5, scoring='neg_mean_squared_error', n_jobs=-1)
grid_search.fit(X_train_scaled, y_train)

# 输出最优参数
best_k = grid_search.best_params_['n_neighbors']
best_score = -grid_search.best_score_
print("-" * 30)
print("最优邻居数 k =", best_k)
print("训练集5折交叉验证的最佳均方误差 (MSE) =", best_score)

# 5. 用最优K值训练模型,并在测试集预测
best_knn = grid_search.best_estimator_
# 注意:预测时也必須使用缩放后的测试集数据
best_knn.fit(X_train_scaled, y_train)
y_pred = best_knn.predict(X_test_scaled)

# 6. 计算测试集的模型评估指标
mse = mean_squared_error(y_test, y_pred)
r2 = r2_score(y_test, y_pred)
print("测试集均方误差 (MSE) =", mse)
print("测试集 R2 score =", r2)
print("-" * 30)

# 7. 可视化1:真实值 vs 预测值
plt.figure(figsize=(10, 6))
# edgecolors 用于设置散点边框颜色
plt.scatter(y_test, y_pred, alpha=0.6, color='mediumspringgreen', edgecolors='k', linewidth=0.5)
plt.plot([y_test.min(), y_test.max()], [y_test.min(), y_test.max()], 'r--', lw=2, label='Perfect Fit')
plt.xlabel("True Values", fontsize=14)
plt.ylabel("Predicted Values", fontsize=14)
plt.title("True vs Predicted Values (KNN with Scaling)", fontsize=16)
plt.legend()
plt.tight_layout()
plt.show()

# 8. 可视化2:残差分布
residuals = y_test - y_pred
plt.figure(figsize=(10, 6))
sns.histplot(residuals, bins=50, kde=True, color='hotpink')
plt.xlabel("Residuals (True - Predicted)", fontsize=14)
plt.ylabel("Frequency", fontsize=14)
plt.title("Residual Distribution", fontsize=16)
plt.axvline(0, color='black', linestyle='--', linewidth=1) # 添加0刻度线
plt.tight_layout()
plt.show()

# 9. 可视化3:不同K值对应的均方误差
results = pd.DataFrame(grid_search.cv_results_)
results['mean_test_mse'] = -results['mean_test_score']

# 【修复核心】直接使用 Series 或 .values,不要使用 .data
k_values = results['param_n_neighbors']
mse_values = results['mean_test_mse']

plt.figure(figsize=(12, 6))
plt.plot(k_values, mse_values, marker='o', linestyle='-', color='dodgerblue', linewidth=2, markersize=6)
plt.xlabel("Number of Neighbors (k)", fontsize=14)
plt.ylabel("Mean Squared Error (MSE)", fontsize=14)
plt.title("Grid Search MSE vs k (After Scaling)", fontsize=16)

# 设置x轴刻度,同样去掉 .data
plt.xticks(k_values)
plt.grid(True, linestyle='--', alpha=0.6)
plt.tight_layout()
plt.show()

案例关键步骤解释

  1. 数据划分:将数据分为训练集(80%)和测试集(20%),避免模型在训练数据上“作弊”,保证评估的客观性;
  2. 超参数优化:用GridSearchCV做网格搜索,结合5折交叉验证,在1~30的范围内自动找最优K值,比手动试错更科学;
  3. 模型评估:用MSE(均方误差)和R2分数评估模型,是回归任务的通用指标;
  4. 可视化分析:通过三张图直观判断模型效果和K值的影响,是科研、实战中必备的分析手段。

案例优化点

  1. 用网格搜索+交叉验证替代手动选K,提升模型泛化能力;
  2. 训练集/测试集划分保证模型评估的准确性;
  3. 多维度可视化,让模型结果更易解读。

七、KNN回归的优缺点

优点

  1. 简单易懂,易实现:仅需计算样本间距离,无复杂的数学建模,本、研究生可快速上手;
  2. 非参数方法,适应性强:无需假设数据的分布规律,适用于非线性数据,这是比线性回归的核心优势;
  3. 适用于局部模式学习:对地理位置、推荐系统等局部特征明显的数据,预测效果好;
  4. 小数据集表现佳:在小规模数据上训练速度快,可快速实现基准模型(用于和其他复杂模型对比)。

缺点

  1. 计算量大,预测速度慢:需要存储所有训练数据,预测时要计算新样本与所有训练样本的距离,大数据集上效率极低;
  2. 受维度灾难影响严重:高维数据中,欧氏距离的区分度会大幅下降(所有样本的距离趋于相等),导致模型失效;
  3. 对噪声和异常值敏感:KNN依赖距离度量,数据中的异常值会成为“错误的邻居”,显著影响预测结果;
  4. 模型可解释性差,无概率输出:仅能给出具体的预测值,无法给出预测的置信度,也难以解释“为什么得到这个预测结果”;
  5. 对特征缩放敏感:量纲不同的特征(如面积:㎡,房价:万元)会导致距离计算偏向量纲大的特征,需先做特征标准化/归一化。

八、KNN回归与其他回归算法的对比

为方便本、研究生在实战中选择合适的回归算法,将KNN回归与线性回归、决策树回归等常用算法做对比,核心从适用场景、优点、缺点三个维度分析。

算法适用场景优点缺点
KNN回归小数据集、非线性数据、局部模式学习(如地理预测)易理解、非参数、适应性强、快速实现基准模型计算量大、高维数据效果差、对噪声敏感、可解释性差
线性回归数据存在明显线性关系的场景计算效率高、可解释性极强、理论成熟仅适用于线性数据,对非线性数据拟合效果差
决策树回归数据集较大、有明显分段特征的非线性数据处理非线性数据、无需特征缩放、可解释性较强易过拟合、对噪声敏感、预测结果不连续
随机森林回归大规模数据、多特征的非线性数据抗过拟合、鲁棒性强、处理非线性关系能力优秀计算复杂度较高、模型可解释性差
支持向量回归(SVR)小规模、高维的非线性数据集适用于高维数据、支持核方法、拟合非线性能力强计算复杂度高、对超参数敏感、样本量大时效率低
神经网络回归大数据、高度非线性关系的复杂回归任务表达能力极强、可拟合复杂数据规律训练时间长、需大量数据、可解释性极差、调参复杂

九、KNN回归的适用场景与替代方案

实战中选择算法的核心是匹配数据特点和任务需求,以下为KNN回归的适用场景和需替换其他算法的场景,本、研究生可直接参考。

适合使用KNN回归的情况

  1. 数据集规模小(样本数<10000条),计算量在可接受范围内;
  2. 数据为非线性分布,且无法确定数据的分布规律,可将KNN作为基准模型;
  3. 数据具有明显的局部模式(如地理位置预测、个性化推荐);
  4. 需快速实现一个简单模型,与其他复杂模型做效果对比。

应选择其他算法的情况

  1. 数据量大(样本数>10万条):KNN计算效率过低,推荐随机森林回归/决策树回归;
  2. 数据为高维数据(特征数>50维):KNN受维度灾难影响,推荐SVR/神经网络回归;
  3. 数据存在明显线性趋势:推荐线性回归/岭回归/套索回归,计算效率更高且可解释性强;
  4. 对模型可解释性有要求:推荐线性回归/决策树回归;
  5. 数据中包含较多噪声和异常值:推荐随机森林回归(鲁棒性强);
  6. 需给出预测的置信度/概率:推荐贝叶斯回归/高斯过程回归。

十、总结

KNN回归是入门级的回归算法,核心优势是简单直观、无需假设数据分布,适合作为本、研究生学习机器学习回归算法的第一个案例,也可在小数据集、非线性数据的场景中作为基准模型使用。

但KNN回归的局限性也很明显:计算效率低、受维度灾难影响、对噪声敏感,因此在大数据集、高维数据、对计算效率/鲁棒性要求高的实战场景中,KNN回归通常不是最优选择,需替换为随机森林、SVR、神经网络等算法。

核心学习要点:本、研究生需掌握KNN回归的距离度量、K值选择、偏差-方差权衡,并能根据数据特点选择合适的回归算法,这是机器学习回归任务的核心能力。

机器学习之回归问题----KNN回归 目录预备知识关键词汇总(中英文)回归简介常用回归算法KNN回归KNN回归原理讲解实例一 预备知识   回归任务的目标是预测连续值。你也可以以此来区分分类与回归。分类是预测一个离散的值,二回归是预测一个连续的值。   比如,根据一个人的家庭情况、买车情况等预测其薪资。如果我们最后预测到其薪资为10000元/月,与预测其为10001元/月并不做明显区分。很明显,它与分类任务不同。 关键词汇总(中英文) 回归(Regression) 回归简介   一言以蔽之,就是一个变量由其他多个变量影响,我们希望寻找其具体 阅读详情

相关推荐

K近邻算法原理——一种简单而强大的分类和回归算法

希望本文所介绍的K近邻算法原理和应用场景能为读者提供有关该算法的深入了解,并激发读者进一步探索和应用机器学习领域中的其他算法和工具的兴趣。假设我们有一个数据集包括一些花的测量特征和对应的花的类别,我们希望通过使用K近邻算法来对新的花进行分类。K近邻算法是一种基于实例的学习方法,它通过在训练数据集中找到与给定样本最相似的K个样本,来预测新的样本的标签。在回归问题中,K近邻算法通过找到与测试样本最相似的K个样本,来预测测试样本的数值结果。它可以根据训练数据中与测试样本最相似的K个样本,来判断测试样本的类别。

m0_70911440的博客 1012

【scikit-learn】K近邻(KNN)

KNN KNN(K-Nearest Neighbor)是最简单的机器学习算法之一,可以用于分类和回归,是一种监督学习算法。它的思路是这样,如果一个样本在特征空间中的K个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别,则该样本也属于这个类别。也就是说,该方法在定类决策上只依据最邻近的一个或者几个样本的类别来决定待分样本所属的类别。 KNN用于分类 计算待分类点与已知类别的点之间的距离 按照距离递增次序排序 选取与待分类点距离最小的K个点 确定前K个点所在类别的出现次数 返回前K个点出现次数最高的

2380

机器学习(一):K-近邻算法(KNN)分类与回归

这是自己的第一篇机器学习的文章,单纯做自己的学习笔记,一起加油进步 K-近邻 算法(KNN)

2020重新做人的博客 6786

【机器学习】KNN 算法介绍

本文介绍了机器学习模型:KNN 算法

weixin_44211968的博客 1万+

k-近邻算法梳理(从原理到示例)

k-近邻算法是一个有监督的机器学习算法,k-近邻算法也被称为knn算法,可以解决分类问题。也可以解决回归问题。本文主要内容整理为如下: knn算法的原理、优缺点及参数k取值对算法性能的影响; 使用knn算法处理分类问题的示例; 使用knn算法解决回归问题的示例; 使用knn算法进行糖尿病检测的示例; 一些扩展知识。 1 算法原理 knn算法的核心思想是未标记样本的类别,由距离其最近的k个邻居投...

cuijiekun的博客 4万+

K近邻算法(KNN)的概述与实现

KNN是一种简单但功能强大的算法,适用于分类和回归任务。然而,其计算成本和对K值的敏感性使其在处理大规模数据集或高维数据时存在一定的局限性。随着数据规模的增加,优化KNN的计算速度和性能成为一个值得探索的方向。你是否有使用KNN算法进行项目的经验?在实践中你会选择什么样的距离度量方法?欢迎分享你的看法和经验!

m0_62710548的博客 2246

【AI深究】K-近邻算法(KNN)详细全流程详解与案例(附大量Python代码演示)| 回归/分类、原理与算法流程、案例与完整代码演示 |K值选择与模型表现、距离度量的选择与影响、加权KNN、工程建议

大家好,我是爱酱。本篇我们将系统讲解K-近邻算法(KNN),内容涵盖原理、数学公式、案例流程、代码实现和工程建议,适合新手和进阶者学习。详细内容涵盖:K值选择与模型表现、距离度量的选择与影响、加权KNN,分类跟回归任务都会覆盖到! 注:本文章含大量数学算式、详细例子说明及代码演示,大量干货,建议先收藏再慢慢观看理解。新频道发展不易,你们的每个赞、收藏跟转发都是我继续分享的动力! 注:本文章颇长近7000字,非常耗时制作,建议先收藏再慢慢观看。新频道发展不易,你们的每个赞、收藏跟转发都是我继续分享的动力!

AI人工智能爱酱~你的AI学习好帮手~ 1万+

数据处理和分析之分类算法:K近邻算法(KNN):KNN在回归任务中的应用

K近邻算法在分类和回归任务中都有广泛的应用,其核心思想是基于距离度量来寻找最近的邻居。在分类任务中,KNN通过多数表决来预测类别;而在回归任务中,KNN则通过计算平均值来预测连续值。通过调整K值和距离度量方式,KNN可以适应不同的数据集和任务需求。在实际应用中,KNN的性能受到数据集大小、特征维度和邻居数量的影响,因此在使用KNN时需要根据具体情况进行参数调优。简单直观KNN算法易于理解和实现,不需要复杂的数学模型和公式,基于直观的“近朱者赤,近墨者黑”原理。无须训练。

2401_87715305的博客 1080

基于K近邻算法(KNN)的数据回归预测

通过上面的Matlab代码,我们完成了基于KNN的数据回归预测。KNN虽然简单,但在很多实际场景中表现出色。不过选择合适的K值很关键,K值太小,模型对噪声敏感;K值太大,模型可能变得模糊,丢失局部特征。大家可以多尝试不同的K值,看看对预测结果有啥影响,说不定能发现新的乐趣。希望这篇博文能让你对KNN数据回归和Matlab实现有更清晰的认识。基于K近邻算法(KNN)的数据回归预测 KNN数据回归matlab代码注:暂无Matlab版本要求 -- 推荐 2018B 版本及以上。

cvcNYgAdnd的博客 642

深度剖析 K 近邻算法:分类、回归实战及优劣势分析

本文全面且细致地讲解了 K 近邻算法,开篇点明掌握该算法需先理解特征空间这一关键概念,通过水果、鸢尾花数据集实例,助读者明晰特征空间维度构成;接着深入剖析 K 近邻算法原理,涵盖分类、回归两大应用方向。分类部分,详述从导包、样本生成、绘图到预测及邻近点绘制的完整实操流程,还贴心指出 sklearn 导包易错点;回归板块,依次展示数据集生成、模型训练、预测及结果可视化步骤。文末精准总结 KNN 算法参数、优缺点及改进方法,是新手入门、老手温故 K 近邻算法的优质参考。

qq_54414907的博客 1863

SNN目标识别MNIST

总体来说这篇论文提出的方法用了多种更精密的细节,如LIF膜电位公式,三种STDP方法,但我觉得还可以有很大的改进,比如输入层全连接到兴奋层,兴奋层通过抑制层实现的侧向抑制,抑制层不参与学习等等。尤其是兴奋层通过抑制层实现侧向抑制这里,当神经元兴奋时,通过抑制层再倒回兴奋层,所抑制的已经经过一了一段时间的延迟。如有错误,请不吝赐教。

m0_74982304的博客 1264

K-近邻算法分类与回归

k-近邻算法(KNN) KNN一种可以用于分类和回归任务的算法,KNN隐藏着强大的功能和高可用性,该方法的思路是:如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别,则该样本也属于这个类别。 k-近邻模型 度量空间是定义了集合中所有成员之间距离的特征空间。超参k用来指定估计过程应该包含多少个邻居。超参是用来控制算法如何学习的参数,它不通过训练数据来估计,一般需...

luckyflyyy的博客 2781

abaqus wcm插件下载_Abaqus随机短纤维增强复合材料建模插件

文末附Abaqus随机短纤维增强复合材料建模插件下载链接前言短纤维增强复合材料相对于长纤维增强复合材料来说更容易制备,且短纤维的填充性能略有改善,可制造复杂产品,广泛应用于车辆、航空航天、建筑等行业,对短纤维增强复合材料进行细观力学分析,可对其宏观力学性能进行预测、分析破坏机理等。接下来对随机短纤维增强复合材料建模插件进行介绍。NO.1 【算法简介】难点一:此插件核心在于判断生成的纤维是...

weixin_39974882的博客 2834

机器学习算法(四):K近邻算法(K-Nearest Neighbors, KNN)最简单的监督学习回归和分类算法

K近邻算法(K-Nearest Neighbors, KNN)是一种简单但有效的监督学习算法,广泛应用于分类和回归任务中。可以看到KNN算法的确很简单,模型复杂度低,对于复杂性任务效果就不是很好了。而且模型是基于距离来的,各个数据点键是独立的,缺乏依赖性,似乎丧失了机器学习中学习的意思。举一个很简单的例子来说明该算法无法处理复杂问题:我之前做过一个将经纬高坐标转换成地心地固坐标的任务(有具体的转系公式),当时我是用转系公式转过去的。

smalltorch的博客 1350

Python表白代码:“ 星光月夜烟花皆归你,我也归你”(满天烟花盛开、附番外玫瑰)

导语 "慢品人间烟火色 闲观人间岁月长" ———致自己​​​ ​ ???? 遇见我以后,我们的故事就开始了,愿你历经山河,仍觉得人间值得????。 ​ 星光月夜烟花皆归你,我也归你。关于烟花????大家都​知道多少?有多少表白故事情节都发生在烟 花下,想必木木子????不用说大家也知道叭~​​ 今天这则小短文就是关于烟花的故事!你准备好跟我一起进入烟花的世界了嘛? ​正文 “每一句文案,都有一个故事,你仔细听” ​ 1)环境安装???? 准备好:.

顾木子吖的博客 5万+

Matlab编码转换实战:从GBK到UTF-8的完整解决方案

本文提供Matlab编码转换的完整实战方案,重点解决GBK与UTF-8编码冲突导致的中文乱码问题。通过修改系统配置文件、批量转换项目文件及设置默认保存编码,实现从GBK到UTF-8的彻底迁移,并分享常见避坑指南与自动化脚本技巧,确保代码跨平台协作的稳定性。

weixin_29031057的博客 326

机器学习笔记(二)k近邻算法 kNN、线性回归法 Linear Regression

线性回归法 Linear Regression 1、简单线性回归 寻找一条直线,最大程度的“拟合”样本特征的样本输出标记之间的关系 样本特性只有一个,称为:简单线性回归。 假设我们找到了最佳拟合的直线方程:y=ax+by=ax+by=ax+b,则对于每一个样本点x(i)x^{(i)}x(i),根据我们的直线方程,预测值为:y^(i)=ax(i)+b\hat{y}^{(i)}=ax^{(i)}+by^​(i)=ax(i)+b,真值为:y(i)y^{(i)}y(i)。我们希望y(i)y^{(i)}y(i) 和

qq_45723275的博客 3593

移花接木,玩转CANoe的几种扩展接口应用(五)——串口设备

近期看到粉丝朋友在CANoe自动化测试方面的关注度很大,今天就围绕这个做一个专题,总结一下以往项目上用过的几种CANoe扩展接口,分享出来希望对相关领域的网友有所帮助。本文是该专题的第五篇文章,主要讲解了串口设备的功能配置、连接方法、配置方法、调用方法,最后分析了这种扩展借口应用的特点和适用场景。

Mr.Cssust的博客 2371

K-近邻算法分类和回归

KNN模型分类:K近邻算法的主要思想是用离测试集数据点最近的训练集点(称为其邻居)的输出来估计测试集数据点的输出,参数K代表用多少个邻居来估计。超参数K通常设置为奇数来防止平局现象。其中对邻居的判定:我们可以用欧几里得距离来衡量距离来确定其K个邻居。K近邻算法是一种惰性学习和非参数模型。当训练数据数量庞大,同时你对响应变量和解释变量之间的关系所知甚少时,非参数模型会非常有用。KNN模型只基于一个假设:互相接近的实例拥有类似的响应变量值。

qq_55621259的博客 2780

【Claude Code 源码解析教程】第4章:QueryEngine 查询引擎

本章深入解析 Claude Code 的核心引擎——QueryEngine,它是整个对话系统的"心脏",负责管理会话状态、消息处理流程和多轮对话支持。

rengang66的博客 270

【2026 Science Robotics】Learning realistic lip motions for humanoid face robots

哥伦比亚大学Yuhang Hu团队提出了一种创新方法,通过10自由度软体嘴唇设计和自监督学习算法解决仿人机器人嘴唇动作僵硬问题。研究采用变分自编码器(VAE)和面部动作Transformer(FAT)模型,将语音信号转化为机器人可执行的电机指令。实验表明,该方法在多语言测试中表现优异,用户偏好率达62.5%,显著提升了口型同步的真实感和流畅度。该成果突破了传统机械结构的限制,为跨越"恐怖谷效应"提供了有效解决方案。

志在山顶的人,不会贪念山腰的风景 311

用K-近邻算法分类和回归

import numpy as np from matplotlib import pyplot as plt X_train = np.array([ [158, 64], [170, 66], [183, 84], [191, 80], [155, 49], [163, 59], [180, 67], [158, 54], ...

apollo_miracle的博客 1725

innovus: ccopt_design如何给不同clock设置max_transition

sdc命令的max_trans约束,对应spec里的set_ccopt_property target_max_trans_sdc -delay_corner ss -early/-late -clock_tree xx 0.2。其他的就用set_max_transition 0.5 -clock_path [all_clocks]或者set_ccopt_property target_max_trans 0.5。我正在「拾陆楼」和朋友们讨论有趣的话题,你⼀起来吧?

m0_61544122的博客 178

sklearn机器学习(三)k值近邻算法进行回归拟合

这是第三个,是k值近邻算法的一个示例。 实现其中的回归拟合 以下是生成数据集 import numpy as np import matplotlib.pyplot as plt n_dots=40#数据个数 X=5*np.random.rand(n_dots,1)#生成0-5之间的(40,1)数组 y=np.cos(X).ravel()#生成扁平化之后的(40,)数组 y+=0.2*np.ran...

永远的小白虾的博客 2270

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

上一篇: 第6章 循环神经网络
下一篇: 【回归算法】Lasso回归详解
「已注销」
博客等级 码龄1年 312粉丝 132原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

「已注销」

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值