K近邻回归(KNN回归)详解
本内容专为本科生、研究生梳理,将通俗讲解KNN回归的核心原理、实现流程、实战案例及算法优劣,兼顾理论理解与实际应用。
KNN回归(K-Nearest Neighbors Regression)是一种简单直观的机器学习回归算法,专门用于预测数值型数据(如房价、气温、销售额等),属于非参数估计方法,无需对训练数据做显式建模,仅通过寻找新样本的邻近数据点完成预测。
一、KNN回归基本原理
KNN回归的核心思路可以概括为两步走,用生活中的例子就能轻松理解,核心是“找邻居、算平均”。
- 找邻居:要预测某个新数据点的数值时,先在已有训练数据集中,找到离这个新点最近的K个数据点,这K个点就是新点的“邻居”;
- 求平均值:将这K个邻居的目标值(即要预测的数值型结果)取平均,这个平均值就是新数据点的预测值。
通俗举例:预测新房房价
假设我们有大量已售房子的信息(含地理位置、房价),现在要预测一套新房的价格:
- 第一步:在已售房源中,找到离这套新房地理位置最近的K套房子;
- 第二步:计算这K套房子的平均售价,作为这套新房的预测房价。
二、K值的选择与影响
K值(邻居数量)是KNN回归最核心的超参数,K的大小直接决定模型的预测效果,没有固定的最优K值,需通过实验确定,其对模型的影响如下:
- K值太小(如K=1):预测结果会被单个邻居的数值影响,模型稳定性差,容易出现过拟合(把训练数据的噪声也拟合进去);
- K值太大(如K=100):模型会更稳定,但会纳入很多离新数据点很远的“邻居”,这些点的参考价值低,导致预测精度下降,容易出现欠拟合(无法捕捉数据的局部特征);
- K值的合理选择:通常通过交叉验证(如5折、10折交叉验证)做实验,找到能平衡模型偏差和方差的最优K值。
三、KNN回归原理深度解析
这部分是本、研究生需要掌握的核心理论,包含数据表示、距离度量、预测值计算三个关键模块。
1. 基本思想与数据表示
设训练数据集为D={(x1,y1),(x2,y2),...,(xN,yN)}D=\left\{\left(x_{1}, y_{1}\right),\left(x_{2}, y_{2}\right), ...,\left(x_{N}, y_{N}\right)\right\}D={(x1,y1),(x2,y2),...,(xN,yN)},其中:
- xi∈Rdx_{i} \in \mathbb{R}^{d}xi∈Rd:第iii个样本的输入特征向量,ddd为特征的维度(比如房价预测中,维度就是面积、房龄、楼层等特征的数量);
- yi∈Ry_{i} \in \mathbb{R}yi∈R:第iii个样本对应的目标值(即要预测的数值);
- NNN:训练数据集的样本总数。
对于一个待预测的新样本x∗x^{*}x∗,KNN回归的核心思想是:按某种距离度量,在训练集中找到x∗x^{*}x∗的K个最近邻,再通过这些邻居的目标值计算x∗x^{*}x∗的预测值。
2. 距离度量:判断“远近”的标准
要找“最近邻”,首先要定义样本间的“距离”,距离越小表示样本越相似。KNN回归中常用的距离度量有三种,欧氏距离是最常用的。
(1)欧氏距离(欧式距离)
即我们日常理解的“直线距离”,公式为:
d(xi,xj)=∑m=1d(xim−xjm)2d\left(x_{i}, x_{j}\right)=\sqrt{\sum_{m=1}^{d}\left(x_{i m}-x_{j m}\right)^{2}}d(xi,xj)=m=1∑d(xim−xjm)2
其中ximx_{im}xim表示第iii个样本的第mmm个特征,xjmx_{jm}xjm表示第jjj个样本的第mmm个特征。
(2)曼哈顿距离
也叫“城市街区距离”,适合描述在网格状空间中的移动距离,公式为:
d(xi,xj)=∑m=1d∣xim−xjm∣d\left(x_{i}, x_{j}\right)=\sum_{m=1}^{d}\left|x_{i m}-x_{j m}\right|d(xi,xj)=m=1∑d∣xim−xjm∣
(3)闵可夫斯基距离
是欧氏距离和曼哈顿距离的通用形式,公式为:
d(xi,xj)=(∑m=1d∣xim−xjm∣p)1pd\left(x_{i}, x_{j}\right)=\left(\sum_{m=1}^{d}\left|x_{i m}-x_{j m}\right|^{p}\right)^{\frac{1}{p}}d(xi,xj)=(m=1∑d∣xim−xjm∣p)p1
- 当p=2p=2p=2时,闵可夫斯基距离就是欧氏距离;
- 当p=1p=1p=1时,闵可夫斯基距离就是曼哈顿距离。
3. 预测值的计算方法
找到K个最近邻后,有三种常用的预测值计算方式,核心区别是是否给不同邻居赋予不同的权重,离新样本越近的邻居,理论上参考价值越高。
(1)直接均值(最基础)
所有K个邻居的权重相同,直接取算术平均,公式为:
y^(x∗)=1K∑i=1Kyi\hat{y}\left(x^{*}\right)=\frac{1}{K} \sum_{i=1}^{K} y_{i}y^(x∗)=K1i=1∑Kyi
其中y^(x∗)\hat{y}(x^*)y^(x∗)是新样本x∗x^*x∗的预测值,yiy_iyi是第iii个最近邻的目标值。
(2)距离加权均值(最常用)
让离新样本越近的邻居权重越大,权重与距离成倒数关系,公式为:
y^(x∗)=∑i=1Kwiyi∑i=1Kwi\hat{y}\left(x^{*}\right)=\frac{\sum_{i=1}^{K} w_{i} y_{i}}{\sum_{i=1}^{K} w_{i}}y^(x∗)=∑i=1Kwi∑i=1Kwiyi
其中权重wiw_iwi的计算方式为:
wi=1d(x∗,xi)+ϵw_{i}=\frac{1}{d\left(x^{*}, x_{i}\right)+\epsilon}wi=d(x∗,xi)+ϵ1
ϵ\epsilonϵ是一个极小的正数,目的是防止分母为0(避免新样本和某个邻居的距离为0时,权重无意义)。
(3)高斯核加权
用高斯核函数给邻居赋权,离新样本越近,权重衰减得越快,公式为:
wi=exp(−d(x∗,xi)22σ2)w_{i}=exp \left(-\frac{d\left(x^{*}, x_{i}\right)^{2}}{2 \sigma^{2}}\right)wi=exp(−2σ2d(x∗,xi)2)
适合对“近邻的参考价值”要求更高的场景。
四、KNN回归的误差分析:偏差-方差分解
本、研究生需要理解模型的误差来源,KNN回归的总误差可分解为偏差平方和方差,这也是解释K值影响的理论依据。
1. 数据分布假设
假设真实的数据关系为:y=f(x)+ϵy=f(x)+\epsilony=f(x)+ϵ,其中:
- f(x)f(x)f(x):数据的真实函数(我们无法直接获取);
- ϵ∼N(0,σ2)\epsilon \sim \mathcal{N}\left(0, \sigma^{2}\right)ϵ∼N(0,σ2):随机噪声,服从均值为0、方差为σ2\sigma^2σ2的高斯分布。
2. 误差分解公式
KNN回归的预测值为f^(x)=1K∑i=1Kyi\hat{f}(x)=\frac{1}{K} \sum_{i=1}^{K} y_{i}f^(x)=K1∑i=1Kyi,其总误差满足:
Error=Bias2+Var=O(1K2)+O(1K)Error =Bias^{2}+Var=O\left(\frac{1}{K^{2}}\right)+O\left(\frac{1}{K}\right)Error=Bias2+Var=O(K21)+O(K1)
其中:
- 方差(Var):描述模型在不同训练集上的预测结果波动程度,Var(f^)=σ2KVar(\hat{f})=\frac{\sigma^{2}}{K}Var(f^)=Kσ2,K越小,方差越大(模型越不稳定,过拟合);
- 偏差(Bias):描述模型的预测值与真实函数的偏离程度,Bias(f^)=f(x)−E[f^(x)]=O(1K)Bias(\hat{f})=f(x)-\mathbb{E}[\hat{f}(x)]=O\left(\frac{1}{K}\right)Bias(f^)=f(x)−E[f^(x)]=O(K1),K越大,偏差越大(模型越粗糙,欠拟合)。
简单来说:K值的调整,本质是在模型的偏差和方差之间做权衡。
五、KNN回归的标准算法流程
KNN回归的实现步骤固定,输入输出明确,本、研究生可按此流程实现算法,步骤如下:
输入
- 训练数据集D=(x1,y1),(x2,y2),...,(xN,yN)D={(x_{1}, y_{1}),(x_{2}, y_{2}), ...,(x_{N}, y_{N})}D=(x1,y1),(x2,y2),...,(xN,yN);
- 待预测的新样本x∗x^{*}x∗;
- 选定的邻居数KKK;
- 距离度量方式(如欧氏距离);
- 预测值计算策略(直接均值、加权均值等)。
步骤
- 计算距离:计算新样本x∗x^*x∗与训练集中所有样本的距离(按选定的度量方式);
- 选择最近邻:从训练集中选取距离最小的K个样本,作为x∗x^*x∗的K个近邻;
- 计算预测值:按选定的策略,计算K个近邻目标值的均值,得到y^(x∗)\hat{y}(x^*)y^(x∗);
- 直接均值:y^(x∗)=1K∑i=1Kyi\hat{y}\left(x^{*}\right)=\frac{1}{K} \sum_{i=1}^{K} y_{i}y^(x∗)=K1∑i=1Kyi;
- 加权均值:y^(x∗)=∑i=1Kwiyi∑i=1Kwi\hat{y}\left(x^{*}\right)=\frac{\sum_{i=1}^{K} w_{i} y_{i}}{\sum_{i=1}^{K} w_{i}}y^(x∗)=∑i=1Kwi∑i=1Kwiyi。
- 输出结果:输出新样本的预测值y^(x∗)\hat{y}(x^*)y^(x∗)。
六、KNN回归实战案例:加州房价预测
以加州房价数据集为例,用Python+Scikit-learn实现KNN回归,包含数据处理、超参数优化、模型评估、可视化全流程,代码可直接运行,适合本、研究生动手实践。
案例目标
用KNN回归预测加州房屋的中位数价格,通过网格搜索找到最优K值,评估模型效果。
完整代码(含详细注释)
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
# 导入数据集、模型、评估指标、交叉验证工具
from sklearn.datasets import fetch_california_housing
from sklearn.model_selection import train_test_split, GridSearchCV
from sklearn.neighbors import KNeighborsRegressor
from sklearn.metrics import mean_squared_error, r2_score
from sklearn.preprocessing import StandardScaler # 【新增】导入标准化器
# 设置绘图风格
sns.set_style("whitegrid")
plt.rcParams['font.sans-serif'] = ['SimHei', 'Arial Unicode MS', 'DejaVu Sans'] # 防止中文乱码(如果标题用中文)
plt.rcParams['axes.unicode_minus'] = False
# 1. 加载并查看加州房价数据集
housing = fetch_california_housing(as_frame=True)
data = housing.frame
print("数据集维度(样本数×特征数):", data.shape)
print("数据集所有特征:\n", data.columns)
# 2. 划分特征与目标变量
X = data.drop("MedHouseVal", axis=1)
y = data["MedHouseVal"]
# 3. 划分训练集和测试集(8:2)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
# 【重要步骤】特征标准化 (Standardization)
# KNN 是基于距离的算法,必须对特征进行缩放,否则大数值特征(如 Population)会主导结果
scaler = StandardScaler()
X_train_scaled = scaler.fit_transform(X_train)
X_test_scaled = scaler.transform(X_test)
# 4. 超参数优化:用网格搜索+5折交叉验证找最优K值
knn = KNeighborsRegressor()
param_grid = {'n_neighbors': np.arange(1, 31)}
# 注意:这里使用缩放后的数据 X_train_scaled 进行训练
grid_search = GridSearchCV(knn, param_grid, cv=5, scoring='neg_mean_squared_error', n_jobs=-1)
grid_search.fit(X_train_scaled, y_train)
# 输出最优参数
best_k = grid_search.best_params_['n_neighbors']
best_score = -grid_search.best_score_
print("-" * 30)
print("最优邻居数 k =", best_k)
print("训练集5折交叉验证的最佳均方误差 (MSE) =", best_score)
# 5. 用最优K值训练模型,并在测试集预测
best_knn = grid_search.best_estimator_
# 注意:预测时也必須使用缩放后的测试集数据
best_knn.fit(X_train_scaled, y_train)
y_pred = best_knn.predict(X_test_scaled)
# 6. 计算测试集的模型评估指标
mse = mean_squared_error(y_test, y_pred)
r2 = r2_score(y_test, y_pred)
print("测试集均方误差 (MSE) =", mse)
print("测试集 R2 score =", r2)
print("-" * 30)
# 7. 可视化1:真实值 vs 预测值
plt.figure(figsize=(10, 6))
# edgecolors 用于设置散点边框颜色
plt.scatter(y_test, y_pred, alpha=0.6, color='mediumspringgreen', edgecolors='k', linewidth=0.5)
plt.plot([y_test.min(), y_test.max()], [y_test.min(), y_test.max()], 'r--', lw=2, label='Perfect Fit')
plt.xlabel("True Values", fontsize=14)
plt.ylabel("Predicted Values", fontsize=14)
plt.title("True vs Predicted Values (KNN with Scaling)", fontsize=16)
plt.legend()
plt.tight_layout()
plt.show()
# 8. 可视化2:残差分布
residuals = y_test - y_pred
plt.figure(figsize=(10, 6))
sns.histplot(residuals, bins=50, kde=True, color='hotpink')
plt.xlabel("Residuals (True - Predicted)", fontsize=14)
plt.ylabel("Frequency", fontsize=14)
plt.title("Residual Distribution", fontsize=16)
plt.axvline(0, color='black', linestyle='--', linewidth=1) # 添加0刻度线
plt.tight_layout()
plt.show()
# 9. 可视化3:不同K值对应的均方误差
results = pd.DataFrame(grid_search.cv_results_)
results['mean_test_mse'] = -results['mean_test_score']
# 【修复核心】直接使用 Series 或 .values,不要使用 .data
k_values = results['param_n_neighbors']
mse_values = results['mean_test_mse']
plt.figure(figsize=(12, 6))
plt.plot(k_values, mse_values, marker='o', linestyle='-', color='dodgerblue', linewidth=2, markersize=6)
plt.xlabel("Number of Neighbors (k)", fontsize=14)
plt.ylabel("Mean Squared Error (MSE)", fontsize=14)
plt.title("Grid Search MSE vs k (After Scaling)", fontsize=16)
# 设置x轴刻度,同样去掉 .data
plt.xticks(k_values)
plt.grid(True, linestyle='--', alpha=0.6)
plt.tight_layout()
plt.show()
案例关键步骤解释
- 数据划分:将数据分为训练集(80%)和测试集(20%),避免模型在训练数据上“作弊”,保证评估的客观性;
- 超参数优化:用
GridSearchCV做网格搜索,结合5折交叉验证,在1~30的范围内自动找最优K值,比手动试错更科学; - 模型评估:用MSE(均方误差)和R2分数评估模型,是回归任务的通用指标;
- 可视化分析:通过三张图直观判断模型效果和K值的影响,是科研、实战中必备的分析手段。
案例优化点
- 用网格搜索+交叉验证替代手动选K,提升模型泛化能力;
- 训练集/测试集划分保证模型评估的准确性;
- 多维度可视化,让模型结果更易解读。
七、KNN回归的优缺点
优点
- 简单易懂,易实现:仅需计算样本间距离,无复杂的数学建模,本、研究生可快速上手;
- 非参数方法,适应性强:无需假设数据的分布规律,适用于非线性数据,这是比线性回归的核心优势;
- 适用于局部模式学习:对地理位置、推荐系统等局部特征明显的数据,预测效果好;
- 小数据集表现佳:在小规模数据上训练速度快,可快速实现基准模型(用于和其他复杂模型对比)。
缺点
- 计算量大,预测速度慢:需要存储所有训练数据,预测时要计算新样本与所有训练样本的距离,大数据集上效率极低;
- 受维度灾难影响严重:高维数据中,欧氏距离的区分度会大幅下降(所有样本的距离趋于相等),导致模型失效;
- 对噪声和异常值敏感:KNN依赖距离度量,数据中的异常值会成为“错误的邻居”,显著影响预测结果;
- 模型可解释性差,无概率输出:仅能给出具体的预测值,无法给出预测的置信度,也难以解释“为什么得到这个预测结果”;
- 对特征缩放敏感:量纲不同的特征(如面积:㎡,房价:万元)会导致距离计算偏向量纲大的特征,需先做特征标准化/归一化。
八、KNN回归与其他回归算法的对比
为方便本、研究生在实战中选择合适的回归算法,将KNN回归与线性回归、决策树回归等常用算法做对比,核心从适用场景、优点、缺点三个维度分析。
| 算法 | 适用场景 | 优点 | 缺点 |
|---|---|---|---|
| KNN回归 | 小数据集、非线性数据、局部模式学习(如地理预测) | 易理解、非参数、适应性强、快速实现基准模型 | 计算量大、高维数据效果差、对噪声敏感、可解释性差 |
| 线性回归 | 数据存在明显线性关系的场景 | 计算效率高、可解释性极强、理论成熟 | 仅适用于线性数据,对非线性数据拟合效果差 |
| 决策树回归 | 数据集较大、有明显分段特征的非线性数据 | 处理非线性数据、无需特征缩放、可解释性较强 | 易过拟合、对噪声敏感、预测结果不连续 |
| 随机森林回归 | 大规模数据、多特征的非线性数据 | 抗过拟合、鲁棒性强、处理非线性关系能力优秀 | 计算复杂度较高、模型可解释性差 |
| 支持向量回归(SVR) | 小规模、高维的非线性数据集 | 适用于高维数据、支持核方法、拟合非线性能力强 | 计算复杂度高、对超参数敏感、样本量大时效率低 |
| 神经网络回归 | 大数据、高度非线性关系的复杂回归任务 | 表达能力极强、可拟合复杂数据规律 | 训练时间长、需大量数据、可解释性极差、调参复杂 |
九、KNN回归的适用场景与替代方案
实战中选择算法的核心是匹配数据特点和任务需求,以下为KNN回归的适用场景和需替换其他算法的场景,本、研究生可直接参考。
适合使用KNN回归的情况
- 数据集规模小(样本数<10000条),计算量在可接受范围内;
- 数据为非线性分布,且无法确定数据的分布规律,可将KNN作为基准模型;
- 数据具有明显的局部模式(如地理位置预测、个性化推荐);
- 需快速实现一个简单模型,与其他复杂模型做效果对比。
应选择其他算法的情况
- 数据量大(样本数>10万条):KNN计算效率过低,推荐随机森林回归/决策树回归;
- 数据为高维数据(特征数>50维):KNN受维度灾难影响,推荐SVR/神经网络回归;
- 数据存在明显线性趋势:推荐线性回归/岭回归/套索回归,计算效率更高且可解释性强;
- 对模型可解释性有要求:推荐线性回归/决策树回归;
- 数据中包含较多噪声和异常值:推荐随机森林回归(鲁棒性强);
- 需给出预测的置信度/概率:推荐贝叶斯回归/高斯过程回归。
十、总结
KNN回归是入门级的回归算法,核心优势是简单直观、无需假设数据分布,适合作为本、研究生学习机器学习回归算法的第一个案例,也可在小数据集、非线性数据的场景中作为基准模型使用。
但KNN回归的局限性也很明显:计算效率低、受维度灾难影响、对噪声敏感,因此在大数据集、高维数据、对计算效率/鲁棒性要求高的实战场景中,KNN回归通常不是最优选择,需替换为随机森林、SVR、神经网络等算法。
核心学习要点:本、研究生需掌握KNN回归的距离度量、K值选择、偏差-方差权衡,并能根据数据特点选择合适的回归算法,这是机器学习回归任务的核心能力。
1012



被折叠的 条评论
为什么被折叠?



