10、回归分析：K近邻与线性回归方法详解

回归分析：K近邻与线性回归方法详解

在机器学习领域，回归分析是一项关键技术，用于预测连续型变量的值。本文将详细介绍两种常见的回归方法：K近邻回归（KNearest Neighbors Regression）和线性回归模型（Linear Regression Models），并通过具体的代码示例和实验结果展示它们的应用和性能。

1. K近邻回归

K近邻回归是一种简单而有效的非参数回归方法，它可以用于聚类和回归任务。该算法的基本步骤如下：
1. 考虑特征空间中的实际数据点 ：确定当前要预测的数据点。
2. 计算该数据点与所有其他数据点的距离 ：可以使用欧几里得距离、曼哈顿距离等。
3. 选择K个最近邻的数据点，并计算它们的平均值作为预测值 ：在最后一步中，可以使用加权平均，其中权重是距离的倒数，这样距离更近的点对预测结果的影响更大。

1.1 分析K近邻回归器

为了说明邻居数量对预测的影响，我们将使用一个小数据集进行实验。首先，从Python库中下载一个小数据集，并将其分为训练集和测试集：

import mglearn
X, y = mglearn.datasets.make_wave(n_samples=40)
from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test = train_test_split(X, y, rand