4、机器学习中的K近邻与线性模型

机器学习中的K近邻与线性模型

在机器学习领域，不同的算法有着各自的特点和适用场景。本文将详细介绍K近邻算法和线性模型，包括它们的原理、实现以及优缺点。

1. 数据集介绍

首先，我们来看一些常用的数据集。以波士顿房价数据集为例，可以使用以下代码加载：

from sklearn.datasets import load_boston
boston = load_boston()
print(boston.data.shape)

输出结果为 (506, 13) ，这表示数据集有506个样本，每个样本有13个特征。

为了扩展数据集，我们不仅考虑这13个测量值作为输入特征，还会考虑特征之间的所有乘积（也称为交互项）。可以使用 load_extended_boston 函数加载扩展后的数据集：

import mglearn
X, y = mglearn.datasets.load_extended_boston()
print(X.shape)

输出结果为 (506, 105) ，这105个特征包括13个原始特征、从13个特征中选2个的组合（共91个）以及一个常数特征。

2. K近邻算法

K近邻（k-Nearest Neighbors，kNN）算法是一种简单的机器学习算法。其基本思想是：构建模型时只需存储训练数据集，对于新的