13、预测与分类方法综合解析

预测与分类方法综合解析

1. 多元线性回归

多元线性回归是一种重要的预测方法。它主要用于建立多个自变量与因变量之间的线性关系。

1.1 基本概念

• 解释性建模与预测性建模 ：解释性建模侧重于理解自变量与因变量之间的因果关系，而预测性建模则更关注对因变量的准确预测。
• 回归方程估计与预测 ：通过样本数据估计回归方程的系数，然后利用该方程进行预测。例如，在预测二手丰田卡罗拉汽车价格的例子中，可以根据汽车的里程数、车龄等因素来构建回归方程。

1.2 变量选择

在多元线性回归中，可能会有很多自变量，但并非所有自变量都对因变量有显著影响。因此，需要进行变量选择，以减少预测变量的数量。具体方法如下：
- 减少预测变量的原因 ：减少模型的复杂度，提高预测的准确性和稳定性。
- 减少预测变量的方法 ：例如逐步回归法、岭回归法等。

2. k - 最近邻算法（kNN）

kNN 算法是一种简单而有效的分类和回归方法。

2.1 k - NN 分类器（分类结果）

• 确定邻居 ：计算待分类样本与训练集中所有样本的距离，选择距离最近的 k 个样本作为邻居。
• 分类规则 ：根据 k 个邻居的类别进行投票，将待分类样本归为票数最多的类别。例如，在“割草机”