27、模型选择方法全解析

模型选择方法全解析

在数据分析和机器学习领域，模型选择是至关重要的环节，它直接影响到模型的性能和预测效果。本文将详细介绍三种不同的模型选择方法，分别适用于多元线性回归模型、贝叶斯模型以及一般模型。

1. 多元线性回归模型的选择方法

除了 AIC 和 BIC 外，本节讨论的方法专门用于多元线性回归模型，不适用于其他类型的模型。

1.1 R² 和调整后的 R²

• 决定系数（COD） ：也称为 R²，其定义为：
  [R^{2}=\frac{SSR}{SST}=1 - \frac{SSE}{SST}]
  其中，SST（总平方和）、SSR（回归平方和）和 SSE（误差平方和）的计算公式如下：
  [SST = TSS=\sum_{i = 1}^{n}(y_{i}-\bar{y})^{2}=|Y - \bar{Y}|^{2}]
  [SSR = ESS=\sum_{i = 1}^{n}(\hat{y} {i}-\bar{y})^{2}=|\hat{Y}-\bar{Y}|^{2}]
  [SSE = RSS=\sum {i = 1}^{n}(\hat{y} {i}-y {i})^{2}=\sum_{i = 1}^{n}e_{i}^{2}=|\hat{Y}-Y|^{2}]
  这里，(\bar{y}=\frac{1}{n}\sum_{i = 1}^{n}y_{i}) 是预测变量的均值，(e_{i}=\hat{y} {i}-y {i}) 是残差。在文献中，SST 也称为 TSS，SSR 也称为 ESS，SSE 也称为 R