27、回归分析：预测连续目标变量的方法

回归分析：预测连续目标变量的方法

1. 回归评估指标：$R^2$ 与 MSE

在回归分析中，我们常常需要评估模型的性能。其中，$SSE$（误差平方和）和 $SST$（总平方和）是两个重要的指标。$SST$ 实际上就是响应变量的方差，其计算公式为：
$SST = \sum_{i=1}^{n}(y^{(i)} - \mu_y)^2$

而 $R^2$ 指标可以看作是均方误差（MSE）的一种重新缩放形式，其计算公式如下：
$R^2 = 1 - \frac{SSE}{SST} = 1 - \frac{\frac{1}{n}\sum_{i=1}^{n}(y^{(i)} - \hat{y}^{(i)})^2}{\frac{1}{n}\sum_{i=1}^{n}(y^{(i)} - \mu_y)^2} = 1 - \frac{MSE}{Var(y)}$

对于训练数据集，$R^2$ 的取值范围在 0 到 1 之间，但在测试数据集上，$R^2$ 可能为负数。当 $R^2 = 1$ 时，模型能够完美拟合数据，此时对应的 MSE 为 0。

我们可以通过以下代码计算并打印训练集和测试集的 $R^2$ 值：

from sklearn.metrics import r2_score
print('R^2 train: %.3f, test: %.3f' % 
      (r2_score(y_train, y_train_pred), 
       r2_score(y_test, y_test_pred)))

2. 正则化回归方法

为