27、回归分析：从线性到非线性的预测之旅

回归分析：从线性到非线性的预测之旅

1. 回归基础指标

在回归分析中，有几个关键指标用于评估模型的性能。SSE（Sum of Squared Errors）是误差平方和，SST（Total Sum of Squares）是总平方和，计算公式如下：
[SST = \sum_{i=1}^{n}(y^{(i)} - \mu_y)^2]
实际上，SST 就是响应变量的方差。

$R^2$ 是一个重要的评估指标，它实际上是均方误差（MSE）的一种缩放形式，其计算公式推导如下：
[
\begin{align }
R^2 &= 1 - \frac{SSE}{SST}\
&= 1 - \frac{\frac{1}{n}\sum_{i=1}^{n}(y^{(i)} - \hat{y}^{(i)})^2}{\frac{1}{n}\sum_{i=1}^{n}(y^{(i)} - \mu_y)^2}\
&= 1 - \frac{MSE}{Var(y)}
\end{align }
]
对于训练数据集，$R^2$ 的取值范围在 0 到 1 之间，但在测试数据集上可能为负。当 $R^2 = 1$ 时，模型完美拟合数据，对应的 MSE 为 0。

以下代码展示了如何计算训练集和测试集的 $R^2$ 值：

from sklearn.metrics import r2_score
print('R^2 train: %.3f, test: %.3f' % 
      (r2_score(y_t