18、线性回归与支持向量回归：算法原理与实践

线性回归与支持向量回归：算法原理与实践

1. 梯度下降法进行线性回归

1.1 多项式变换与交叉验证

在进行线性回归时，我们可以通过多项式变换来改善模型效果。以土地温度数据集为例，我们进行 k 折交叉验证并计算平均 $R^2$ 值。代码如下：

scores = cross_validate(ttr2, X=X_train, y=y_train,
                        cv=kf, scoring=('r2', 'neg_mean_absolute_error'),
                        n_jobs=1)
scores['test_r2'].mean(), scores['test_neg_mean_absolute_error'].mean()

结果显示，与线性模型相比，$R^2$ 和平均绝对误差都有改善。多项式变换尤其在某些预测变量范围内提升了整体结果，高温下的残差明显降低。当残差表明特征与目标之间可能存在非线性关系时，尝试多项式变换通常是个好主意。

1.2 梯度下降法的实现步骤

1.2.1 加载必要的库

import pandas as pd
import numpy as np
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sk