17、线性回归模型优化与拓展

线性回归模型优化与拓展

在机器学习中，线性回归是一种常用的预测模型。然而，对模型的评估和优化是提升其性能的关键步骤。接下来，我们将探讨如何改进模型评估，以及使用不同的回归方法，如套索回归和非线性回归。

改进模型评估

目前模型评估存在数据利用不充分的问题，仅使用约 80%的数据进行训练，且评估指标依赖测试数据能否代表真实世界。为解决这一问题，我们可以采用 k 折交叉验证。

以下是使用线性回归模型进行 k 折交叉验证的具体步骤：
1. 创建新的训练和测试 DataFrames，仅保留 10%的数据用于后续验证：

X_train, X_test, y_train, y_test = train_test_split(features, target, test_size=0.1, random_state=1)

2. 实例化 KFold 和 LinearRegression 对象：

kf = KFold(n_splits=3, shuffle=True, random_state=0)

3. 运行 k 折交叉验证，同时计算 r 平方和平均绝对误差：

scores = cross_validate(ttr, X=X_train, y=y_train, cv=kf, scoring