24、线性回归算法的优化与调整

线性回归算法的优化与调整

1. 算法调整与均方根误差（RMSE）

在算法调整过程中，我们发现步长对均方根误差（RMSE）有显著影响。当步长为 1.3 时，RMSE 急剧增大；而步长为 1.1 时，能得到较好的结果，误差值比之前更低。最佳 RMSE 为 3.9836（400 次迭代时），优于之前的 4.776。这表明添加高阶多项式有助于线性回归算法找到性能更优的模型。

为了进一步探究，我们增加迭代次数（使用最佳步长 1.1）：

iterateLRwSGD(Array(200, 400, 800, 1000, 3000, 6000), Array(1.1), trainHPScaled, validHPScaled)

结果如下：
| 迭代次数 | 步长 | 训练 RMSE | 测试 RMSE |
| ---- | ---- | ---- | ---- |
| 200 | 1.100 | 4.1605 | 4.0108 |
| 400 | 1.100 | 4.0378 | 3.9836 |
| 800 | 1.100 | 3.9438 | 3.9901 |
| 1000 | 1.100 | 3.9199 | 3.9982 |
| 3000 | 1.100 | 3.8332 | 4.0633 |
| 6000 | 1.100 | 3.7915 | 4.1138 |

可以看到，随着迭代次数增加，测试 RMSE 开始上升。这就引出了两个问题：应该选择哪个步长？RMSE 为何会上升？

<