16、基于Spark构建回归模型：性能评估、参数调优与数据转换

基于Spark构建回归模型：性能评估、参数调优与数据转换

1. 回归模型性能评估

在回归模型中，由于目标变量可以取任意实数值，模型很难精确预测目标变量。因此，我们需要使用一些评估指标来衡量预测值与真实值之间的偏差。

1.1 常用评估指标

• 均方误差（Mean Squared Error, MSE） ：是最小二乘法回归中常用的损失函数，计算所有数据点上预测值与实际目标变量差值的平方和，再除以数据点的数量。公式如下：
  [MSE = \frac{1}{n}\sum_{i=1}^{n}(w^Tx^{(i)} - y^{(i)})^2]
  Python代码实现：

def squared_error(actual, pred):
    return (pred - actual)**2

• 均方根误差（Root Mean Squared Error, RMSE） ：是MSE的平方根，与目标变量的单位相同。由于其公式的特性，MSE会更严厉地惩罚较大的误差。
• 平均绝对误差（Mean Absolute Error, MAE） ：是预测值与实际目标值之间绝对差值的平均值，原理上与MSE相似，但对大偏差的惩罚程度较小。Python代码实现：

def abs_error(actual, pred)