【机器学习】鲁棒（健壮）回归-Huber损失（Huber Loss）

最新推荐文章于 2025-10-20 23:23:27 发布

原创最新推荐文章于 2025-10-20 23:23:27 发布 · 2.2k 阅读

10 ·

CC 4.0 BY-SA版权

文章标签：

#机器学习 #回归 #人工智能

机器学习专栏收录该内容

104 篇文章

订阅专栏

Huber损失是一种对异常值（outliers）具有鲁棒性的损失函数，它在处理回归问题时常用，结合了均方误差（MSE）的平滑性和平均绝对误差（MAE）的鲁棒性。

Huber损失通过引入一个阈值 $\delta$ 来定义，当误差小于 $\delta$ 时采用 MSE，当误差大于 $\delta$ 时采用 MAE。

定义公式

Huber损失的数学表达式如下：

$L_{\delta}(a) = \begin{cases} \frac{1}{2}a^2 & \text{if } |a| \leq \delta \\ \delta \cdot (|a| - \frac{\delta}{2}) & \text{if } |a| > \delta \end{cases}$

其中：

a = y - f(x) 是预测值 f(x) 和真实值 y 的残差。
$\delta$ 是用户定义的超参数，控制 MSE 和 MAE 的切换点。

特点：

对于 $|a| \leq \delta$ ：Huber损失是二次函数，类似 MSE，强调小残差的平滑优化。
对于 $|a| > \delta$ ：Huber损失是线性函数，类似 MAE，减轻了离群点对损失值的影响。

Huber损失的梯度

小误差（ $|a| \leq \delta$ ) 梯度为：
$\frac{\partial L_{\delta}}{\partial a} = a$
大误差（ $|a| > \delta$ ) 梯度为：
$\frac{\partial L_{\delta}}{\partial a} = \delta \cdot \text{sign}(a)$

优缺点

优点：

对小误差采用 MSE，确保了模型的平滑性和稳定性。
对大误差采用 MAE，降低了离群点对整体模型的影响。

缺点：

超参数 δ\deltaδ 的选择对模型性能影响较大，需要调优。
计算复杂度比单纯的 MSE 和 MAE 略高。

Python实现：Huber损失

以下是 Huber 损失的简单实现：

import numpy as np
import matplotlib.pyplot as plt

# Huber损失函数
def huber_loss(y_true, y_pred, delta):
    error = y_true - y_pred
    loss = np.where(np.abs(error) <= delta,
                    0.5 * error**2,
                    delta * (np.abs(error) - 0.5 * delta))
    return loss

# 示例数据
y_true = np.array([1, 2, 3, 4, 5])
y_pred = np.array([1.1, 1.9, 3.5, 2.5, 10])
delta = 1.0

# 计算Huber损失
loss = huber_loss(y_true, y_pred, delta)
print("Huber损失:", loss)
print("总损失:", np.sum(loss))

# 可视化损失函数
errors = np.linspace(-5, 5, 100)
losses = huber_loss(0, errors, delta)

plt.plot(errors, losses, label="Huber Loss")
plt.axvline(x=delta, color="red", linestyle="--", label=f"Delta = {delta}")
plt.axvline(x=-delta, color="red", linestyle="--")
plt.title("Huber Loss Function")
plt.xlabel("Error")
plt.ylabel("Loss")
plt.legend()
plt.show()

输出结果

打印每个数据点的 Huber 损失值和总损失。

Huber损失: [0.005 0.005 0.125 1.    4.5  ]
总损失: 5.635

图形显示 Huber 损失函数的形状，包括在 δ\deltaδ 附近的平滑过渡。

Huber损失的应用

回归模型优化： Huber损失常用于带有异常值的回归问题，尤其在训练时数据中包含离群点。
鲁棒优化：
- 在神经网络中作为损失函数，用于对异常样本具有鲁棒性的训练。
- 替代 MSE 或 MAE，平衡两者的优缺点。
机器学习框架：诸如 TensorFlow 和 PyTorch 等深度学习框架中，都提供了 Huber 损失的实现。

Huber损失的变体

Pseudo-Huber损失：一种平滑的近似版本，用于优化过程中避免梯度不连续的问题。公式为：
$L(a) = \delta^2 \left( \sqrt{1 + \left(\frac{a}{\delta}\right)^2} - 1 \right)$
自适应Huber损失：动态调整 $\delta$ 值，根据数据特性自适应地减少离群点的影响。