15、柯西损失函数：高斯和柯西噪声下的鲁棒性

柯西损失函数：高斯和柯西噪声下的鲁棒性

1. 背景知识

在科学的许多领域，正态或高斯分布是应用最为广泛的分布。基于统计中心极限定理和大数定律，许多科学领域经验数据中的噪声常被建模或假设为高斯分布。在人工神经网络（ANNs）中，最小化均方误差（MSE）损失等同于选择能使高斯模型似然最大化的参数。然而，在实际应用中，这种对高斯性的传统假设往往缺乏依据。当存在对抗性、脉冲噪声成分，尤其是非高斯噪声时，MSE损失会失效，估计向量可能会大幅偏离真实回归平面，异常值对整体估计的影响会无界增加。

稳定分布是对中心极限定理的一种推广，它指出稳定分布是独立同分布随机变量适当归一化和中心化和的唯一可能极限分布。稳定分布家族中，对称稳定分布只有高斯和柯西分布有闭式公式。柯西分布在建模实际噪声和异常值方面比高斯分布更直观，其闭式密度函数使其成为最大似然估计的候选者，基于此提出了柯西损失函数（CLF）：
[L_{CLF} = \frac{c^2}{2} \log \left(1 + \left(\frac{y - \hat{y}}{c}\right)^2\right)]
其中 (c \in (0, \infty)) 是CLF常数，(y) 和 (\hat{y}) 分别是模型的目标输出和实际输出，它们的差值构成残差。CLF的影响函数表明，任何残差对估计的影响都有上限，对于任意大的残差，其影响趋于零，因此CLF在抗噪声方面比MSE更具鲁棒性。

在数据集的分析中，除了考虑加性噪声（高斯或柯西）的影响，还需考虑确定性噪声。在贝叶斯统计模型中，随机过程的信号可分解为结构化的确定性分量和随机的随机分量。未被模型建模的复杂性被视为确定性噪声，即使没有随机噪声，模型也可能无法拟合。