28、鲁棒神经网络学习与标签噪声处理新方法

鲁棒神经网络学习与标签噪声处理新方法

1. 鲁棒神经网络学习的新途径

1.1 M - 平均函数的定义

为了定义 M - 平均函数，我们考虑如下形式的惩罚函数：
[P(z_1, \ldots, z_N, u) = \sum_{k = 1}^{N} \rho(z_k, u)]
其中，(\rho(z, u)) 是一个相异度函数。若 (\rho(z, u) = g(h(z) - h(u)))，这里 (g) 是非负且凸的，(g(0) = 0) 并且 (h) 是可逆单调函数，那么 (M_P) 就是平均聚合函数，我们将基于此的 M - 平均函数记为 (M_{\rho}) AF。M - 平均函数是一个足够广泛的类别，可用于计算平均值。

1.2 经验 M - 风险最小化原则

设 (M_{\rho}) 是某个 M - 平均函数，我们基于它定义经验 M - 风险如下：
[ER_{\rho}(w) = M_{\rho}(\ell_1(w), \ldots, \ell_N(w))]
经典的经验风险是上述公式的一个特殊情况，当 (M_{\rho}) 为算术平均值时。为了最小化 M - 风险，我们需要找到最优参数集 (w^ )，使得：
[ER_{\rho}(w^ ) = \min_{w} M_{\rho}(\ell_1(w), \ldots, \ell_N(w))]
该方法已被应用于确定聚合函数。在回归问题中，为了估计均方误差，由于中位数是均值的鲁棒估计器，所以常被使用。在支持向量机（SVM）的鲁棒版本中，中位数和 (\alpha) - 分位数被用于估计平均损失。

若 (\rho(