49、在线软间隔度量学习与基于边的拉普拉斯形状分析

在线软间隔度量学习与基于边的拉普拉斯形状分析

1. 在线软间隔度量学习

传统的约束优化方法在处理所有可用信息时可能存在计算和鲁棒性方面的问题，而在线学习方法为解决这一问题提供了更便捷的途径。

1.1 基本在线学习步骤

在每个步骤 (k)，系统会得到一个特定的模型 ((M_k, b_k))，用于对当前揭示的标记对 (t_k = (x_i, x_j, y_{ij})) 进行预测。具体步骤如下：
1. 使用前一个模型 ((M_k, b_k)) 进行预测，并测量违反特定约束的损失。这里使用铰链损失：
(\ell_H(M, b, t_k) = \max{0, 1 - y_{ij}(b - d_{M_{ij}})})
2. 仅当预测器 ((M_k, b_k)) 失败，即铰链损失大于零 (\ell_H(M_k, b_k, t_k) > 0) 时，系统才会重新训练当前模型。目标是找到与前一个模型最接近且在接收到的对上损失为零的模型 ((\hat{M} {k + 1}, \hat{b} {k + 1}))，这可以表示为以下在线优化问题：
((\hat{M} {k + 1}, \hat{b} {k + 1}) = \arg\min_{M,b} \frac{1}{2}|M - M_k| {Fro}^2 + \frac{1}{2}(b - b_k)^2)
约束条件为 (\ell_H(M, b, t_k) = 0)，其中 (|\cdot| {Fro}) 是弗罗贝尼乌斯范数。
3. 相应的更新公式为：
(\hat{M} {k + 1} = M_k - \