23、低秩在线度量学习方法的评估与比较

低秩在线度量学习方法的评估与比较

1. 评估标准

在评估在线度量学习方法时，我们将低秩在线度量学习方法（OMLLR）与最先进的方法进行了比较，这些方法包括在线学习方法和批量训练方法。评估的准确性定义如下：
[Acc = \frac{#{\text{正确分类的样本}}}{#{\text{样本总数}}}]
对于批量训练方法，根据初始化阶段训练的模型，只能得到一个最终的准确性结果。而对于在线学习方法，由于模型是逐步更新的，其性能会随着迭代而波动，但总体趋势是逐渐改善的。因此，我们采用具有最高准确性的模型进行比较。

对于经典的在线学习方法OASIS和LMNN，选择最高准确率的矩阵用于比较：
- OASIS: (W_{OASIS} = \arg\max_{W_j} Acc(j), j \in {1, \ldots, N})
- LMNN: (W_{LMNN} = \arg\max_{W_j} Acc(j), j \in {1, \ldots, N})

对于我们的OMLLR方法，为了克服每次迭代中的模型波动，提高具有最高准确性的模型的期望，我们采用以下两个标准进行比较：
- Ours1: (W = \frac{\sum_{i=1}^{N} \alpha_i W_i}{\sum_{i=1}^{N} \alpha_i})，其中(\alpha_i = \frac{1}{\sqrt{i}})
- Ours2: (W_{max} = \arg\max_{W_i} Acc(i), i \in {1, \ldots, N})

“Ours1”是模型(W)的期望，理论上保证收敛；“Ours2”与上述OASIS和LMNN的选择方式相