25、无监督跨语言句子表示学习与Coppersmith算法安全外包方案

无监督跨语言句子表示学习与Coppersmith算法安全外包方案

1. 无监督跨语言句子表示学习

在自然语言处理中，跨语言句子表示学习是一个重要的研究方向。它旨在学习一种能够将不同语言的句子映射到同一向量空间的表示方法，从而实现跨语言的信息处理和交流。

1.1 跨语言句子模型

为了利用上下文信息，我们通常会根据给定的句子预测其附近的句子。我们将这一思想扩展到跨语言环境中，设计了一个跨语言句子模型，将其作为一个分类问题，用于估计一种语言的句子是否能够预测另一种语言的上下文。

具体来说，给定一个跨语言句子对 $(s_l^{p_i}, s_m^{p_i})$，我们将 $s_l^{p_i}$ 在其原始上下文 $C_q(s_l^{p_i})$ 中替换为 $s_m^{p_i}$，然后将 $s_m^{p_i}$ 和 $C_q(s_l^{p_i})$ 拼接成一个正例，记为 $C_P^l_i$。同时，我们随机采样一些 $C_q(s_l^{t})$（其中 $t \neq p_i$，即它们不是平行的），并将 $s_l^{t}$ 替换为 $s_m^{p_i}$，将它们的上下文与 $s_m^{p_i}$ 拼接成负例，记为 $C_N^l_i$。对于语言 $m$ 也是如此，这样我们就得到了一个分类数据集：
$T = {(C_P^l_1, 1), …, (C_N^l_1, 0), …, (C_P^m_1, 1), …, (C_N^m_{p_1}, 0), …}$

为了训练这个模型，我们在这些拼接句子的向量上设计了一个分类器 $C_L$。需要注意的是，$C_L$ 是一个线性分类器，因为我们希望将大部分工作放在句子编码器 $E$ 上，而不是分类器上。训练目标由以