8、动态任务特定因子在元嵌入中的应用

动态任务特定因子在元嵌入中的应用

一、引言

词嵌入技术彻底改变了自然语言处理（NLP）领域。早期，将词嵌入到固定维度的向量空间是一种简化的表示方法。与基于计数的稀疏高维词表示方法不同，基于预测的密集低维分布式词表示在众多NLP任务中取得了令人瞩目的性能。

然而，不同的词嵌入在不同任务中的表现差异显著，近年来，“元嵌入”技术逐渐受到关注，它通过组合不同的现有词嵌入来创建新的嵌入，捕捉词汇语义的互补方面。但元嵌入研究存在两个问题：一是通常在单独的预处理步骤中创建，而非动态适应任务；二是难以获得不同嵌入的合适权重。

为解决获取合适权重的问题，我们提出将动态任务特定因子引入元嵌入（DTFME），结合因式分解操作和池化机制。任务特定因子会计算每个嵌入的元素对交互，而不仅仅是简单的线性回归，且每个因子的参数会在训练整个模型时学习。此外，动态任务特定因子可以在线性时间内高效计算，不会增加元嵌入的复杂性。

我们的工作贡献如下：
1. 引入动态任务特定因子到元嵌入（DTFME）中，用于计算不同嵌入集的合适权重。
2. 利用因式分解操作和池化机制，可在线性时间内高效计算，不增加元嵌入的复杂性。
3. 在句子表示任务上评估DTFME的性能，实验表明该方法在多个基准数据集上优于先前的工作。

二、相关工作

词嵌入在NLP领域应用广泛，此前有很多关于学习和应用词嵌入的研究，我们主要关注将多个嵌入组合用于下游任务的工作。
- 有研究学习结合词级和字符级嵌入，也有将上下文表示用于神经机器翻译，如学习上下文词向量并应用于其他任务，或学习上下文相关表示以解决机器翻译中的歧义问题。
- 神经张量跳跃图模型