Sentence Meta-Embeddings for Unsupervised Semantic Textual Similarity

Abstract

• 我们通过将不同的预训练 sentence encoders 集成到 sentence meta-embeddings 中，来解决无监督 STS 任务。
• 我们尝试在句子级别上应用、扩展和评估了来自 word embedding 文献的 meta-embedding 方法，包括:
  • dimensionality reduction
  • generalized Canonical Correlation Analysis
  • cross-view auto-encoders.

我们的 sentence meta-embeddings 方法在 STS Benchmark 以及 STS12–STS16 上成为了新的无监督 SOTA，相比于 single-source systems 带来了 3.7% 到 6.4% 的 Pearson 相关系数提升。

1 Introduction

在词嵌入上应用元学习的效果超过了 single-source 词嵌入的效果，其原因可能是融合了各个组成部分的互补优势。

最近的研究热点是预训练通用的句编码器，即将句子的各种不同的语言特征编码进一个固定大小的向量。由于各种句编码器在网络结构和训练数据上各有不同，我们假设他们是可以优势互补的因而可以从 meta-embedding 中受益。

为了验证这个假设，我们采用了一些来自