预训练模型语义相似性计算(四)--SimCSE

原创

已于 2022-04-21 21:27:46 修改 · 2.9k 阅读

8 ·

CC 4.0 BY-SA版权

文章标签：

#自然语言处理 #深度学习

于 2021-06-15 23:03:26 首次发布

本文介绍了SimCSE，一种基于对比学习的无监督句子表示模型，该模型在语义相似度任务上超越了有监督方法。作者探讨了SimCSE如何利用dropoutmask构造相似样本，以及它在不同预训练模型上的表现。实验结果显示，SimCSE在无标注数据场景下表现出色，但在特定业务应用中，结合标注数据和增强交互计算的方法能进一步提升效果。此外，文中提到了在中文任务上SimCSE的实验，并展望了未来可能的改进方向，如使用poly_encoder和keyword-BERT等技术。

接着之前的句向量表示模型进行相似句计算的方法，这篇接着介绍一种新的方法-SimCSE。文章来自普林斯顿陈丹琦，引入了对比学习的思想进行sentence embedding的学习，刷爆了无监督与有监督语义相似度计算任务，成为SOTA，甚至本文的无监督方法超过了其他有监督方法的效果，还是很惊艳的。对比学习的思想是拉近相似样本，推开不相似的样本。相似样本的构造经过实验比较采用了dropout mask的方法。

之前的sentence embedding的方法主要是前面介绍的SBERT(孪生网络的形式)和对生成的向量进行分布归整的方法:bert-flow等。对比学习的目标就是学习一个优质的语义表示空间，使用alignment(对齐)和uniformity(均匀)来衡量效果。对齐这个指标和句向量相似的衡量一致，而均匀这个指标就是bert-flow中向量均匀分布的要求一致。

论文：https://arxiv.org/abs/2104.08821

解读：SimCSE: Simple Contrastive Learning of Sentence Embeddings - 知乎

代码：G