论文阅读：WiC: the Word-in-Context Dataset for Evaluating Context-Sensitive Meaning Representations

 

WiC: the Word-in-Context Dataset for Evaluating Context-Sensitive Meaning Representations

目录

0 摘要

1 概述

2 word-in-context数据集

2.1 构建

2.1.1 编撰

2.1.2 修改

2.2 质检

2.3 统计

3 实验

3.1 结果

4 相关工作

5 结论

 

0 摘要

词嵌入无法去模拟单词语义的动态性质（即单词对应于潜在不同含义的属性），为了解决这个问题，很多特殊语义表示被提出（比如语义嵌入，上下文嵌入）。但是，对于专门评估单词动态语义的评估基准很少。本文中，表明了，现有的模型已经超过了标准评估数据集的性能上限，数据集：斯坦福上下文单词相似性，并强调了它的缺陷。为了解决缺乏合适的基准问题，我们提出了一个大规模的上下文的单词数据集（WiC）,专家策划的注释，用于上下文语义表示的评估。

1 概述

主流词嵌入的限制在于它的静态性质，即独立于它出现的上下文，所以没办法反应歧义词的动态性质，为了解决这一问题，提出了很多方法，主要分为两类：（1）多原词嵌入：利用上下文聚类来学习单词单个含义得上下文表示（2）上下文的词嵌入：它为给定的单词计算一个动态嵌入，可以使自己适应单词的任意上下文。

这些词嵌入很多人研究，但是评估基准很少。很多模型的评估基准基于单词的相似性的，或者在下游NLP应用中进行影响分析。

WiC提供了多个有趣的特征：

a.适用于评估广泛的技术，包括上下文的单词和语义表示、词义消歧；

b.被定义为二进制分类数据集，在不同语境中，相同的词成对放置；上下文不敏感的嵌入模型在WiC上表现类似于随机基线模型

c.它是使用专家策划的高质量注释构建的

2 word-in-context数据集

目标词w（动词or名词）

两句上下文 c1和c2（包含目