PatrickYangyz的博客

词的表示自然语言处理中，一个首要解决的任务就是如何合理地表示一个词，将其作为模型的输入。要表示一个词，我们所需要表示出的是词的含义，大多数词仅仅是一种标记符（token），我们需要表示出它所指代的语义。此外，我们希望一个好的词表示方法，能够使我们简单地从表示中得到词语之间的相似性与区别性。在每一种语言中，我们可以认为词语的数量是无限的，至少是足够大的，但是，我们相信在存在这样一个N维的空间，空间的维度N会远远小于词的数量，就足以编码出语言中的所有的语义信息，在这个词空间的每个维度编码了某种语义信息，例如