21、自然语言处理中的语义相似性与词嵌入技术

自然语言处理中的语义相似性与词嵌入技术

1. 引言

在自然语言处理（NLP）的情感分析任务中，如何有效地表示单词并提取语义信息是关键问题。传统的基于词频统计的方法在处理语义相似性时存在局限性，因此需要更先进的词嵌入技术。

2. 传统方法的局限性

在电影评论的情感分析中，积极和消极评论的词频统计没有明显差异。可以通过人工知识和启发式方法进一步清理数据集，去除一些中性词，如“film”“movie”等，但这种监督式的特征工程方法耗时且难以扩展到其他语言。

3. 神经词嵌入基础

• 术语定义 ：
  • 语料库（corpus） ：要处理的文本主体，如电影评论数据集中的所有评论。
  • 词汇表（vocabulary） ：语料库中的所有单词。
  • 词嵌入（word embeddings） ：也称为词向量或分布式表示，是对单词的密集表示，能够编码语义信息。通过神经网络学习得到的词嵌入称为神经词嵌入。

4. 独热编码（One - hot Encoding）

• 表示方法 ：假设语料库的词汇表中有 $V$ 个单词，每个单词用一个长度为 $V$ 的向量表示，向量中只有对应单词索引位置的值为 1，其余为 0。例如，对于短语“movie is a masterpiece”，每个单词的独热