12、自然语言处理中的文本表示技术全解析

自然语言处理中的文本表示技术全解析

1. 超越单词的文本表示

在自然语言处理（NLP）中，我们之前学习了使用预训练词嵌入和训练自己的词嵌入，这为词汇表中的单词提供了紧凑而密集的表示。然而，在大多数NLP应用中，我们处理的往往是句子、段落甚至完整文本，而非单个单词。那么，能否利用词嵌入来获得更大文本单元的特征表示呢？

一种简单的方法是将文本拆分为组成单词，获取每个单词的嵌入，然后将它们组合起来形成文本的表示。组合方式有多种，最常见的是求和、求平均等，但这些方法可能无法捕捉文本整体的许多方面，如单词顺序。不过，在实践中它们的效果却很好。例如，在连续词袋模型（CBOW）中，通过对上下文中的词向量求和来表示整个上下文，并用于预测中心词。

以下是使用spaCy库通过对词向量求平均来获取文本向量表示的代码：

import spacy
import en_core_web_sm 

# Load the spacy model. This takes a few seconds.
nlp = en_core_web_sm.load() 

# Process a sentence using the model
doc = nlp("Canada is a large country") 

#Get a vector for individual words
#print(doc[0].vector) #vector for 'Canada', the first word in the text
print(doc.vector) #Averaged vector for the entire sentenc