8、自然语言处理中的文本表示与浅层解析技术

自然语言处理中的文本表示与浅层解析技术

文本表示的重要性与发展历程

文本表示是自然语言处理（NLP）的首要步骤，其核心在于为句子赋予归属，即有效句子应具备有效的表示。由于歧义性是NLP的核心问题，因此表示学习的一个重要目标是创建能够捕捉文本含义的表示。NLP的三代发展在表示学习方面采用了不同的方法：
- 第一代 ：运用基于语法的方法来表示句子。能够通过语法生成的句子被视为有效句子。
- 第二代 ：使用独热向量和概率语言模型来预测句子的归属。句子的概率取决于句子中单词的顺序。
- 第三代 ：利用神经模型生成表示。词嵌入表示可以使用从神经模型中学到的密集向量来捕捉单词的语义。

最终，像BERT这样的神经语言模型在表示学习和各种NLP任务的应用方面带来了革命性的变化。这些模型可以通过自监督进行预训练，并使用从Transformer派生的架构针对特定任务进行微调。

XLNet语言模型

BERT由于其基于注意力的机制能够捕捉双向上下文，但[MASK]标记在学习过程中会引入噪声，并且在测试时这些标记并不存在。相比之下，自回归语言建模（如n - gram语言建模）依赖文本的线性结构，利用从左到右的上下文，无法利用句子中从右到左的上下文。

XLNet结合了这两种策略的优势，它引入了“基于排列的语言建模”的概念。基于排列的语言建模在XLNet中的实现包括两个步骤：
1. 采样分解顺序 ：这是句子中单词位置的一个序列。
2. 按分解顺序分解