18、自然语言处理中的词嵌入与语言建模技术

自然语言处理中的词嵌入与语言建模技术

1. Unigram 分词

Unigram 分词是自然语言处理（NLP）中一种重要的分词技术，其工作步骤如下：
1. 从初始的大基础词汇表 V 开始。
2. 重复以下步骤，直到 |V| 的大小达到某个最小阈值：
- I. 使用维特比算法（https://en.wikipedia.org/wiki/Viterbi_algorithm）为语料库中的所有单词找到 l 个最佳分词候选 x*。选择 l 个候选而不是 1 个，可对同一文本采样不同的分词序列，这是一种输入数据增强技术，能为 NLP 算法提供额外的正则化。得到分词后的语料库后，使用期望最大化算法（https://en.wikipedia.org/wiki/Expectation%E2%80%93maximization_algorithm）估计当前分词词汇表 V 中所有分词的概率 P(xi)，xi ∈ V。
- II. 对于每个分词 xi，计算一个特殊的损失函数 lossi，它决定了如果从分词词汇表中移除 xi，语料库的似然性会降低多少。
- III. 按 lossi 对分词进行排序，仅保留前 n%（例如 n = 80）的分词，同时始终保留单个字符以避免出现未知分词。

下面是 Unigram 分词的流程图：

graph TD;
    A[开始：初始词汇表 V] --> B{|V|是否达到最小阈值};
    B -- 否 --> C[使用维特比算法找 l 个最佳分词候选];
    C --> D[用期望最大化算法估计概率];
    D --> E[计