【LLM理论学习】稀疏特征 vs 稠密 embedding

从 BoW 到 LLM Embedding 的一次“表示革命”

​ 在自然语言处理（NLP）领域，特征表示方式的演进，几乎决定了模型能力的上限。

​ 从最早的 Bag of Words（BoW），到 Word2Vec / GloVe，再到今天大规模语言模型（LLM）的 高维稠密 embedding，我们并不是简单地“换了一种向量”，而是完成了一次从显式统计到隐式分布建模的范式迁移。

一、BoW 与现代 Embedding 的数学差异

​ 从数学视角来看，BoW 与现代 embedding 在空间结构、信息密度、表达能力上存在本质差异。

• BoW 特征的核心属性

  ​ BoW 本质上是对文本进行离散统计建模：

  • 高维（词表大小级别）
  • 极度稀疏
  • 基于词频的显式统计特征
  • 每一维都有清晰语义含义

• 现代 Embedding 的核心属性

  以 Word2Vec / LLM embedding 为代表：

  • 低维或中等维度
  • 稠密连续向量
  • 隐式学习语言分布
  • 向量维度不再可直观解释

1.1 特征空间对比

表示方式	维度范围	稀疏性	是否可解释
BoW	10⁴ – 10⁶	极稀疏	✅ 强解释性
Word2Vec	100 – 300	稠密	❌ 弱
LLM Embedding	768 – 8192	稠密	❌ 极弱

• BoW 是可解释机器学习（Interpretable ML）的典型代表
• Embedding 更关注表达能力，而非人类可读性

1.2 显式统计 vs 隐式分布建模

​ 从数学形式上看，两者的差异非常直观。

(1) BoW：显式统计特征

$$\text{BoW: }\mathbf{x}\in {\mathbb{R}}^{|V|}$$

​ 其中，$|V|$表示词表的大小。

• 因为BoW 的核心假设是：文本可以被表示为“词表上各词项出现情况的统计结果”。

• 为此，我们首先固定一个词表：
  V={w1,w2,…,w∣V∣} V = \{w_1, w_2, \dots, w_{|V|}\} V={w1​,w2​,…,w∣V∣​}
  其中，每一维对应词表中的一个词。

• 随后，对任意一段文本$d$，构造一个向量：
  $${\mathbf{x}}_d=(x_1,x_2,\cdots ,x_{\mid V\mid })$$
  这里，$x_i$表示词$w_i$在文本$d$中的出现次数（或其加权形式，如 TF / TF-IDF）

• 关键在于：

  • 每一个词项$w_i$被映射到一个固定且唯一的坐标轴
  • 文本中是否出现该词，只影响对应维度的取值
  • 不同词项之间 没有共享维度，也没有连续结构

  因此，文本表示本质上是：在词表张成的坐标系中，对文本做一次计数或加权投影

• “这个词是否出现、出现了多少次”是直接可见的。 我们能够看到的，就是模型用到的。

(2) Embedding：隐式语言分布建模

$$\text{Embedding: }\mathbf{x}\in {\mathbb{R}}^d,d\ll |V|$$

​ Embedding 的出发点与 BoW 完全不同：它并不试图显式记录“每个词出现了多少次”，而是希望用有限维度刻画词或文本在语言分布中的位置。

• 为什么可以是低维${\mathbb{R}}^d$？

  Embedding 基于一个核心假设（distributional hypothesis）：词的语义由其上下文分布决定。

  在训练过程中，模型并不关心单个词项本身，而是通过预测上下文、最小化语言建模目标，自动学习一组能够最好地刻画共现结构的连续向量坐标系。

  结果是：

  • 向量维度 不再与词表一一对应
  • 每一维代表一个不可直接命名的潜在语义因子
  • 这些维度是通过优化目标共同塑造出来的

  因此，文本或词被映射为：$\mathbf{x}\in {\mathbb{R}}^d$

  其中，$d$是足以表达语言分布结构的最小有效维度，而非词表大小。

• **语义从“统计量”变成了“几何关系” **

​ 在 embedding 空间中，距离刻画语义相似度，方向编码语义偏移（如性别、时态、语域），子空间承载更高阶语义结构。

​ 语义不再以“某个词是否出现”的形式存在，而是隐含在向量之间的相对几何关系中。

​ 语义是被编码进空间结构里的，而不是被显式标注在维度上的。

• 与 BoW 的本质对照

  • BoW：一词一轴，语义是显式的、离散的
  • Embedding：多词共轴，语义是隐式的、连续的

  这正是 embedding 能在低维空间中承载复杂语义的根本原因。

二、工程实践建议：什么时候仍然应该用 BoW？

​ 尽管 Embedding 在效果上几乎“碾压”传统方法，但在真实工程环境中，BoW 仍然远未过时。

2.1 强烈推荐 BoW 的场景

• 小数据集（<100k）

• 低延迟在线系统

• 可解释性要求高

  • 金融风控
  • 医疗辅助决策

• CPU-only/资源受限环境

• baseline/对照 实验

  在这些场景中，BoW + 线性模型往往是最稳、最快、最容易落地的方案

2.2 不适合 BoW 的场景

• 长文本语义理解

• 多轮对话建模

• 推理型任务

• 复杂语义匹配/语义检索

  一旦任务开始依赖上下文、隐含语义或推理能力，BoW 的表达瓶颈会迅速暴露。

总结

​ BoW 和 Embedding 的差异，并不在于“新旧”， 而在于它们对语言本质的不同建模假设。

​ BoW 将语言视为可枚举的符号统计，Embedding 则试图在连续空间中刻画语言分布结构。

​ 理解这一点，比记住任何模型结构都更重要。