【第四章:大模型（LLM)】01.Embedding is all you need-(6)从 Word2Vec 到推荐/广告系统，再到大语言模型（LLM）

第四章：大模型（LLM）

第一部分：Embedding is all you need

第六节：从 Word2Vec 到推荐/广告系统，再到大语言模型（LLM）

---

一、引言：一切的起点是“向量表达”

在自然语言处理中，词是离散的符号。传统方法使用 One-hot 编码 表示词语，维度高且无法表达词之间的语义关系。
Word2Vec 的出现，标志着从离散符号到稠密向量（Embedding）的里程碑跃迁。

向量化不仅让机器“理解”语言，还为后续推荐系统、广告排序、LLM 模型提供了统一的特征表达方式。Embedding 不仅仅是技术细节，它是现代人工智能表示学习的核心引擎。

---

二、Word2Vec：构建语义空间的起点

1. 基本原理

Word2Vec 包括两个训练目标：

模型	输入	输出预测	特点
CBOW	上下文词	预测当前中心词	适合大语料、高频词建模
Skip-Gram	当前中心词	预测上下文词	适合小语料、低频词建模

2. 模型结构简化解释：

• 词语通过 嵌入矩阵 W 映射为向量；

• 然后计算概率分布（softmax）预测上下文；

• 通过最大化 log-likelihood 进行训练；

• 输出是一个词典中每个词对应的 稠密向量表示（embedding）。

---

三、Embedding 在推荐系统中的应用

1. 核心思想：推荐系统也有“语言”

• 用户行为序列 = 一个句子；

• 商品/内容 = 一个个“词”；

• 用户点击序列中的商品，也可用 Skip-Gram/CBOW 训练模型；

• 得到的商品向量可用于相似度召回或冷启动补全。

2. 实际落地应用

案例1：淘宝推荐系统

• 淘宝构建了商品点击序列，训练 item2vec；

• 相似商品召回性能提升，Cold Start 问题减轻。

案例2：YouTube 推荐系统（Covington et al., 2016）

• 利用用户历史行为 Embedding 得到 user vector；

• 与 candidate item vector 做匹配（点积或 MLP）；

• 多阶段结构（候选召回 + 精排）均用到了 Embedding。

3. 多模态推荐

• 使用文本 Embedding + 图像特征 Embedding；

• 在视觉电商推荐中尤为常见；

• 嵌入空间支持“跨模态”相似度计算。

---

四、广告系统中的Embedding表示

1. 问题背景

广告系统包含大量高维稀疏离散特征：

• 用户属性（性别、年龄、兴趣标签）；

• 广告属性（广告主、品类、关键词）；

• 上下文（时间、设备、APP ID）。

使用 One-hot 编码维度极高，不适合直接进入模型。

2. 嵌入表示方法

• 每个稀疏特征都有一个 Embedding Lookup 表；

• 输入时映射为低维向量（如 16~64 维）；

• 多个 Embedding 向量拼接后进入神经网络。

3. 工程落地模型

模型名称	特点
Wide & Deep	线性模型 + 深层网络；支持记忆与泛化
DeepFM	FM自动建交叉特征 + DNN特征提取
DIN / DIEN	动态兴趣提取模型，基于用户行为序列
AutoInt	注意力机制自动学习特征交叉

---

五、Embedding 到 LLM 的跃迁：统一的语义基础

1. Token Embedding 是 Transformer 的入口

Transformer 模型（如 BERT、GPT）将文本中的 token 映射为向量，这是模型的第一个计算步骤。

• Token → Embedding Lookup；

• 通常与 Position Embedding 相加后输入网络。

2. Positional Embedding

由于 Transformer 没有循环结构，需加位置信息。

• Sinusoidal：固定函数构造；

• Learnable：模型训练时自适应学习。

3. 从静态到动态的语义学习

模型	特点
Word2Vec	静态 Embedding，每个词语唯一向量
BERT	上下文相关的动态向量表示（双向 Transformer）
GPT	利用解码器结构动态生成文本与上下文语义

4. 应用场景迁移

• 推荐系统使用上下文 Embedding 学习用户兴趣；

• LLM 使用多层 Transformer 构造更复杂的上下文依赖；

• 表示学习的思路不变，复杂度和上下文能力大幅提高。

---

六、从Word2Vec到LLM：演进路径总结

阶段	模型	特点与用途
词向量阶段	Word2Vec	学习词的语义空间表示
推荐/广告阶段	item2vec, DeepFM	用户/商品/广告等高维特征低维嵌入
表达式学习阶段	BERT, GPT	上下文相关的动态嵌入，支持复杂推理与生成
多模态通用阶段	CLIP, BLIP	图文联合嵌入，向大模型统一表示演进

---

七、小结：Embedding是AI的语言

从 Word2Vec 到推荐系统、广告排序、再到 GPT、ChatGPT、Gemini 等大语言模型，Embedding 技术一直是连接不同 AI 系统的桥梁。它不仅提升了表示能力，更为理解、推理、生成提供了统一的语义基础。

可以说：

“Embedding is not just a component; it is the soul of modern AI.”