小白程序员必看：Transformer输入词嵌入深度解析，收藏这份学习笔记！

本文从Transformer架构的核心组件——输入词嵌入入手，深入浅出地讲解了词表构建、词嵌入矩阵生成及其正态分布特征。文章通过实例展示了词嵌入维度与语义理解能力的关系，并对比了Word2Vec、BERT、GPT等模型在嵌入维度上的演进。高维词向量能够捕捉更复杂的语义联系，为理解文本含义提供了坚实基础。对于想要入门大模型的小白程序员来说，本文提供了宝贵的理论基础和实践指导，值得收藏学习。

一、词表

在正式探讨输入词嵌入之前，首先要讲一下词表的概念，在经典 Transformer（以及绝大多数基于 Token 的 NLP 模型）中，词表都是模型架构的“地基”。

词表是一个离散的映射表，它包含了模型在训练前通过分词算法从海量语料中统计归纳出的所有Token（中文公认的翻译为词元）。每个Token对应一个唯一的整数编号。词表内容在模型训练开始前就已确定，本身并不包含可学习的参数。

词表的大小是模型的一个关键超参数，它决定了模型能直接识别与表达的“词汇”总量。如果没有预先定义好的词表，输入嵌入层（Input Embedding Layer）就无法构建，模型也就无法初始化。

我们可以请大模型生成一个查询GPT-4词表的程序：

# pip install tiktoken   # 先安装
import tiktoken
# ① 选择对应模型的 tokenizer
enc = tiktoken.encoding_for_model("gpt-4")          # GPT‑4
# enc = tiktoken.encoding_for_model("gpt-3.5-turbo")  # GPT‑3.5
# ② 查看词表大小
vocab_size = len(enc._mergeable_ranks)   # 私有属性，但公开可用
print("词表大小（Token 数）:", vocab_size)   # 约 100,000
# ③ 列出前 N 条（示例 20 条）词表内容
for i, token in enumerate(enc._mergeable_ranks.keys()):
#if i >= 20: break
print(i, "->", token)

经过相当长的一段时间的等待，我们就可以查看GPT-4的词表长度100256（100K），token的顺序编号为0~100255，也就是说明该模型能够识别的不同token数量上限为100256个。

**BERT / RoBERTa：**约 30,000 - 50,265

BERT-base的词汇表通常为30,522个token

RoBERTa的词汇表扩展至约50,265个token

GPT系列：40,000 - 约 100,000

GPT-1词汇表为40,000

GPT-2扩展至50,257

GPT-4等后续模型据信进一步扩大，约100K

二、词嵌入

众所周知，计算机不能直接处理文本等信息，故而需要先将其数字化为0、1编码。与之类似 ，大模型也不可能直接“读懂文本”，也需要先将文本转换为模型能够看懂的数字向量（词嵌入矩阵）。

随机生成的词嵌入矩阵对语言的段落、文本、单词的含义一无所知，不能表达任何语义信息。我们可以使用Python的PyTorch库，生成一个简单的Python程序模拟生成词嵌入表。为了后面验证的方便，暂且设置嵌入维度=100。

import torch
import torch.nn as nn
# Transformer经典配置：词汇表10000词，嵌入维度512
vocab_size = 10000
d_model = 100
# 【核心】创建词嵌入层（内部就是随机初始化的矩阵）
embedding = nn.Embedding(vocab_size, d_model)
# 查看初始权重：全是随机数！
print("初始词嵌入矩阵（前2行）：")
print(embedding.weight[:2])  # 输出2行512列的随机向量

随机初始化词嵌入矩阵（第1行）：

[-1.3733, 0.4495, -0.0771, 0.3698, -1.6959, -0.2821, -0.8875, 0.8115, -0.2193, -0.0729, 0.9815, 0.3891, 0.3280, 1.7729, 2.1530, 1.1492, 0.1678, 0.1782, -0.9906, -0.0387, 1.2132, 0.5514, -0.5893, 0.5342, -1.5082, -0.8268, 0.2504, -0.9111, -1.6653, 1.1402, -0.3704, -1.8449, -2.6438, 1.7788, -0.8923, 0.9224, 0.3797, 1.2837, -0.8440, 1.0131, -2.2577, -0.2050, -0.3591, 0.6755, -1.3041, -0.1148, 1.5228, -0.8987, -0.4183, -0.4292, 0.2030, 1.4788, 0.5475, -0.1155, 0.7294, 0.3461, -0.3203, -1.0219, 1.0988, 1.1669, 0.8631, 0.1367, -0.0606, -0.3082, -1.7180, -0.4303, 0.2233, -0.5944, -0.0604, -0.6190, 0.6817, -0.7429, -0.2533, 0.1235, 0.3690, -0.0836, -0.6077, 1.9320, -1.6618, -0.8639, 0.8634, -0.1090, 0.9075, -0.8088, -0.0651, 2.5026, 0.7189, 0.2619, 1.3061, -0.8456, 0.9355, -0.2115, -1.4427, 0.5955, -1.9372, -1.3172, 1.4857, 0.4590, -0.8914, -0.4586]

仅凭我们的观察，很难发现其中的奥秘。有问题找AI，我们请大模型帮我们分析这组数据是否符合正态分布：

样本量 n=100

均值 ≈−0.064

标准差 ≈1.06

偏度 ≈ -0.05（接近对称）

峰度 ≈ -0.10（接近正态峰度 0）

均值接近 0，标准差接近 1，偏度、峰度都接近正态分布的特征

如果仍然还有疑惑，还可以请大模型帮助我们使用Python语言绘制直观的图像，看看是否就是我们熟悉的正态分布模样？

import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns
from scipy import stats
# 1. 准备数据
data = np.array([-1.3733,  0.4495, -0.0771,  0.3698, -1.6959, -0.2821, -0.8875,  0.8115,
-0.2193, -0.0729,  0.9815,  0.3891,  0.3280,  1.7729,  2.1530,  1.1492,
0.1678,  0.1782, -0.9906, -0.0387,  1.2132,  0.5514, -0.5893,  0.5342,
-1.5082, -0.8268,  0.2504, -0.9111, -1.6653,  1.1402, -0.3704, -1.8449,
-2.6438,  1.7788, -0.8923,  0.9224,  0.3797,  1.2837, -0.8440,  1.0131,
-2.2577, -0.2050, -0.3591,  0.6755, -1.3041, -0.1148,  1.5228, -0.8987,
-0.4183, -0.4292,  0.2030,  1.4788,  0.5475, -0.1155,  0.7294,  0.3461,
-0.3203, -1.0219,  1.0988,  1.1669,  0.8631,  0.1367, -0.0606, -0.3082,
-1.7180, -0.4303,  0.2233, -0.5944, -0.0604, -0.6190,  0.6817, -0.7429,
-0.2533,  0.1235,  0.3690, -0.0836, -0.6077,  1.9320, -1.6618, -0.8639,
0.8634, -0.1090,  0.9075, -0.8088, -0.0651,  2.5026,  0.7189,  0.2619,
1.3061, -0.8456,  0.9355, -0.2115, -1.4427,  0.5955, -1.9372, -1.3172,
1.4857,  0.4590, -0.8914, -0.4586])
# 2. 设置绘图风格
sns.set(style="whitegrid") # 设置网格背景
# 设置中文字体路径
plt.rcParams['font.sans-serif'] = ['SimHei']  # 'SimHei' 是黑体的意思，你也可以尝试 'Microsoft YaHei' 等其他中文字体
plt.rcParams['axes.unicode_minus'] = False  # 正确显示负号
plt.figure(figsize=(10, 6))
# 3. 绘制直方图
# density=True 表示绘制概率密度，以便与曲线面积对应
# bins=15 表示分15个桶，可以根据数据量调整
plt.hist(data, bins=15, density=True, alpha=0.6, color='skyblue', edgecolor='black', label='数据直方图')
# 4. 计算拟合曲线的参数
mu, sigma = np.mean(data), np.std(data)
x = np.linspace(min(data), max(data), 100) # 生成x轴数据点
# 计算对应的正态分布概率密度 y值
y = stats.norm.pdf(x, mu, sigma)
# 5. 绘制正态拟合曲线
plt.plot(x, y, 'r-', linewidth=2, label=f'正态拟合曲线\n($\mu$={mu:.2f}, $\sigma$={sigma:.2f})')
# 6. 添加图例和标题
plt.title('数据正态分布拟合验证图', fontsize=16)
plt.xlabel('数值', fontsize=12)
plt.ylabel('概率密度', fontsize=12)
plt.legend() # 显示图例
# 显示图形
plt.show()

数据维度越大，越接近正态分布，足以说明输入词嵌入的随机矩阵并不是漫无目的随机，而是符合严格的数学规律。当然，具体的随机生成算法会随着Transformer架构相关技术的发展演进而不断变化。

三、维度和语义

观察我们自己以及身边的人，不难发现极其聪明与很不聪明的人毕竟只是少数，绝大多数都是像我一样的普通人，这何尝不是一种广泛存在的正态分布。

我们的智力水平基础与脑容量显著相关，这是人类进化历程与脑科学研究的基本共识。词表的大小和词嵌入维度的高低共同构成大模型的基础“脑容量”

我们可以把词嵌入向量，想象成给每个词语画一张全面、立体的画像，就像我们描述一个人，不能只说性别或年龄，要结合身高、性格、爱好、职业等很多特征，才能更完整地认识一个人。

词向量的每一个维度，就是一个隐藏特征，可能代表褒贬义、时态、主动被动、抽象还是具体、情感强弱、积极消极等等，维度越多，画像越细致入微。

两个词向量越接近，就说明它们在语义上越像，就像两个性格爱好高度相似的人。Transformer 就是通过对比这些 “语义画像”，理解词语之间的关系，从而“读懂”整句话的含义。

Transformer架构诞生之前的自然语言处理模型Word2Vec，词嵌入维度只有200左右，我们不难理解复杂语义理解难度与计算速度等瓶颈所在。

直到自注意力机制、并行计算等技术的迭代革新，有更高的数据维度、更快的计算速度支撑的Transformer方才得以引领生成式人工智能的一日千里、推陈出新。

Word2Vec：通常设置在 200 维左右

BERT-Base：维度为 768 维

DeepSeek V2 Lite：其隐空间维度为 2048 维

DeepSeek V3：嵌入维度达到了 7168 维

GPT-3：其 Token 维度高达 12288 维

Llama 3：向量维度达到了 16384 维

高维度的向量表示为更复杂的语义联系提供了更大的可能性，这些维度的划分通常不是人类手动定义而是模型通过阅读海量文本自己“悟”出来的。

比如，模型可能会发现，在某个维度上，“高兴”、“快乐”、“兴奋”的数值都很高，而“悲伤”、“痛苦”的数值很低，那么这个维度就自动代表了“积极情感”；而在另一个维度上，“昨天”、“过去”、“曾经”可能数值很高，而“明天”很低，这个维度就代表了“时间性”。

最后

对于正在迷茫择业、想转行提升，或是刚入门的程序员、编程小白来说，有一个问题几乎人人都在问：未来10年，什么领域的职业发展潜力最大？

答案只有一个：人工智能（尤其是大模型方向）

当下，人工智能行业正处于爆发式增长期，其中大模型相关岗位更是供不应求，薪资待遇直接拉满——字节跳动作为AI领域的头部玩家，给硕士毕业的优质AI人才（含大模型相关方向）开出的月基础工资高达5万—6万元；即便是非“人才计划”的普通应聘者，月基础工资也能稳定在4万元左右。

再看阿里、腾讯两大互联网大厂，非“人才计划”的AI相关岗位应聘者，月基础工资也约有3万元，远超其他行业同资历岗位的薪资水平，对于程序员、小白来说，无疑是绝佳的转型和提升赛道。


对于想入局大模型、抢占未来10年行业红利的程序员和小白来说，现在正是最好的学习时机：行业缺口大、大厂需求旺、薪资天花板高，只要找准学习方向，稳步提升技能，就能轻松摆脱“低薪困境”，抓住AI时代的职业机遇。

如果你还不知道从何开始，我自己整理一套全网最全最细的大模型零基础教程，我也是一路自学走过来的，很清楚小白前期学习的痛楚，你要是没有方向还没有好的资源，根本学不到东西！

下面是我整理的大模型学习资源，希望能帮到你。

👇👇扫码免费领取全部内容👇👇

1、大模型学习路线

2、从0到进阶大模型学习视频教程

从入门到进阶这里都有，跟着老师学习事半功倍。

3、 入门必看大模型学习书籍&文档.pdf（书面上的技术书籍确实太多了，这些是我精选出来的，还有很多不在图里）

4、 AI大模型最新行业报告

2026最新行业报告，针对不同行业的现状、趋势、问题、机会等进行系统地调研和评估，以了解哪些行业更适合引入大模型的技术和应用，以及在哪些方面可以发挥大模型的优势。

5、面试试题/经验

【大厂 AI 岗位面经分享（107 道）】

【AI 大模型面试真题（102 道）】

【LLMs 面试真题（97 道）】

6、大模型项目实战&配套源码

适用人群

四阶段学习规划（共90天，可落地执行）

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

• 大模型 AI 能干什么？
• 大模型是怎样获得「智能」的？
• 用好 AI 的核心心法
• 大模型应用业务架构
• 大模型应用技术架构
• 代码示例：向 GPT-3.5 灌入新知识
• 提示工程的意义和核心思想
• Prompt 典型构成
• 指令调优方法论
• 思维链和思维树
• Prompt 攻击和防范
• …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

• 为什么要做 RAG
• 搭建一个简单的 ChatPDF
• 检索的基础概念
• 什么是向量表示（Embeddings）
• 向量数据库与向量检索
• 基于向量检索的 RAG
• 搭建 RAG 系统的扩展知识
• 混合检索与 RAG-Fusion 简介
• 向量模型本地部署
• …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

• 为什么要做 RAG
• 什么是模型
• 什么是模型训练
• 求解器 & 损失函数简介
• 小实验2：手写一个简单的神经网络并训练它
• 什么是训练/预训练/微调/轻量化微调
• Transformer结构简介
• 轻量化微调
• 实验数据集的构建
• …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

• 硬件选型

• 带你了解全球大模型

• 使用国产大模型服务

• 搭建 OpenAI 代理

• 热身：基于阿里云 PAI 部署 Stable Diffusion

• 在本地计算机运行大模型

• 大模型的私有化部署

• 基于 vLLM 部署大模型

• 案例：如何优雅地在阿里云私有部署开源大模型

• 部署一套开源 LLM 项目

• 内容安全

• 互联网信息服务算法备案

• …

  👇👇扫码免费领取全部内容👇👇

  

3、这些资料真的有用吗？

这份资料由我和鲁为民博士(北京清华大学学士和美国加州理工学院博士)共同整理，现任上海殷泊信息科技CEO，其创立的MoPaaS云平台获Forrester全球’强劲表现者’认证，服务航天科工、国家电网等1000+企业，以第一作者在IEEE Transactions发表论文50+篇，获NASA JPL火星探测系统强化学习专利等35项中美专利。本套AI大模型课程由清华大学-加州理工双料博士、吴文俊人工智能奖得主鲁为民教授领衔研发。

资料内容涵盖了从入门到进阶的各类视频教程和实战项目，无论你是小白还是有些技术基础的技术人员，这份资料都绝对能帮助你提升薪资待遇，转行大模型岗位。

这份完整版的大模型 AI 学习资料已经上传优快云，朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】