摘要:本文从物理层到应用层,拆解「电力 → 算力 → Token」的完整链路。先厘清电力、算力与 Token 三者的关系,再深入 Token 的分词原理与模型推理的能耗构成,最后给出从单机到集群的落地部署方案、能耗监控手段与成本优化策略,帮助读者建立大模型能耗的完整认知。
关键词:Token;大模型推理;GPU 算力;PUE;能耗优化;vLLM 部署
1. 引言
在 AI 大模型时代,我们每天都在和 Token 打交道——写提示词、调 API、按 Token 计费。但 Token 到底是什么?它和电有什么关系?为什么说「把电转换为 Token」?本文将从物理层到应用层,拆解这条链路的核心原理,并给出可落地的部署方案。
其实,这句话背后是一条完整的产业链:电力 → 算力 → Token。数据中心消耗电能,GPU 把电能转化为算力,算力再通过模型推理转化为 Token。阅读本文后,你将掌握 Token 的生成原理、能耗构成,以及从单机到集群的完整部署路径。
2. 核心概念:电力、算力与 Token
在深入细节之前,先厘清三个贯穿全文的核心概念,它们构成了「电 → Token」链路的基本要素。
2.1 电力:一切的起点
电力是数据中心运转的底层能源。无论是 GPU 芯片、内存还是散热系统,都需要电力驱动。电力的成本、来源与效率,直接决定了 Token 的生产成本。
2.2 算力:电力的转化形态
算力是芯片在单位时间内完成计算的能力,通常以 FLOPS(每秒浮点运算次数)衡量。GPU 通过电流驱动晶体管开关,把电能转化为矩阵运算能力,这是大模型推理的基础。
2.3 Token:算力的最终产物
Token 是模型处理文本的最小单位,也是算力输出的「商品」。一次推理消耗的电力,最终以 Token 的形式交付给用户。可以说,Token 是电力经过算力加工后的高附加值形态。
三者关系可概括为:
电力 → 算力 → Token
理解这条链路,是后续章节讨论能耗优化与部署方案的前提。
3. Token 的本质:从文本到数字
3.1 什么是 Token
Token 是模型处理文本的最小单位。它可以是单词、子词、字符,甚至是标点符号。例如:
- 英文
Hello world通常被切分为 2 个 Token - 中文「你好世界」可能被切分为 2~4 个 Token
3.2 文本如何变成 Token
文本 → Token 的过程称为分词(Tokenization),主流方案是 BPE(Byte Pair Encoding)或 SentencePiece:
from transformers import AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained("bert-base-uncased")
tokens = tokenizer.tokenize("Hello world")
print(tokens) # ['hello', 'world']
3.3 Token 与电的关系
Token 本身是数字,但产生 Token 需要消耗电能。一次推理的耗电公式可简化为:
能耗 ≈ 模型参数量 × Token 数 × 计算强度
也就是说,Token 是电力的「高附加值形态」——同样一度电,用于挖矿和用于大模型推理,产出的价值完全不同。
4. 电力 → 算力:数据中心的能源链路
4.1 电能如何变成算力
GPU 芯片通过电流驱动晶体管开关,完成矩阵乘法等运算。以 NVIDIA H100 为例:
- 单卡功耗约 700W
- FP16 算力约 989 TFLOPS
- 每 Token 能耗约 0.001~0.01 焦耳(视模型规模)
4.2 PUE 与能源效率
PUE(Power Usage Effectiveness)是衡量数据中心能效的核心指标:
PUE = 数据中心总能耗 / IT 设备能耗
理想 PUE 接近 1.0,行业平均约 1.3~1.6。降低 PUE 意味着更多电能被用于计算而非散热。
4.3 绿色电力与碳足迹
越来越多的算力中心采用绿电(风电、光伏、水电)来降低碳足迹。例如:
- 谷歌承诺 2030 年实现 24/7 无碳能源
- 国内东数西算工程推动绿电向西部算力枢纽集中
5. 算力 → Token:模型推理的能耗拆解
5.1 推理过程的三个阶段
一次完整的 Token 生成分为三个阶段:
- 预填充(Prefill):并行处理输入 Token,计算量密集
- 解码(Decode):逐个生成输出 Token,访存密集
- 采样(Sampling):从概率分布中选择下一个 Token
5.2 每 Token 能耗估算
以 7B 参数模型为例,单 Token 生成的能耗约为:
E_token ≈ 2 × N × C
其中 N 为参数量,C 为每参数计算量。实际部署中还需考虑显存带宽、批处理大小等因素。
5.3 批处理与吞吐优化
提高吞吐量是降低单 Token 能耗的关键手段:
- 动态批处理(Continuous Batching):实时合并请求,提高 GPU 利用率
- KV Cache 复用:避免重复计算历史 Token
- 量化(INT8/INT4):降低计算与显存开销
6. 落地部署:从单机到集群
6.1 单机部署(入门级)
适合个人开发与原型验证,使用 vLLM 或 Ollama:
# 安装 vLLM
pip install vllm
# 启动 OpenAI 兼容服务
python -m vllm.entrypoints.openai.api_server \
--model meta-llama/Llama-3.2-1B-Instruct \
--port 8000
6.2 单机多卡部署(进阶级)
使用张量并行(Tensor Parallelism)切分模型:
python -m vllm.entrypoints.openai.api_server \
--model meta-llama/Llama-3.1-8B-Instruct \
--tensor-parallel-size 4 \
--gpu-memory-utilization 0.9
6.3 集群部署(生产级)
生产环境需要 Kubernetes + 推理网关 + 弹性伸缩:
apiVersion: apps/v1
kind: Deployment
metadata:
name: llm-inference
spec:
replicas: 3
selector:
matchLabels:
app: llm-inference
template:
metadata:
labels:
app: llm-inference
spec:
containers:
- name: vllm
image: vllm/vllm-openai:latest
command: ["python", "-m", "vllm.entrypoints.openai.api_server"]
args:
- --model
- meta-llama/Llama-3.1-8B-Instruct
- --tensor-parallel-size
- "2"
resources:
limits:
nvidia.com/gpu: "2"
生产级部署:Kubernetes 完整清单
下面是一份可直接落地的生产级部署清单,包含 Deployment、Service、HPA 与 Ingress 四件套,并预留了 Prometheus 监控注解:
apiVersion: apps/v1
kind: Deployment
metadata:
name: llm-inference
labels:
app: llm-inference
spec:
replicas: 3
selector:
matchLabels:
app: llm-inference
template:
metadata:
labels:
app: llm-inference
annotations:
prometheus.io/scrape: "true"
prometheus.io/port: "8000"
spec:
containers:
- name: vllm
image: vllm/vllm-openai:latest
command: ["python", "-m", "vllm.entrypoints.openai.api_server"]
args:
- --model
- meta-llama/Llama-3.1-8B-Instruct
- --tensor-parallel-size
- "2"
- --max-num-seqs
- "64"
- --gpu-memory-utilization
- "0.9"
ports:
- containerPort: 8000
resources:
limits:
nvidia.com/gpu: "2"
cpu: "32"
memory: "128Gi"
requests:
cpu: "16"
memory: "64Gi"
readinessProbe:
httpGet:
path: /health
port: 8000
initialDelaySeconds: 60
periodSeconds: 10
livenessProbe:
httpGet:
path: /health
port: 8000
initialDelaySeconds: 120
periodSeconds: 30
---
ap
416



被折叠的 条评论
为什么被折叠?



