解码策略（Top-k & Top-p & Temperature）

已于 2025-10-29 15:02:53 修改
阅读量353 收藏
点赞数 8
CC 4.0 BY-SA版权
分类专栏： 大模型笔记 文章标签： 大模型 人工智能
于 2025-01-22 17:06:07 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/comli_cn/article/details/145285092

0.简介

在大模型训练好之后，如何对训练好的模型进行解码（decode）是一个火热的研究话题。

一般给模型传入的解码参数如下所示。

{
   
   
 "top_k": 10,
 "temperature": 0.95,
 "num_beams": 1,
 "top_p": 0.8,
 "repetition_penalty"
了解本专栏 订阅专栏 解锁全文 超级会员免费看
Top-k & Top-p, Temperature
强化学习曾小健
09-27 506
​目录收起1.挑出top token：贪心解码2.从top tokens中挑选：top-k3.从概率加起来为15%的top tokens中挑选：top-p采样时如何选择温度LikelihoodIntuitionExample。
对话系统之解码策略（Top-k & Top-p & Temperature）
云隐雾匿的博客
12-17 1437
对话系统，回复生成解码策略（Top-k采样 & Top-p采样 & Temperature采样） 贪心解码（Greedy Decoding）：直接选择概率最高的单词。这种方法简单高效，但是可能会导致生成的文本过于单调和重复。 随机采样（Random Sampling）：按照概率分布随机选择一个单词。这种方法可以增加生成的多样性，但是可能会导致生成的文本不连贯和无意义。 集束搜索（BeamSearch）：在每一个时间步，不再只保留当前概率最高的一个单词，而是按照概率从高到低排序，保留前num_beams个
[LLM]大语言模型文本生成—解码策略(Top-k & Top-p & Temperature)
摩登都市天空---专栏
03-18 8847
在大模型训练好之后，如何对训练好的模型进行解码（decode）是一个火热的研究话题。在自然语言任务中，我们通常使用一个预训练的大模型（比如GPT）来根据给定的输入文本（比如一个开头或一个问题）生成输出文本（比如一个答案或一个结尾）。为了生成输出文本，我们需要让模型逐个预测每个 token ，直到达到一个终止条件（如一个标点符号或一个最大长度）。在每一步，模型会给出一个概率分布，表示它对下一个单词的预测。
大模型解码策略（Top-k & Top-p & Temperature）
feifeikon的博客
07-03 340
在大模型训练好之后，如何对训练好的模型进行解码（decode）是一个火热的研究话题。在自然语言任务中，我们通常使用一个预训练的大模型（比如GPT）来根据给定的输入文本（比如一个开头或一个问题）生成输出文本（比如一个答案或一个结尾）。为了生成输出文本，我们需要让模型逐个预测每个 token ，直到达到一个终止条件（如一个标点符号或一个最大长度）。在每一步，模型会给出一个概率分布，表示它对下一个单词的预测。
大模型文本生成——解码策略（Top-k & Top-p & Temperature）
zhengddzz的博客
03-19 2762
在大模型训练好之后，如何对训练好的模型进行解码（decode）是一个火热的研究话题。在自然语言任务中，我们通常使用一个预训练的大模型（比如GPT）来根据给定的输入文本（比如一个开头或一个问题）生成输出文本（比如一个答案或一个结尾）。为了生成输出文本，我们需要让模型逐个预测每个 token ，直到达到一个终止条件（如一个标点符号或一个最大长度）。在每一步，模型会给出一个概率分布，表示它对下一个单词的预测。
大模型解码策略详解：top-k、top-p与temperature
Bug_makerACE的博客
02-28 1177
在大模型中，top-k和top-p（核采样）是两种常用的解码策略参数，用于控制生成文本的多样性和随机性。
greedy&top-k&top-p&temperture
seek97的博客
10-20 347
比如下面这个图片，输入这句话，模型生成了一堆 token，然后根据不同的从 tokens 中选择输出。top-k 与 top-p 为选择 token 引入了随机性，让其他高分的 token 有被选择的机会，不像 greedy decoding 一样总是选最高分的。
大模型之解码策略（Top-k & Top-p & Temperature）
weixin_44245188的博客
10-14 926
在大模型训练好之后，如何对训练好的模型进行解码（decode）是一个火热的研究话题。一般给模型传入的解码参数如下所示。在自然语言任务中，通常使用一个预训练的大模型（比如GPT）来根据给定的输入文本（比如一个开头或一个问题）生成输出文本（比如一个答案或一个结尾）。为了生成输出文本，需要让模型逐个预测每个 token ，直到达到一个终止条件（如一个标点符号或一个最大长度）。在每一步，模型会给出一个概率分布，表示它对下一个单词的预测。
【大模型LLM面试合集】大语言模型架构_解码策略（Top-k & Top-p & Temperatu)
chen695969的博客
02-05 911
在大模型训练好之后，如何对训练好的模型进行解码（decode）是一个火热的研究话题。一般给模型传入的解码参数如下所示。在自然语言任务中，通常使用一个预训练的大模型（比如GPT）来根据给定的输入文本（比如一个开头或一个问题）生成输出文本（比如一个答案或一个结尾）。为了生成输出文本，需要让模型逐个预测每个 token ，直到达到一个终止条件（如一个标点符号或一个最大长度）。在每一步，模型会给出一个概率分布，表示它对下一个单词的预测。
【AI学习-comfyUI学习-第二十三-法线贴图工作流-depth 结构+MiDaS 法线-各个部分学习】
qq_22146161的博客
12-25 1452
最近，学习comfyUI，这也是AI的一部分，想将相关学习到的东西尽可能记录下来。不断学习摸索中。
4神经网络框架
2301_81531626的博客
12-27 1066
本文系统介绍了神经网络的基本框架和发展过程。首先指出线性模型的局限性，说明其无法拟合复杂非线性关系。接着引入分段线性曲线和Sigmoid函数，通过参数调节实现曲线拟合。随后详细阐述了神经网络的构建过程：从单输入扩展到多特征输入，引入矩阵运算简化表达式，并说明激活函数的作用。最后介绍深度学习中ReLU激活函数的优势，其简单计算特性可有效组合成复杂曲线。全文通过数学公式和图示相结合，清晰展现了神经网络从线性模型到深度学习框架的演进逻辑。
做了一块可以调用百度云语音识别api和tts api的esp32 s3开发板，支持跑ai小智机器人的源码，基于idf5.5.1库编译，分享下
net3m33的专栏
12-25 938
做了一块可以调用百度云语音识别api和语音合成tts接口的esp32 s3开发板，支持跑ai小智机器人的源码，基于idf5.5.1库编译，分享
第N11周：seq2seq翻译实战-Pytorch复现
m0_46260522的博客
12-26 750
5.2 注意力解码器（AttnDecoderRNN）7.2 训练迭代主循环。
Q-learning 算法 —— 无模型（model-free）强化学习
一杯水果茶！足矣~
12-25 1360
从已知模型到 Model-free 的强化学习转变：Q-Learning 算法，通过详细示例来讲解，理解 Q-table 的更新和贪婪策略
【AI学习-comfyUI学习-第二十五节-Shuffle洗牌模式布局+contronet其他应用结合-各个部分学习】
qq_22146161的博客
12-27 872
最近，学习comfyUI，这也是AI的一部分，想将相关学习到的东西尽可能记录下来。不断学习摸索中。
2025国自然资助率12.29%创新低！2026年如何用数据与AI“破局”？
imbackneverdie的博客
12-25 1044
这绝非简单的文字堆砌，它内在嵌入了对国自然申报规范的理解，能有效帮你规避常见的“方向偏离”“逻辑混乱”“格式错误”等基础问题，将你从繁琐的框架搭建中解放出来，专注于核心内容的精雕细琢。国自然2025年的资助率降至历史新低的12.29%，数万科研人员面对着更激烈的竞争与更严格的评审标准，对于2026年度的申报者而言，“高效准备，少走弯路”已不是口号，而是生存法则。它不仅告诉你“是什么”，更分析“为什么”和“怎么办”，直接为你的选题方向和立项论证提供坚实的数据支撑。模块，堪称科研人员的“选题外脑”。
No105:甘地&AI：智能的非暴力变革与社会智慧
最新发布
weixin_43135215的博客
12-28 570
在追求AI社会智能进步的同时，我们需要甘地式的社会智慧和人文精神，让智能不仅能够处理数据，更能够理解人性、促进和谐、实现公正、服务人类，成为真正推动社会进步和人类福祉的智能力量。
阶跃星辰（StepFun）已于近期正式发布了开源图像生成模型 NextStep
xixixixixixixi21的博客
12-25 560
阶跃星辰发布开源图像生成模型NextStep-1.1，参数量达150亿，较前代140亿参数的NextStep-1有显著升级。新模型重点修复了图像可视化故障问题，通过Flow-basedRL技术提升图像保真度和训练稳定性，改善了纹理细节并减少视觉伪影。模型权重已在HuggingFace平台开源，但具体性能数据尚未公布。该系列模型需要较强GPU资源支持推理，建议关注官方渠道获取最新技术文档。
如果计算agv舵轮角度是否超限，当给定vx vy w时
君君的博客
12-25 710
agv 舵轮 运动控制 运动学模型
“Top-K”策略
09-05
<think> 嗯，用户想了解Top-K策略的相关信息，我需要根据现有的引用资料来组织回答。首先，引用[1]提到Top-k和Top-p同时设置时的处理顺序：先按Top-k筛选出k个概率最高的词，再用Top-p进一步筛选。这说明Top-k的主要作用是初步筛选高概率候选词。 引用[2]详细说明了Top-k采样的优点：通过调整k值平衡多样性和质量，k越大多样性越高但质量可能下降，k越小则质量更稳定但多样性降低。这里还提到它可以与其他策略如温度调节结合使用。 引用[3]对比了Top-k和Top-p的区别：Top-k固定候选词数量，而Top-p考虑累积概率。这意味着Top-k可能忽略长尾中有价值的低概率词，但计算效率更高。 用户的问题明确指向"Top-K策略介绍"，因此需要聚焦三点核心内容：筛选机制（取logits中概率最高的k个词）、k值的影响规律（质量和多样性的权衡）、实际应用特点（高效稳定但可能忽略长尾）。 考虑到用户可能想了解具体实现示例，准备用伪代码展示采样过程。同时想到用户后续可能有延伸问题，建议补充三个相关问题：k值选择方法、对比Top-p的优缺点、实际应用案例。 </think> 好的，我们来详细介绍**Top-K 采样策略**，这是大型语言模型（LLM）文本生成中常用的一种解码策略。 ### Top-K 策略的核心概念 Top-K 采样是指在模型生成每个新词（token）时，**仅考虑模型预测概率分布中最高的 K 个候选词**，然后从这个缩小后的候选池中重新归一化概率并采样出最终要生成的词。 1. **预测词汇概率分布**： * 在生成过程中的每一步，模型都会基于当前上下文（已生成的文本）计算出一个巨大的概率分布 $P(w | \text{context})$，这个分布覆盖了整个词汇表 $V$（通常包含数万甚至数十万个词）。例如，模型可能预测下一个词是 “the” 的概率为 0.3，是 “cat” 的概率为 0.15，是 “supercalifragilisticexpialidocious” 的概率为 0.00001 等等。 2. **筛选 Top-K 候选词**： * 根据设定的 K 值（例如 K=50），筛选出概率最高的前 K 个词。这些词将构成一个临时的、大幅缩小的候选集合 $V'$。 * 例如，如果 K=50，那么就只保留概率排名前 50 的词，其余所有概率更低的词（即使概率不为零）在这个步骤都会被完全**忽略**掉 [^3]。 3. **重新归一化并采样**： * 对这 K 个入选的词，将其原始概率值进行重新归一化（使它们的概率之和为 1），形成一个新的、定义在 $V'$ 上的概率分布 $P'(w | \text{context})$。 * 公式表示为： $$ P'(w | \text{context}) = \begin{cases} \frac{P(w | \text{context})}{\sum_{w_i \in V'} P(w_i | \text{context})} & \text{if } w \in V' \\ 0 & \text{if } w \notin V' \end{cases} $$ * 从这个新的概率分布 $P'$ 中，根据概率大小进行采样（通常是多项式采样），选出最终生成的那个词。 ### 关键特点与优势 1. **控制多样性与质量的平衡**： * **K 值的选择至关重要**： * **小的 K 值（如 K=10, 20）**：候选池很小，只包含最可能、最符合上下文逻辑的词。这通常会生成**更安全、更连贯、更“高质量”**（相对保守）的文本，但**多样性较低**，模型更容易重复或生成过于通用的内容 [^2]。 * **大的 K 值（如 K=50, 100）**：候选池更大，包含更多样化、更有创意甚至有些风险的词。这通常会生成**更多样化、更有趣、更有创意**的文本，但**连贯性和逻辑性风险增加**，可能出现无关或不合理的词 [^2]。 * 用户可以根据任务需求（如需要严谨答案 vs. 创意写作）调整 K 值来平衡这种权衡。 2. **计算高效**： * 相比于在整个庞大的词汇表（可能是数万词）上操作，Top-K 只需要处理 K 个词（通常是几十到几百个），大大减少了计算量。这使得它在实际应用中速度更快。 3. **避免生成极低概率的荒谬词**： * 通过剔除概率极低的“长尾”词，Top-K 显著降低了模型生成完全不相关、错别字或荒谬内容的可能性，提高了生成文本的可靠性 [^2]。 #### 伪代码示例 ```python def generate_token_with_top_k(logits, k): # logits 是模型输出的原始分数 # 1. 将原始分数转换为概率（通常经过Softmax） probs = softmax(logits) # 2. 找出概率最大的前 K 个词及其索引 top_k_probs, top_k_indices = torch.topk(probs, k=k) # 3. 重新归一化这 K 个词的概率 normalized_top_k_probs = top_k_probs / torch.sum(top_k_probs) # 4. 根据归一化后的概率分布采样一个词索引 sampled_index = torch.multinomial(normalized_top_k_probs, num_samples=1)[0] chosen_token_index = top_k_indices[sampled_index] # 5. 将索引转换为对应的词汇 return vocabulary[chosen_token_index] ``` ### 与其他策略的关系（简要说明） * **与 Top-P (Nucleus Sampling) 的区别**： Top-K 固定了候选词的数量（K），而 Top-P 固定了候选词的**累计概率**（p）。Top-P 会动态调整候选池的大小，只包含使累计概率刚好超过 p 的那些词 [^1][^3]。这通常能更好地处理概率分布的不确定性（有时分布平坦需要更多词，有时集中只需少量词）。 * **组合使用**： Top-K 和 Top-P **可以同时使用**。常见的做法是**先应用 Top-K 过滤掉绝大多数低概率词**，得到一个可控大小的候选池（比如 K=50），**然后在这个缩小后的池子上再应用 Top-P**（如 p=0.9）进行进一步的精细化筛选。这样可以结合两者的优势：Top-K 提供效率和安全下限，Top-P 提供动态调整的灵活性 [^1]。 * **与 Temperature 的关系**： Temperature 参数作用于模型的逻辑值（logits），在计算概率分布之前改变分布的“尖锐”或“平滑”程度。Low Temperature 使分布更集中（放大高概率词的优势），High Temperature 使分布更平坦（增加低概率词的可能性）。Top-K 策略通常在应用了 Temperature 调整后的概率分布上执行 [^2][^3]。 ![Top-K 采样示意图](https://miro.medium.com/v2/resize:fit:1400/0*QlSuFdZ3Nw9dDnCT.png) *(示意图：Top-K 采样仅保留概率最高的 K 个候选词进行采样)* **总结**： Top-K 采样是一种通过限制每一步生成时只考虑概率最高的 K 个候选词，从而在生成文本的**多样性**和**质量/连贯性**之间实现可控平衡的解码策略。它是大型语言模型生成任务中最常用、最基础的核心策略之一，通常与其他策略（如 Temperature, Top-P）结合使用以优化效果。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

comli_cn

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值