LLM模型 贪婪、温度、Top-k、核采样方式的区别---附代码与示例

最新推荐文章于 2025-08-09 17:13:32 发布
原创 最新推荐文章于 2025-08-09 17:13:32 发布 · 974 阅读 · 13 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能 #自然语言处理 #LLM #ai大模型 #大语言模型 #代码 #深度学习

LLM模型 贪婪、温度、Top-k、核采样方式的区别—附代码与示例

在自然语言生成任务中，不同的采样技术用于从语言模型的输出中选择下一个生成的单词或词语。这些技术包括贪婪采样、温度采样、Top-k采样和核（Nucleus）采样。它们在选择生成单词的过程中有不同的策略，本文将介绍这四种采样方式的区别。

1. 贪婪采样 (Greedy Sampling)

贪婪采样是一种直接选择最可能的下一个词的策略。具体步骤为：

  • 从模型输出的logits中，找到概率最大的那个词，直接选择它作为输出。

实现代码

在这里插入图片描述

优点

  • 简单且计算效率高。
  • 保证每一步选择最有可能的结果。

缺点

  • 可能会导致生成的文本非常重复和缺乏多样性。
  • 贪婪采样只关注当前概率最大的词，忽略了其他潜在的好选择，容易陷入局部最优解。

2. 带温度的采样 (Temperature Sampling)

温度采样通过引入一个温度参数来调整输出概率的分布，以控制生成文本的多样性。温度 T 的作用是平滑或锐化概率分布：

  • 当 T = 1 时，采样为标准随机采样。
  • 当 T < 1 时，概率分布变得更尖锐，模型更倾向于选择最可能的词。
  • 当 T > 1 时，概率分布变得更加平滑，模型会更多地探索低概率的词。

实现代码

在这里插入图片描述

优点

  • 提供了生成文本的多样性，尤其是在温度高时。
  • 通过调整温度参数，可以控制探索（随机性）与利用（选择高概率词）之间的平衡。

缺点

  • 温度的选择需要仔细调节，不同任务或场景下对温度的需求可能不同。
  • 温度过低时，生成的文本趋向于贪婪采样；温度过高时，生成的文本可能过于随机。

3. Top-k采样

Top-k采样限制了每次生成时候的候选词数量，模型只会从概率前k个最高的词中进行采样，而忽略其他可能性较小的词。

实现代码

在这里插入图片描述

优点

  • 提供了对生成词汇的严格控制，避免生成概率非常低的词。
  • 通过限制候选词的数量，避免了一些罕见或不合逻辑的词被选中。

缺点

  • 需要设定一个合适的 k 值，如果 k 值太小，生成的文本可能会缺乏多样性；如果 k 值太大，则效果与标准采样相似。

4. 核采样 (Nucleus Sampling)

核采样是一种自适应的采样方法，它选择的候选词集合 V(p) 是满足累计概率和大于或等于给定阈值 p 的最小词汇子集。与Top-k采样不同，核采样的候选词数量不是固定的，而是基于累计概率动态确定的。

示例

假设同样的语境：“今天的天气很”，但这次我们将会有不同的词汇及其概率分布，我们也会使用不同的阈值 ( p ) 来展示如何动态确定选词数量。

模型预测的词汇概率
  • 好：0.4
  • 冷：0.3
  • 热：0.2
  • 潮湿：0.05
  • 多变：0.03
  • 干燥：0.02
排序与累积概率

按概率从高到低排序并计算累积概率：

  • 好：0.4
  • 冷：0.7 (0.4 + 0.3)
  • 热：0.9 (0.7 + 0.2)
  • 潮湿：0.95 (0.9 + 0.05)
  • 多变：0.98 (0.95 + 0.03)
  • 干燥：1.00 (0.98 + 0.02)
确定核集合

这次，我们将选择不同的阈值 ( p ) 来观察核集合如何变化：

  1. 当 ( p = 0.7 )：

    • 核集合包括：“好”和“冷”，因为它们的累积概率首次超过 0.7。

  3. 当 ( p = 0.9 )：

    • 核集合扩展到：“好”，“冷”，和“热”，因为它们的累积概率首次超过 0.9。

  5. 当 ( p = 0.95 )：

    • 核集合进一步扩展到：“好”，“冷”，“热”和“潮湿”，因为这是累积概率首次超过 0.95。
抽样

在每种情况下，我们从对应的核集合中随机选取一个词作为下一个词。选择的范围和多样性取决于 ( p ) 值的大小，而词的数量是根据这个阈值动态确定的，不是固定的。

实现代码

在这里插入图片描述
在这里插入图片描述

优点

  • 灵活性强，自动调整候选词集合，避免了固定的词数限制。
  • 在生成文本时能够更好地平衡多样性与高概率词的利用，表现优于Top-k采样。

缺点

  • 参数 p 的选择需要调节，不同任务可能需要不同的 p 值。
  • 计算复杂度较高，尤其是当处理较大的词汇表时。

总结

采样方法优点缺点
贪婪采样简单、高效，始终选择最有可能的词文本生成可能单一，缺乏多样性
温度采样通过调整温度控制多样性，适应性强温度的调节需要谨慎，过高或过低的温度可能产生不理想的结果
Top-k采样控制候选词数量，避免选择低概率词k 值选择需要调节，k 太小可能导致文本单一
核采样动态选择候选词集合，更灵活，生成文本质量较高参数 p 需要调节，计算复杂度较高

每种采样方式都有其适用的场景，根据具体的应用和对生成文本的要求，可以选择不同的采样策略。

​

如何学习AI大模型？

作为一名热心肠的互联网老兵，我决定把宝贵的AI知识分享给大家。 至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

这份完整版的大模型 AI 学习资料已经上传优快云，朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】

一、全套AGI大模型学习路线

AI大模型时代的学习之旅：从基础到前沿，掌握人工智能的核心技能！

img

二、640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

img

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

img

四、AI大模型商业化落地方案

img

作为普通人，入局大模型时代需要持续学习和实践，不断提高自己的技能和认知水平，同时也需要有责任感和伦理意识，为人工智能的健康发展贡献力量。

『大模型笔记』LLM秘密：温度、Top-K和Top-P抽样技术解析！
AI新视界
07-19 1403
总结一下，使用温度、Top-K和Top-P技术的随机采样为大语言模型生成输出提供了不同的选择。在视频的最后部分，我将讨论每种技术的优缺点，以便您更好地了解何时使用每种方法以及可能的限制。温度参数的优点包括增加模型的创造力，较高温度引入更多随机性，促进创造性和多样性输出，还可以防止模型变得过于确定性。然而，缺点是过高温度可能导致输出不连贯，因为模型更可能选择不太可能的单词，增加随机性可能导致文本缺乏上下文或意义。
如何理解LLM推理时的参数Temperature和Top_k
kakaZhui的博客
03-24 886
在深入理解和top_k之前，我们需要先简单了解一下LLM生成文本的基本过程。LLM本质上是一个概率模型。给定一个输入文本序列（prompt），LLM会计算下一个词的概率分布。例如，给定输入 “The cat sat on the”，模型可能会预测下一个词是 “mat” 的概率为 0.6，“sofa” 的概率为 0.2，“chair” 的概率为 0.1，等等。然后，模型会根据这个概率分布进行采样，选择一个词作为输出。这个采样过程就是和top_k发挥作用的地方。
【LLM 论文】开放式文本生成的采样方法 —— Nucleus Sampling：《The Curious Case of Neural Text Degeneration》
VLyb
04-15 1887
本文提出了 Nucleus Sampling 采样策略来完成 Next token prediction 任务中的单词采样，解决了文本生成容易“退化”的问题
关于LLM的TOP-p、top_K、temperature
2301_77727994的博客
02-27 2223
在使用开源的大语言模型或者调用大语言模型API的时候会遇到temperature、top_p、top_k等参数，对于不了解的LLM的原理的人，可能一头雾水，不知道如何设置。
LLM推理参数（top_k，top_p, temperature, num_beams）
ZhengrongYue的博客
04-06 3716
LLM推理参数（top_k，top_p, temperature, num_beams）
Python中LLM的生成控制：核采样与Top-p采样
二进制的梦想
01-20 961
本文深入探讨了Python中LLM的生成控制方法，特别是核采样和Top-p采样。我们分析了它们的原理、实现及其在实际应用中的效果，并比较了它们的优缺点。通过本文的介绍，读者可以更好地理解核采样和Top-p采样的工作原理，并在实际应用中选择合适的生成控制方法。希望本文能够为读者在LLM生成控制方面的研究和应用提供有价值的参考。
如何评估一个LLM（大型语言模型）的好坏？
AI天才研究院
06-19 335
基于统计模式的生成机制，在训练数据缺陷、流畅性优先目标、上下文处理限制的共同作用下，将语言模式的"表面正确"误判为"事实正确"。要减少幻觉，需从数据质量提升、事实校验机制引入、模型对知识边界的识别能力等多方面优化。明确问题关键点：需要解释LLM幻觉现象与概率论之间的内在联系。这需要深入理解LLM作为概率模型的本质，以及概率计算如何导致或影响幻觉的产生。可能的解释方向LLM作为概率模型的基本原理条件概率分布与token预测最大似然估计与幻觉的关系不确定性表示与幻觉采样策略对概率分布的影响。
【Qwen2部署实战】部署高效AI模型：使用vLLM进行Qwen2-7B模型推理
寻道AI，探索AI无限可能！
07-08 9059
在当今快速发展的人工智能领域，大型语言模型（LLMs）已成为推动自然语言处理（NLP）任务的关键力量。这些模型以其强大的理解和生成文本的能力而闻名，但同时也因其对计算资源的高需求而备受关注。vLLM作为一个创新的解决方案，旨在简化LLMs的部署流程，提高效率，降低资源消耗。本文将详细介绍如何利用vLLM部署Qwen2-7B模型，并探讨其在离线推理、API服务以及多卡分布式部署中的应用。
[LLM]大语言模型文本生成—解码策略(Top-k & Top-p & Temperature)
摩登都市天空---专栏
03-18 8701
在大模型训练好之后，如何对训练好的模型进行解码（decode）是一个火热的研究话题。在自然语言任务中，我们通常使用一个预训练的大模型（比如GPT）来根据给定的输入文本（比如一个开头或一个问题）生成输出文本（比如一个答案或一个结尾）。为了生成输出文本，我们需要让模型逐个预测每个 token ，直到达到一个终止条件（如一个标点符号或一个最大长度）。在每一步，模型会给出一个概率分布，表示它对下一个单词的预测。
大模型推理常见采样策略：Top-k, Top-p, Temperature, Beam Search
热门推荐
qq_43243579的博客
02-28 2万+
大模型推理采样策略，举例通俗易懂汇总介绍
【Transformer】LLM中随机采样、top-K与top-P的原理
2504_90578160的博客
05-04 610
在transformer中，每次输出的并不是下一个词，而是一个softmax概率分布，用来预测下一个词在词表中的概率分布？那么每次都选择概率最高的词吗？nonono。其实是由随机采样以及其变体Top-K/Top-P决定的。这就是为什么调用某一LLM时候会让你设置超参数TopK TopP，那么随机采样是什么，又是如何决定下一个词的输入的。本文主要介绍这个随机采样不是“瞎选”，也不是“只选最大概率词”，而是根据模型输出的概率分布，有概率地随机选择下一个词。它让生成文本更具多样性和创造性。
LLM探索：GPT类模型的几个常用参数 Top-k, Top-p, Temperature
强化学习曾小健
06-21 6874
上一篇文章介绍了几个开源LLM的环境搭建和本地部署，在使用ChatGPT接口或者自己本地部署的LLM大模型的时候，经常会遇到这几个参数，本文简单介绍一下~top_ptop_k。
LLM推理中的参数：beam_search、num_sequences、do_sample、temperature、top_k、top_p、repetition_penalty
smartcat2010的博客
04-16 2360
越小，采样概率拉的越开。设为0时，greedy取top-1。top_k: 每一步，只从概率最高的K个token里采样。设为0则disable该机制（无top_p的话，则所有token都参与采样）。num_sequences: generate输出几个top序列。top_p: 取值范围0~1。每一步，只从按概率从高到底排序的tokens，前面累加概率达到p的这些词，参与采样。do_sample: 设为True，则每个输出都进行采样；设为False，则每个输出都greedy取top-1。
【LLM】大模型投机采样Speculative Sampling推理加速
发现问题，并解决问题，批判性思维
08-09 2195
当前的主流 LLM 基本都是 Decoder Only 的 Transformer 模型，其推理过程可以分为两个阶段： （1）Prefill：根据输入 Tokens（Recite, the, first, law, of, robotics） 生成第一个输出 Token（A），通过一次 Forward 就可以完成，在 Forward 中，输入 Tokens 间可以并行执行（类似 Bert 这些 Encoder 模型），因此执行效率很高。 （2）Decoding：从生成第一个 Token（A） 之后开始，
LLM超参数temperature，top-p使用
qq_30921029的博客
05-09 4057
一般来说，prompt 越长，描述得越清楚，模型生成的输出质量就越好，置信度越高，这时可以适当调高 temperature 的值；Top-p 通常设置为较高的值（如 0.75），目的是限制可能被采样的低概率 token 的长尾。从上面的原理可以看到，temperature、top-p等参数用于控制生成文本的随机性，值越大随机性越大，意味着多样性和创造性，但可能产生胡言乱语。大模型选择输出token的时候，会有一个采样策略，用于选择输出哪些token，其中两种主要的采样方法就是top-k和top-p。
如何理解和使用LLM 的Temperature参数
zg_hover的专栏
03-10 6996
如何理解和使用LLM 的Temperature参数
【LLM】大模型中的温度系数是啥玩意
发现问题，并解决问题，批判性思维
07-14 6671
LLM中的温度系数 - temperature参数控制生成语言模型中生成文本的随机性和创造性，调整模型的softmax输出层中预测词的概率； - 其值越大，则预测词的概率的方差减小，即很多词被选择的可能性增大，利于文本多样化 - 举例：Prompt: “The quick brown fox” - Temperature = 0.1: “The quick brown fox jumped over the lazy dog. The quick brown fox jumped over the
LLM 采样参数超详细解释
Criss@陈磊
05-09 303
temperature控制输出文本的随机性和创造性，通过调整模型预测的概率分布。通过缩放模型输出的logits（未归一化的概率）来改变softmax函数的概率分布。temperature设置越低（大概0.1到0.5），越能得到确定性的预测，temperature设置较高高（大于1.0），越不能得到确定性的预测。temperature的Greedy Decode是0，永远选择概率最高的预测，但是这并不是说设置0就是永远输出相同的预测，最高概率的预测有可能不止一个。
用python生成一个大预言模型
最新发布
10-11
要使用 Python 构建一个“大语言模型”（Large Language Model, LLM），需要明确的是：真正意义上的大语言模型（如 GPT-3、LLaMA、ChatGLM 等）通常包含数十亿甚至数千亿参数，训练需要海量数据和强大的算力（如多块 GPU/TPU 集群），普通个人无法从零开始训练。 但我们可以使用 Python 借助现有的开源库（如 Hugging Face 的 `transformers`）来**加载、微调或推理**一个预训练的大语言模型。以下是一个完整的示例：使用 Hugging Face 加载一个轻量级但功能强大的开源大模型（如 `facebook/opt-350m` 或 `gpt2`），并实现文本生成。 --- ### ✅ 使用 Python 加载并运行一个大语言模型（以 GPT-2 为例） ```python # 安装依赖（首次运行需取消注释） # !pip install transformers torch from transformers import AutoTokenizer, AutoModelForCausalLM import torch # 1. 加载预训练模型和分词器 model_name = "gpt2" # 可替换为更大的模型如 "facebook/opt-350m", "meta-llama/Llama-2-7b-hf"（需权限） tokenizer = AutoTokenizer.from_pretrained(model_name) model = AutoModelForCausalLM.from_pretrained(model_name) # 设置设备（优先使用 GPU） device = "cuda" if torch.cuda.is_available() else "cpu" model = model.to(device) # 2. 输入提示 prompt = "人工智能的未来是" # 3. 编码输入 inputs = tokenizer(prompt, return_tensors="pt").to(device) # 4. 生成文本 with torch.no_grad(): outputs = model.generate( inputs["input_ids"], max_length=100, # 最大长度 num_return_sequences=1, # 返回1段文本 do_sample=True, # 是否采样（避免重复） temperature=0.8, # 温度控制随机性 top_k=50, # 限制采样范围 top_p=0.95, # 核采样 pad_token_id=tokenizer.eos_token_id # 防止警告 ) # 5. 解码输出 generated_text = tokenizer.decode(outputs[0], skip_special_tokens=True) print("生成结果：") print(generated_text) ``` --- ### 🔍 代码解释： | 部分 | 说明 | |------|------| | `AutoTokenizer` | 自动选择适合模型的分词方式，将文本转为模型可读的数字 ID | | `AutoModelForCausalLM` | 加载用于因果语言建模的解码器模型（如 GPT 类） | | `model.to(device)` | 将模型移到 GPU（如果可用）加速推理 | | `model.generate()` | 调用生成接口，支持多种解码策略（贪婪、采样、beam search） | | `temperature`, `top_k`, `top_p` | 控制生成文本的多样性与质量 | --- ### 🧠 进阶建议： - 想体验更大模型？可以尝试： - `facebook/opt-1.3b` - `EleutherAI/gpt-neo-1.3B` - `meta-llama/Llama-3-8b`（需在 Hugging Face 申请访问权限） - 若显存不足，可启用 **量化**（如 `bitsandbytes`）或使用 `pipeline` 简化流程： ```python from transformers import pipeline generator = pipeline("text-generation", model="gpt2", device=0) # device=0 表示使用 GPU result = generator("人工智能的未来是", max_length=100, num_return_sequences=1) print(result[0]['generated_text']) ``` --- ### ⚠️ 注意事项： - 大模型对硬件要求高，推荐至少 8GB 显存运行 1B 参数以下模型。 - 商业用途需注意模型许可证（如 LLaMA 系列有严格限制）。 - 微调大模型需 LoRA、QLoRA 等高效方法降低资源消耗。 --- ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值