LLM推理中的参数：beam_search、num_sequences、do_sample、temperature、top_k、top_p、repetition_penalty

已于 2024-12-16 21:42:18 修改
阅读量2k 收藏 1
点赞数 4
CC 4.0 BY-SA版权
分类专栏： LLM推理优化 文章标签： 语言模型
于 2024-04-16 11:27:27 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/smartcat2010/article/details/137817535
本文详细解释了在使用HuggingFace库的生成模型时，关键参数如beam_search（保留top解数量）、do_sample（是否采样）、temperature（温度控制）以及top_k和top_p（采样限制）的作用。这些设置对模型生成的多样性和确定性有重要影响。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

原文：

https://huggingface.co/blog/how-to-generate

beam_search：动态规划每个step保留几个top解；

num_sequences: generate输出几个top序列。num_sequences<=beam_search。

do_sample: 设为True，则每个输出都进行采样；设为False，则每个输出都greedy取top。

temperature: GPT4取值范围是0~2。越大，所有token被采样的概率越接近；越小，采样概率拉的越开。设为0时，greedy取top1。

如下公式，在softmax这里有改动，t就是temperature，实际可以取>0的任何值，只是一般都取1附近，0.5~2之间。

top_k: 每一步，只从概率最高的K个token里采样。设为0则disable该机制（无top_p的话，则所有token都参与采样）。

top_p: 取值范围0~1。每一步，只从按概率从高到底排序的tokens，前面累加概率达到p的这些词，参与采样。

repetition_penalty：如果一个

最低0.47元/天 解锁文章

200万优质内容无限畅学
NLP生成参数全解析：掌控AI输出的秘密：`temperature`、`top_p`、`top_k`、`do_sample`
ZJQ的博客
06-04 431
NLP生成模型的关键参数包括temperature（控制随机性，低值精准、高值创意）、top_p（动态采样）和top_k（限定候选词），配合do_sample启用随机策略。附加参数如repetition_penalty避免重复，seed确保可复现性。参数组合需场景适配：低温度（0.4-0.7）适合代码生成，高温度（1.0-1.5）适用于创意写作。优化输出需平衡多样性与可控性，实验调整是关键。
LLM 大模型学习必知必会系列(一)：VLLM性能飞跃部署实践：从推理加速到高效部署的全方位优化
强化学习曾小健
08-03 1899
do_sample：布尔类型。是否使用随机采样方式运行推理，如果设置为False，则使用beam_search方式temperature：大于等于零的浮点数。公式为：从公式可以看出，如果T取值为0，则效果类似argmax，此时推理几乎没有随机性；取值为正无穷时接近于取平均。一般temperature取值介于[0, 1]之间。取值越高输出效果越随机。如果该问答只存在确定性答案，则T值设置为0。反之设置为大于0。top_k：大于0的正整数。从k个概率最大的结果中进行采样。
LLM生成文本的 束搜索参数是什么（Beam Search）
ZJQ的博客
04-09 125
束搜索（Beam Search）是一种在序列生成任务（如机器翻译、文本生成等）中常用的启发式搜索算法，用于在搜索空间中寻找最优的生成序列。然后，束搜索会从这 6 个扩展后的序列中选择概率最高的两个序列，假设选择了。在序列生成过程中，每一步都会有多个可能的选择（即候选标记）。表示每一步会保留概率最高的 5 个候选序列，在第一步，束搜索会保留概率最高的两个标记。在第一步，贪心搜索会选择概率最高的标记。贪心搜索会在每一步都选择概率最高的标记。而束搜索则会在每一步保留概率最高的。，贪心搜索会选择概率最高的标记。
LLM推理参数（top_k，top_p, temperature, num_beams）
ZhengrongYue的博客
04-06 3327
LLM推理参数（top_k，top_p, temperature, num_beams）
LLM 推理常见参数
SQingL的博客
01-19 1296
现在常见的LLM基本都是只包含的，每个Token在输入模型的TransformerDecoder之前，都会首先从TokenEmbedding（有些也叫WordEmbedding）中通过查表获取对应的embedding向量，然后将embedding向量输入TransformerDecoder，并且在最后一层输出的也是同维度的embedding。在预测下一个Token时，实际只利用了上一个Token的embedding。如下图所示，将输入“
大模型加载的参数介绍及推荐表，temperature、top_k、top_p、num_beams、num_beam_groups、do_sample等
热门推荐
大模型天花板
11-29 2万+
如果需要非常清晰读懂每个参数，需要了解一下与大模型配套的。
大模型 do_sample 参数
二分掌柜的
03-02 707
flyfish
LLM大语言模型之Generate/Inference生成/推理参数与解码策略原理与代码实现
Kingpeaceful的博客
09-09 1605
LLM大语言模型Generate/Inference生成或者说推理时，有很多的参数和解码策略，比如OpenAI在提供GPT系列的模型时，就提供了很多的参数[1]，那这些参数的原理以及代码上怎么实现的呢？本文将尽力进行一一的解释
AIGC 领域中 AIGC 写作的智能优化
最新发布
AI天才研究院
05-22 925
AIGC(Artificial Intelligence Generated Content)作为人工智能领域的重要分支，正在深刻改变内容创作的方式。文本质量提升方法内容连贯性优化风格控制和个性化创意激发技术效率与质量平衡策略介绍AIGC写作的基本概念和技术背景深入分析核心算法和优化原理通过数学模型和代码实例展示技术细节探讨实际应用场景和案例提供工具资源和未来展望AIGC：人工智能生成内容，指利用AI技术自动生成文本、图像、音频等内容LLM。
vllm generate推理与Huggingface generate推理对齐(长样本)
鲨鱼儿的博客
06-24 9717
一、
vllm源码解析(一)：整体架构与推理代码
m0_74825634的博客
01-17 1104
vlllm官方代码更新频发,每个版本都有极大变动, 很难说哪个版本好用.第一次阅读vllm源码是0.4.0版本,对这版圈复杂度极高的调度代码印象深刻0.4.1对调度逻辑进行重构,完全大变样, 读代码速度快赶不上迭代的速度了。现在已经更新到0.5.4, 经过长时间观察，发现主要的调度逻辑基本也稳定了下来, 应该可以作为一个固话的版本去阅读。本文解读依据vllm 0.5.4版本. 没有修改任何代码,大家不必担心夹带私货！打算以六篇文章的篇幅剖析vllm，希望能对大家有所帮助。
【NLP】关于参数do_sample的解释
weixin_43941438的博客
07-21 5410
do_sample被设置为True，意味着文本生成将采用随机采样方式，而temperature参数则会影响采样时概率分布的形状，从而影响生成文本的多样性。较低的temperature值会使分布更加尖锐，减少随机性，更倾向于选择高概率的词。在自然语言处理（NLP）领域，特别是在使用神经网络模型进行文本生成时，do_sample是一个常见的参数，用于控制模型生成文本的方式。具体来说，do_sample参数决定模型是否采用随机采样（sampling）的方式来生成下一个词，还是仅仅选择最有可能的词。
深入理解文本生成模型参数：Top-k、Top-p、Temperature 和 Beam Search
weixin_41174300的博客
10-02 1818
在自然语言处理（NLP）领域，文本生成任务（例如机器翻译、文本摘要和对话生成）是一个重要的研究方向。生成文本时，通常使用诸如 GPT、BERT 等模型。然而，要生成符合预期的文本，仅仅依靠模型本身还不够。如何在解码时控制生成策略对于模型的表现至关重要。top_ktop_p和num_beams，并配合实际例子展示它们在生成效果上的不同之处。
【深度学习笔记】10_10 束搜索beam-search
RIKI_1
03-15 1840
注：本文为开源内容，部分标注了个人理解，仅为个人学习记录，无抄袭搬运意图。
transformers.generator_utils函数源码解析之RepetitionPenaltyLogitsProcessor
yangyanbao8389的博客
12-01 2511
主要记录源码中解决文本生成中词组重复出现的问题，代码中有具体操作解析。 class RepetitionPenaltyLogitsProcessor(LogitsProcessor): r""" :class:`transformers.LogitsProcessor` enforcing an exponential penalty on repeated sequences. Args: repetition_penalty (:obj:`float`):
关于LLM的TOP-p、top_K、temperature
2301_77727994的博客
02-27 1553
在使用开源的大语言模型或者调用大语言模型API的时候会遇到temperature、top_p、top_k等参数，对于不了解的LLM的原理的人，可能一头雾水，不知道如何设置。
LLM超参数temperature，top-p使用
qq_30921029的博客
05-09 3471
一般来说，prompt 越长，描述得越清楚，模型生成的输出质量就越好，置信度越高，这时可以适当调高 temperature 的值；Top-p 通常设置为较高的值（如 0.75），目的是限制可能被采样的低概率 token 的长尾。从上面的原理可以看到，temperature、top-p等参数用于控制生成文本的随机性，值越大随机性越大，意味着多样性和创造性，但可能产生胡言乱语。大模型选择输出token的时候，会有一个采样策略，用于选择输出哪些token，其中两种主要的采样方法就是top-k和top-p。
nm: 'libtensorrt_llm.so': No such file
03-14
<think>好的，我现在需要解决用户遇到的“libtensorrt_llm.so文件不存在”的问题。根据用户提供的引用内容，首先应该从几个常见方向入手：文件路径和权限、安装完整性、环境变量设置、手动指定库路径以及版本兼容性。 首先，用户提到libnvinfer.so等文件无法打开的问题，解决方案包括检查路径、权限和安装是否正确[^1]。这可能同样适用于libtensorrt_llm.so，所以第一步要确认这个文件是否真的存在于系统中。用户可能需要使用find或locate命令来搜索文件的位置。如果找不到，说明安装可能有问题，需要重新安装TensorRT或TRT-LLM。 然后，引用[3]提到在本地工作站编译TRT-LLM失败后，转而使用公有云环境进行编译。这可能意味着TRT-LLM的编译过程存在依赖问题，用户可能需要确保所有依赖项都正确安装，或者考虑在干净的环境中重新编译。如果用户是自己编译的，可能需要检查编译日志是否有错误，确保make过程顺利完成。 接下来是环境变量的问题。根据引用[1]，LD_LIBRARY_PATH需要包含TensorRT的库路径。如果libtensorrt_llm.so所在的目录不在这个变量中，程序就无法找到它。用户需要确认路径是否正确设置，可能需要将路径添加到.bashrc或.zshrc中，并应用更改。 手动指定库路径也是一个方法，如引用[1]和[4]提到的使用LD_PRELOAD或链接时指定-L参数。用户如果知道文件的具体位置，可以通过这些方式临时或永久地解决路径问题。 版本兼容性方面，引用[2]指出Python 3.6可能存在兼容性问题，而Python 3.5正常。虽然当前问题不是Python直接相关，但需要检查TensorRT和TRT-LLM的版本是否与其他组件（如CUDA、cuDNN）兼容。用户应查看官方文档，确认所有依赖的版本匹配，必要时升级或降级某些组件。 如果用户是通过Docker环境安装，如引用[5]提到的使用Dockerfile，可能需要检查镜像是否正确构建，是否包含所需的库文件。用户可能需要重新构建镜像，确保编译步骤正确，或者使用官方提供的镜像来避免依赖问题。 最后，如果以上步骤都无法解决，用户可能需要参考引用[3]的方法，在公有云或干净的环境中重新配置和编译，避免本地环境的干扰。同时，查阅TRT-LLM的官方文档和社区支持，寻找类似问题的解决方案，或者提交issue寻求帮助。 总结下来，解决步骤应该是：确认文件存在→检查安装→设置环境变量→处理路径→验证版本→考虑Docker→寻求社区帮助。需要一步步排除可能的原因，确保每个环节都正确配置。</think>### 解决“libtensorrt_llm.so文件不存在”错误的步骤 #### 1. **确认文件是否存在** - 使用命令搜索文件： ```bash sudo find / -name "libtensorrt_llm.so" 2>/dev/null ``` - 如果未找到，可能是未正确安装或编译 **TRT-LLM**（TensorRT-LLM库）[^3]。 #### 2. **检查TRT-LLM的安装或编译** - **安装方式**： - 若通过源码编译，需确保编译过程无报错： ```bash git clone https://github.com/NVIDIA/TensorRT-LLM.git cd TensorRT-LLM mkdir build && cd build cmake .. -DTRT_LIB_DIR=/path/to/TensorRT/lib make -j$(nproc) ``` > 若编译失败，检查依赖项（如TensorRT、CUDA、cuDNN版本是否兼容）[^4]。 - 若通过预编译包安装，验证包完整性。 - **路径问题**：编译后生成的库文件默认在`build/lib`目录下，确认是否复制到系统库路径（如`/usr/lib`或`/usr/local/lib`）。 #### 3. **设置环境变量** - 添加库路径到`LD_LIBRARY_PATH`： ```bash export LD_LIBRARY_PATH=/path/to/trt_llm/libs:$LD_LIBRARY_PATH ``` 并写入`~/.bashrc`或`~/.zshrc`以持久化。 #### 4. **手动指定库路径** - 运行程序时显式指定库路径： ```bash LD_PRELOAD=/path/to/libtensorrt_llm.so ./your_program ``` 或编译时链接： ```bash gcc -L/path/to/libs -ltensorrt_llm -o your_program ``` #### 5. **验证版本兼容性** - 确保以下组件版本匹配： - **TensorRT**：需与TRT-LLM要求的版本一致（如TensorRT 8.6+）。 - **CUDA/cuDNN**：参考TRT-LLM官方文档的版本要求[^2][^4]。 - 若使用Python，检查Python版本（如Python 3.6可能不兼容，建议3.8+）。 #### 6. **Docker环境配置** - 若通过Docker运行，确保镜像包含`libtensorrt_llm.so`： ```dockerfile FROM nvidia/cuda:12.2.0-devel-ubuntu22.04 RUN apt-get update && apt-get install -y tensorrt-llm COPY /path/to/libtensorrt_llm.so /usr/lib ``` 或直接使用NVIDIA官方镜像[^5]。 #### 7. **重新安装或求助社区** - 若仍无法解决，尝试在干净环境（如云服务器）重新安装。 - 参考TensorRT-LLM的GitHub Issues或NVIDIA开发者论坛。 --- ### 相关问题 1. 如何检查TensorRT和CUDA的版本兼容性？ 2. 编译TRT-LLM时出现`undefined symbol`错误怎么办？ 3. 在Docker中如何正确配置TensorRT库路径？
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值