【AIGC】大语言模型的采样策略--temperature、top-k、top-p等

已于 2023-12-08 11:14:41 修改
阅读量1.3k 收藏 3
点赞数 1
分类专栏： AIGC 文章标签： AIGC 语言模型 人工智能
于 2023-12-08 11:10:52 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/code_lt/article/details/134873565
版权
LLM探索：GPT类模型的几个常用参数 Top-k, Top-p, Temperature
强化学习曾小健
06-21 6260
上一篇文章介绍了几个开源LLM的环境搭建和本地部署，在使用ChatGPT接口或者自己本地部署的LLM大模型的时候，经常会遇到这几个参数，本文简单介绍一下~top_ptop_k。
开源模型应用落地-音乐生成模型-openai/jukebox深度使用-AIGC应用探索（九）
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
07-05 7437
学习openai/jukebox音乐生成模型，让我们能够探索到音乐创作的全新边界和可能性
大模型中top-p&top-k&temperature如何共同使用——Gemma为例子
REfusing的博客
04-17 961
之前系统学习了大模型的解码方式，Top-p, Top-k, Beam-search, Greedy, temperature等等，具体使用的时候，也清楚采用这些方式混合使用，但是具体怎么混合，有些模糊。看了一篇相关文章大模型文本生成——解码策略（Top-k & Top-p & Temperature），如下图所示，解决了我一些理解方面的问题，但是感觉还有有些模糊，仔细研究了一下Gemma，记录一下。
大语言模型中Top-K和Top-P是两种核心的文本生成策略
gs80140的专栏
03-07 441
在大语言模型中，和是两种核心的文本生成策略，用于平衡生成内容的多样性与合理性。
大模型推理常见采样策略：Top-k, Top-p, Temperature, Beam Search
qq_43243579的博客
02-28 2万+
大模型推理采样策略，举例通俗易懂汇总介绍
具有温度系数（Temperature）的Softmax函数
Harry的博客
04-06 4920
softmax 函数是一种激活函数，通常用作神经网络最后一层的输出函数。该函数是两个以上变量的逻辑函数的推广。Softmax 将实数向量作为输入，并将其归一化为概率分布。softmax函数的输出是与输入具有相同维度的向量，每个元素的范围为0到1。并且所有元素的总和等于1。
大模型加载的参数介绍及推荐表，temperature、top_k、top_p、num_beams、num_beam_groups、do_sample等
热门推荐
大模型天花板
11-29 2万+
如果需要非常清晰读懂每个参数，需要了解一下与大模型配套的。
大模型推理常见采样策略总结：贪心解码， Beam Search, Top-k, Top-p, Temperature等
samoyan的博客,记录技术成长~
04-11 3733
较低的温度值会使得模型倾向于选择概率较高的词，而较高的温度值会增加低概率词被选中的机会，从而增加生成文本的多样性。Top-p Sampling，也称为Nucleus Sampling，是一种更加精细的采样策略，它选择累计概率超过某个阈值p的最小集合，然后从这个集合中随机采样。Top-k Sampling 是一种随机采样策略，它从模型预测的词汇分布中选择概率最高的k个词，然后基于这些词的概率分布随机选择下一个词。贪心解码是一种简单直接的解码策略，它在每一步都选择概率最高的下一个词。
开源模型应用落地-音乐生成模型-openai/jukebox深度使用-AIGC应用探索（八）
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
06-21 1万+
学习openai/jukebox音乐生成模型，让我们能够探索到音乐创作的全新边界和可能性
调教AI的“脑洞开关“：大模型参数top_p深度解析
catastrophe_zy的博客
02-13 1053
top_p参数（又称核采样/Nucleus Sampling）是控制AI生成文本多样性的关键参数，它像动态过滤器一样，决定每次预测时从多大范围的候选词中选择输出。其工作原理如下：每次生成token时，模型会输出所有可能词的概率分布。
大语言模型原理与工程实践：案例介绍
AI天才研究院
09-06 1038
大语言模型原理与工程实践：案例介绍 1. 背景介绍 1.1 问题的由来 随着互联网的普及和数字化信息爆炸，人们对于自然语言处理的需求日益增加。从搜索引擎到智能客服，从文本生成到情感分析，语言处理技术在各行各业发挥着重要作用。然而，传统的方法往
LLM - 模型参数设置
AI工程化、开源分享、文档翻译、代码笔记
05-01 490
调整这些设置对于提高响应的可靠性非常重要，你可能需要进行一些实验才能找出适合您的用例的正确设置。越高，某个词再次出现的可能性就越小，这个设置通过给 重复数量多的 Token 设置更高的惩罚 来减少响应中单词的重复。：是对下一个生成的 token 进行惩罚，这个惩罚和 token 在响应和提示中出现的次数成比例。在我们开始一些基础示例之前，请记住最终生成的结果可能会和使用的大语言模型的版本而异。如果您希望模型生成多样化或创造性的文本，您可以设置更高的。，如果您希望模型生成更专注的内容，您可以设置更低的。
06浅谈大语言模型可调节参数TopP和TopK
记录个人日常所学所思
07-07 2187
浅谈大预言模型本文生成随机性控制超参之top_K和top_P
什么是Top-p采样与Top-k采样？大模型推理时如何同时设置？解析Transformers库源代码
阿正的梦工坊
12-27 1753
Top-k可能会限制候选词的数量，导致生成文本的多样性降低。通过引入Top-p，可以保证在保证概率约束的同时，仍然有一定的多样性。
大模型中常见的名词：token、temperature、top-p、top-k
hahaha_1112的博客
08-19 1581
Token是文本处理的基本单位。控制生成文本的随机性和多样性。Top-p和Top-k是两种常见的采样方法，用于控制生成模型的输出，前者基于累积概率，后者基于固定的候选数量。
3、大模型重要参数解析top_k、top_p、temperature
hugo
06-30 1549
温度越低，概率分布差距越大，越容易采样到概率大的字。温度越高，概率分布差距越小，增加了低概率字被采样到的机会。
Huggingface的GenerationConfig 中的top_k与top_p详细解读
Hanze的博客
04-25 9934
举个例子，在使用语言模型生成「这个周末天气很」的句子时，top-k保留概率最高的三个单词为「好」「热」「冷」，此时将剩余单词进行概率归一化，把它们的概率设定为0，之后在三个保留的单词中随机选择一个，比如选择了「好」后，这个句子就变成了「这个周末天气很好」。从这个例子可以看出，top-k和top-p可以结合使用，确保我们生成的语句既具有多样性，又具有合理性，同时可以吸引读者的注意力。接下来，我们可以使用top-p的方法，保留概率的累计和达到0.9的单词，也就是选取橙子、苹果、草莓三种水果。
逐行讲解大模型解码超参数大全（temperature、top-k、top-p等所有参数）
芒果不茫的博客
10-23 2711
大模型解码策略除了temperature、top-k、top-p，你还知道哪些呢，本文全面解析transformers源码中的所有策略
什么叫大语言模型
最新发布
04-09
<think>好的，用户想了解大语言模型的定义和工作原理。首先，我需要从站内引用中找到相关信息。引用[1]提到，大语言模型是使用海量数据集训练的深度学习算法，底层使用多个转换器模型，属于神经网络。引用[2]则补充了它们在NLP和AIGC中的核心地位，并涉及原理和应用。 接下来，我需要整理这些信息，用清晰的结构回答用户。定义部分要说明大语言模型的基本概念，包括基于Transformer、大规模预训练、参数规模等。工作原理部分需要分步骤，比如Transformer架构、预训练和微调、自监督学习等。 同时，用户的问题可能隐含更深层的需求，比如想了解技术细节或应用场景，所以生成的相关问题要覆盖这些方面，比如核心架构、训练挑战、应用场景和优化策略。 要确保使用正确的中文术语，避免翻译腔。同时注意使用行内公式的格式，比如提到损失函数时用$L(θ)$，并检查LaTeX语法是否正确。最后，自然地在引用处添加标识符，如[^1][^2]。 现在组织内容，先定义，再分点工作原理，保持逻辑连贯。确保每个部分都有引用支持，并且语言通俗易懂，适合不同层次的读者理解。</think>### 大语言模型的定义与工作原理 #### 一、大语言模型（LLM）的定义 大语言模型（Large Language Model, LLM）是一种基于深度学习技术构建的**超大规模神经网络模型**，其核心目标是通过学习海量文本数据，掌握语言的统计规律和语义关联，从而完成文本生成、翻译、问答等多种自然语言处理（NLP）任务[^1]。其关键特征包括： 1. **基于Transformer架构**：使用自注意力机制（Self-Attention）捕捉长距离依赖关系。 2. **大规模预训练**：在无标注文本数据（如书籍、网页）上训练，学习通用语言表示。 3. **参数规模庞大**：模型参数量通常超过十亿级别（如GPT-3达1750亿参数）。 #### 二、工作原理分步解析 1. **Transformer架构的核心作用** 大语言模型的基础是Transformer模型，其核心组件包括： - **自注意力机制**：通过计算序列中每个词与其他词的相关性权重，动态调整上下文表示，例如： $$ \text{Attention}(Q,K,V) = \text{softmax}\left( \frac{QK^T}{\sqrt{d_k}} \right)V $$ 其中$Q$（Query）、$K$（Key）、$V$（Value）分别表示输入的不同投影矩阵。 - **多头注意力**：并行运行多个注意力头，捕捉不同层次的语义信息[^2]。 2. **预训练与微调流程** - **预训练阶段**：模型通过自监督学习任务（如掩码语言建模MLM或自回归预测）从海量文本中学习通用语言模式，目标是最小化损失函数$L(θ)$。 - **微调阶段**：在特定任务的小规模标注数据上调整模型参数，例如问答或情感分析。 3. **生成文本的运作机制** 当输入提示（Prompt）时，模型通过以下步骤生成内容： - **编码输入**：将文本转换为词向量$E(x_i)$并添加位置编码。 - **逐层解码**：通过多层Transformer块迭代计算隐藏状态，最终输出概率分布$P(w_t | w_{1:t-1})$。 - **采样策略**：根据温度（Temperature）、Top-p采样等方法选择下一个词，循环生成直至完成。 #### 三、典型应用场景 1. **内容生成**：自动撰写文章、代码或创意文本。 2. **知识问答**：基于训练数据中的信息提供答案。 3. **语义理解**：情感分析、文本分类等任务。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值