【GPT概念04】仅解码器（only decode）模型的解码策略

已于 2024-06-09 21:37:56 修改
阅读量3.1k 收藏 8
点赞数 7
分类专栏： NLP到ChatGPT专题 人工智能综合 文章标签： gpt NLP 机器学习
于 2024-03-21 10:05:57 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/gongdiwudu/article/details/136820145
版权
人工智能综合 同时被 2 个专栏收录
918 篇文章 ¥199.90 ¥299.90
订阅专栏
NLP到ChatGPT专题
210 篇文章 ¥29.90 ¥99.00
订阅专栏
本文深入探讨了仅解码器模型的解码策略，包括详尽搜索、贪婪搜索、光束搜索、Top-K采样和Top-P采样。这些策略在保证模型生成输出的多样性和创造性方面各有优劣，对于理解GPT如何产生精确且创新的文本至关重要。光束搜索适合翻译和摘要任务，而采样策略能带来惊喜和多样性。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

一、说明

        在我之前的博客中，我们研究了关于生成式预训练转换器的整个概述，以及一篇关于生成式预训练转换器（GPT）的博客——预训练、微调和不同的用例应用。现在让我们看看所有仅解码器模型的解码策略是什么。

     

二、解码策略

了解本专栏 订阅专栏 解锁全文
搭建GPT模型（解码器）
AI智能涌现深度研究
09-10 445
搭建GPT模型（解码器） 作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming
大语言模型原理与工程实践：Decoder 的代表：GPT 系列
AI天才研究院
07-18 1040
大语言模型原理与工程实践：Decoder 的代表：GPT 系列 关键词： 大语言模型（Large Language Model） 解码器（Decoder） GPT（Generative Pre-trained Tra
gpt2生成文本的不同解码策略
消极的人永远是对的，积极的人选择勇往直前
03-24 1389
gpt2生成文本的不同解码策略
为什么现在的LLM都是Decoder only的架构？
TFATS的博客
09-21 6568
总而言之，decoder-only 在参数量不太大时就更具有更强的zero-shot性能、更匹配主流的自监督训练范式；而在大参数量的加持下，具有了涌现能力后、可以匹敌encoder-decoder做finetuning的效果；在In Context的环境下、又能更好地做few-shot任务。decoder-only 架构符合传统的 Language Model 的模式。
gpt2的decode方式
m0_61913233的博客
05-08 341
Top-K 是直接挑选概率最高的 K 个单词，然后重新根据 softmax 计算这 K 个单词的概率，再根据概率分布情况进行采样，生成下一个单词。Top-P Sampling (Nucleus sampling) 是预先设置一个概率界限 p 值，然后将所有可能取到的单词，根据概率大小从高到低排列，依次选取单词。greedy search的主要缺点是，它只考虑了当前的高概率词，忽略了在当前低概率词后面的高概率词。关于K的选择当然是文本较短的话选择较小的K，反之文本较大就选择较大的K。
基于GPT的隐变量表征解码结构
3A的奇奇怪怪圣地
12-08 1002
有时候我们想要用GPT（的一部分）作为预训练的隐变量解码器，应该怎么办呢？最近看论文，总结了三种隐变量注入(code injection)的方式。 1.Cheng X , Xu W , Wang T , et al. Variational Semi-Supervised Aspect-Term Sentiment Analysis via Transformer[C]// Proceedings of the 23rd Conference on Computational Natural Lan...
Transformer经典模型实战：如何训练一个面向中文的GPT模型（Generative Pretrained Transformer Decode Only Transformer）
bayesian1的博客
08-21 1126
Transformer经典模型实战：如何训练一个面向中文的GPT模型（Generative Pretrained Transformer Decode Only Transformer）
GPT-3-Encoder:适用于GPT-2 GPT-3的Javascript BPE编码解码器
05-14
适用于GPT-2 / GPT-3的GPT-3-Encoder Javascript BPE编码解码器 关于 GPT-2和GPT-3使用字节对编码将文本转换为一系列整数以输入模型。 这是OpenAI原始python编码器/解码器的javascript实现，可在找到 用npm安装 npm ...
GPT|手写纯解码器的Transformer代码实现
Lys6142021的博客
06-17 534
总结构定义位置，堆叠6层DecoderLayerself.pooling = nn.AdaptiveAvgPool1d(1) # 添加池化层x = x.transpose(1, 2) # 调整维度以适应池化操作x = self.pooling(x).squeeze(2) # 应用全局平均池化# 初始化 tokenizer。
【笔记】GPT
Finks
06-28 825
【笔记】GPT 文章目录【笔记】GPT介绍原理预训练过程fine-tuning GPT和ELMO非常相似，把语言模型直接迁移到具体的NLP任务中，因此，更容易迁移学习；不过也有弊端，这种将结构带入下游任务中的模式，不一定对每个任务都适用，GPT主要还是针对分类任务和标注性任务，对于生成任务，比如机器翻译，则它的结构也没办法进行很好的迁移； 介绍 GPT在2018年由OpenAI提出，通过在大量的语料上预训练语言模型，然后再将训练好的模型迁移到具体的下游NLP任务，从而提高模型的能力； 论文地址 ： Impr
GPT模型的生成策略/解码方法
u013250861的博客
07-11 694
对于生成模型而言，如果生成目标是得到模型认为最优（即概率最高）的文本，则生成时需要解决的问题可以归结为：求一个单词序列 �^ ，使其生成概率 �(�^|�) 达到最大，这是一个典型的搜索问题，搜索空间大小为 |�|� ，其中 |�| 是词表大小， � 是句子的最大长度。得到最优解的搜索方法自然是先遍历所有可能的文本，再比较文本的生成概率，从而取得概率最高的文本，这是一种穷举搜索。但这种方法的时间复杂度、空间复杂度都非常高，因此其它一些搜索方法，如贪心搜索、集束搜索等被广泛使用。
Transformer三种模型解释
hellozhxy的博客
05-02 812
链接：https://www.zhihu.com/question/614100982/answer/3482741161总共有三种不同分类的生成式 Transformer 模型：仅编码器(encoder-only)、仅解码器(decoder-only) 和编码器-解码器(encoder-decoder)。每类模型都使用了不同的训练目标进行过训练，以解决不同类型的生成任务。
自然语言处理: 第七章GPT的搭建
victor_manches的博客
08-09 2866
大模型的使用方法如下: 分解成pre-train 和fine-tuning ，其中pre-train是收集大量的高质量的文本(或者其他多模态的输入)去让模型拥有文本理解的泛化能力，而fine-tuing则是对应各自的下游任务将pre-train好的model在下游任务中作微调，从而适应不同的任务头。因此，GPT的生成式预训练如,内容如下: 输入是上文，输出是下文，并且是单向的decoder结构，所以相比于传统的transformer结构，GPT结构更加的轻量了。
【AI知识点】三种不同架构的大语言模型（LLMs）的区别
最新发布
AI完全体
10-14 1798
在自然语言处理（NLP）中，预训练语言模型（LLMs, Large Language Models）通常基于不同的架构，如仅编码器的模型（Encoder-only）、编码器-解码器的模型（Encoder-Decoder），以及仅解码器的模型（Decoder-only）。这三种架构有着显著的区别，主要体现在功能、适用任务和性能上。下面从架构、功能、任务适用性、训练数据和推理能力等多个角度详细分析。
通俗易懂的GPT原理简介
热门推荐
qq_41771998的博客
03-31 1万+
综上所述，GPT是自然语言处理领域中最强大的模型之一，它的出色表现已经使得它在各种应用场景中得到了广泛的应用。
NLP_构建GPT模型并完成文本生成任务
weixin_42504788的博客
02-22 1821
NLP_构建GPT模型并完成文本生成任务
神经网络算法：一文搞懂GPT（Generative Pre-trained Transformer）
2401_84033492的博客
04-02 5823
GPT策略：直接微调模型。在模型的输出层添加一个线性层，将GPT的输出转换为对应类别的概率分布。
GPT-3-Encoder：GPT-2/GPT-3的JavaScript BPE编码解码库
安装完成后，开发者可以在Node.js的环境中通过`require('gpt-3-encoder')`的方式引入该编码解码器，并使用其提供的`encode`和`decode`函数来进行文本的编码和解码操作。文档中给出了一个简单的例子，展示了如何将一...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

无水先生

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值