LLM主流框架：Causal Decoder、Prefix Decoder和Encoder-Decoder

已于 2024-05-07 15:02:05 修改
阅读量7.3k 收藏 65
点赞数 40
分类专栏： GPT大模型 nlp 深度学习 文章标签： causal decoder prefix decoder encoder decoder AIGC 大模型
于 2024-01-12 13:12:58 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/TFATS/article/details/135548188
版权
本文详细介绍了Transformer模型中的mask机制，包括paddingmask和sequencemask，并对比了CausalDecoder、PrefixDecoder和EncoderDecoder架构在自注意力中的应用，以及它们在生成文本时的不同限制。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

本文将介绍如下内容：

  • transformer中的mask机制
  • Causal Decoder
  • Prefix Decoder
  • Encoder Decoder
  • 总结

一、transformer中的mask机制

在Transformer模型中，mask机制是一种用于在self-attention中的技术，用以控制不同token之间的注意力交互。具体来说，Transformer中使用两种类型的mask：padding mask 和sequence mask**。**

1、Padding mask（填充掩码）

Padding mask（填充掩码）：在自注意力机制中，句子中的所有单词都会参与计算。但是，在实际的句子中，往往会存在填充符（比如-1），用来填充句子长度不够的情况。Padding mask就是将这些填充符对应的位置标记为0，以便在计算中将这些位置的单词忽略掉。
例如，假设我们有一个batch_size为3、句子长度为5的输入序列：

[
    [1, 2, 3, -1, -1], 
    [2, 3, -1,
最低0.47元/天 解锁文章
LLM - 理解 主流大模型 LLM 都使用 Decoder Only 架构的原因 (总结8点)
AGI
08-05 1059
Decoder Only 模式泛化性更好的理论原因包括：训练难度更大、具有隐式的位置编码能力、上下文学习支持 Few-Shot、注意力矩阵是满秩的、参数更少推理更快、KV-Cache、支持 Pipeline Parallel、实验支持。LLM 主流都会使用 Decoder Only 架构，而 Encoder-Decoder、PrefixLM 等混合训练方式，相对较小模型更加合适。
大模型知识点汇总——模型基础知识
TigerZ*的博客
03-18 940
本文主要介绍LLM面试中的模型方面的基础知识点，并且每个知识点做成了一级目录的形式，便于查阅，有任何建议和意见实时修改更新。
大模型算法岗面试题系列（三）| prefix LM 和 causal LM、encoder-decoder 区别及各自有什么优缺点?
Code1994的博客
07-29 1062
Prefix LM 适合于需要利用完整上下文信息进行文本生成的任务，但可能在计算上更为复杂。Causal LM 适合于生成长文本序列，模型简单，但在利用上下文信息方面可能受限。Encoder-Decoder模型 提供了处理复杂序列转换的灵活性，但可能需要更多的计算资源和训练成本。在选择模型时，需要根据具体的任务需求、数据特性以及计算资源来决定使用哪种模型架构。
LLM 中的 Causal Decoder、Prefix Decoder 和 Encoder-Decoder
m0_38031488的博客
01-07 767
在 Transformer 模型中，mask 机制是一种用于在 self-attention 中的技术，用以控制不同 token 之间的注意力交互。Mask 机制经常被用于NLP任务中，按照作用总体来说可以分成两类。
大模型里prefix-decoder、casual-decoder、encoder-decoder区别
锴笑口常开的博客
04-28 1976
Prefix Decoder在训练时可能更关注于从输入到输出的映射，因此损失函数。
LLM(5) | Encoder 和 Decoder 架构
baiyu33的博客
02-03 3268
简而言之，encoder-style 的模型在用于分类任务的嵌入学习中很受欢迎， encoder-decoder-style 的模型被用于输出严重依赖于输入的生成性任务（例如，翻译和摘要），而 decoder-only 模型被用于包括问答在内的其他类型的生成性任务。基本上， endoder- 和 decoder- 风格的架构， 都使用相同的 self-attention 层来编码单词标记 (word tokens). 然而， 主要区别在于 encoder 的设计，是为了学习可以用于各种预测建模任务的嵌入。
比较Causal decoder、Prefix decoder和encoder-decoder
发现问题，并解决问题，批判性思维
05-17 9522
码器-解码器（encoder-decoder）：传统 Transformer 模型是建立在编码器-解码器架构上的 ，由两个 Transformer 块分别作为编码器和解码器。编码器采用堆叠的多头自注意层对输入序列进行编码以生成其潜在表示，而解码器对这些表示进行交叉注意并自回归地生成目标序列。目前，只有少数大语言模型是基于编码器-解码器架构构建的例如 Flan-T5。 因果解码器（causal decoder）：因果解码器架构采用单向注意力掩码，以确保每个输入标记只能关注过去的标记和它本身。输入和输出标记通过
A Gated Dilated Causal Convolution Based Encoder-Decoder for Network Traffic Forecasting
学习使我快乐
09-20 875
A Gated Dilated Causal Convolution Based Encoder-Decoder for Network Traffic Forecasting DOI：10.1109/ACCESS.2019.2963449 使用sci-hub输入DOI 摘要：对未来网络流量的准确估计是网络退化预警和网络资源自动编排的关键手段。长短期记忆神经网络LSTM是一种流行的网络流量预测体系结构，在许多应用中得到了成功的应用。然而，已经观察到当序列较长时，LSTM会出现记忆容量有限问题。本文提出了一种
LLM面面观之Prefix LM vs Causal LM
MENGERN的专栏
11-29 2449
前缀语言模型可以根据给定的前缀生成后续的文本，而因果语言模型只能根据之前的文本生成后续的文本。
大模型（LLM）面试全解：主流架构、训练目标、涌现能力全面解析
最新发布
吴师兄大模型的博客
01-08 1182
涌现能力（Emergent Capabilities）指模型在参数规模增加后，表现出一些原本无法完成或难以完成的任务能力。主流的开源模型体系：当前大模型主要分为三大类架构——Encoder-Decoder、Causal Decoder、Prefix Decoder，各自具有针对性强的特点和适用场景。
【论文速读】解码器-解码器架构 YOCO，《You Only Cache Once: Decoder-Decoder Architectures for Language Models》
bylander的博客
07-04 1769
文章为大型语言模型引入了一个解码器-解码器架构 YOCO，它只缓存一次键值对。它由两个组件组成，即堆叠在自解码器上的交叉解码器。自解码器有效地对全局键值 （KV） 缓存进行编码，交叉解码器通过交叉注意力重用这些缓存。整个模型的行为类似于仅解码器的 Transformer，尽管 YOCO 只缓存一次。该设计大大**降低了 GPU 内存需求，同时保留了全局注意力能力**。此外，计算流程可以在不改变最终输出的情况下提前预填充，从而显著加快预填充阶段。实验结果表明，YOCO在模型规模和训练令牌数量等各种设置下均比T
Prefix Decoder /Causal Decoder/Encoder-Decoder的区别
mingchen_peng的博客
12-15 518
定义：Prefix Decoder，也称为非因果解码器，属于Decoder only结构。输入部分使用双向注意力，输出部分使用单向注意力。在生成新的输出时，会考虑到所有之前生成的输出。特点：Prefix Decoder在处理输入序列时，模型可以同时考虑序列中的所有词。生成输出时会考虑整个输入序列，而不仅仅是之前的输出。这使得它在处理需要全局上下文的任务时表现更好。训练阶段，通常使用自回归方式进行训练，即在生成当前词时，使用之前生成的所有词。
Casual decoder 和prefix decoder 区别
一休
07-09 702
而在输出部分，Prefix Decoder则采用单向注意力，即待生成的token可以看到Encoder侧所有token（包括上下文）和Decoder侧已经生成的token，但不能看未来尚未产生的token。这种模型架构允许模型在生成文本时同时考虑前缀信息和单向生成的特性，适用于需要同时理解上下文和生成文本的任务，如条件文本生成12。Causal Decoder是一种自回归模型，它在生成文本时只能依赖于已经生成的输出，即每个token的生成只能依赖于它之前的token，而不能利用未来的token信息。
大语言模型的三种主要架构 Decoder-Only、Encoder-Only、Encoder-Decoder
热门推荐
u010899985的博客
12-22 1万+
f基于 Transformer 模型以非灰色显示：decoder-only 模型在蓝色分支，encoder-only 模型在粉色分支，encoder-decoder 模型在绿色分支。模型在时间线上的垂直位置表示它们的发布日期。开源模型由实心方块表示，而闭源模型由空心方块表示。右下角的堆积条形图显示了各公司和机构的模型数量。从时间轴上，我们可以看到：2021年前，当 OpenAI 决定在，他们实际上是在逆流而上。
Encoder、Decoder和Encoder-Decoder
张洁的笔记
11-28 2635
首先LLM有3种架构：Encoder-only、Decoder-only、encode-decode。
语言大模型知识点简介
csuzhaoqinghui的博客
01-18 2584
大模型
大语言模型架构设计
liguandong
05-21 1724
对大模型进行改造，比如T5的预训练目标是MLM，不是一个很好的生成模型，把目标改成PLM或FLM，继续训练，和微调不同，再次训练用的数据不是下游数据，而是额外的无监督文本数据。masked language modeling，MLM，训练bert时的完形填空，遮盖住文本中一部分token，让模型通过上下文猜测遮盖部分的token，可以像T5一样将任务改造成text2text形式，input和target都是一段文本，可以适配ND和ED，如果将input和target拼接起来，就可以适配CD。
LLaMA, ChatGLM, BLOOM的参数高效微调实践
丨汀、的博客
06-12 4513
大语言模型的训练分为两个阶段：（1）在海量文本语料上的无监督预训练，学习通用的语义表示和世界知识。（2）在小规模数据上，进行指令微调和基于人类反馈的强化学习，更好地对齐最终任务和人类偏好。LIMA[1] 证明了，只需要有限的指令微调数据就可以生成高质量的回复。因此，基座模型的性能是至关重要的，如果基座模型的性能不够好，指令微调和强化学习也难以取得很好的效果。目前，主流的开源大语言模型主要有三个：LLaMA、ChatGLM 和 BLOOM。
deepke-llm
07-28
DeepKE-LLM是DeepKE项目的一个版本，它是一个开源可扩展的知识图谱抽取工具。DeepKE-LLM可以实现命名实体识别、关系抽取和属性抽取等抽取任务，并支持低资源少样本、文档篇章和多模态等复杂场景。该版本基于大模型对数据进行智能解析以实现知识抽取，支持多种大模型、遵循指令和自定义知识类型、格式。\[3\] #### 引用[.reference_title] - *1* *2* *3* [开源开放 | 开源知识图谱抽取工具发布大模型版DeepKE-LLM](https://blog.youkuaiyun.com/TgqDT3gGaMdkHasLZv/article/details/131297637)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值