encoder-decoder

原创 已于 2023-08-14 21:32:43 修改 · 462 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#llama

于 2023-08-14 19:32:32 首次发布
部署运行你感兴趣的模型镜像

transformer的encoder-decoder

如果考虑一个由 2 个堆叠编码器和解码器组成的 Transformer，看起来会是这样的：在这里插入图片描述
文章写的非常好：http://jalammar.github.io/illustrated-transformer/
其中解码器中的自关注层的运行方式与编码器中的运行方式略有不同：
在解码器中，自注意力层只允许关注输出序列中较早的位置。-inf这是通过在自注意力计算中的 softmax 步骤之前屏蔽未来位置（将它们设置为 ）来完成的。
“编码器-解码器注意力”层的工作方式与多头自注意力类似，只不过它从其下面的层创建查询矩阵，并从编码器堆栈的输出中获取键和值矩阵。

encoder-only

decoder-only

您可能感兴趣的与本文相关的镜像

ACE-Step

ACE-Step

音乐合成
ACE-Step

ACE-Step是由中国团队阶跃星辰（StepFun）与ACE Studio联手打造的开源音乐生成模型。 它拥有3.5B参数量，支持快速高质量生成、强可控性和易于拓展的特点。 最厉害的是，它可以生成多种语言的歌曲，包括但不限于中文、英文、日文等19种语言

RNN Encoder-Decoder
Pythonlittlegirl的博客
08-08 1186
RNN Encoder-Decoder模型是一个sequence to sequence模型。该模型将输入序列映射到一个输出序列，而输入序列的长度和输出序列的长度可以是变化的。这种模型最常见的任务是机器翻译。从一种语言的句子（sequence）翻译成另一种语言的句子（sequence）。RNN Encoder-Decoder模型的想法很简单：（1）一个编码器Encoder处理输入序列Xx1xnxXx1...xnx​。
告别混淆！深入浅出理解三大Transformer架构：Encoder-Only, Decoder-Only & Encoder-Decoder
weixin_44238320的博客
09-26 1007
本文深入探讨了NLP领域三种核心架构（Encoder-Only、Decoder-Only和Encoder-Decoder）的本质区别与应用场景。通过重新定义编码器为"分析器"、解码器为"决策器/生成器"，文章清晰揭示了三种架构的分工：Encoder-Only擅长深度理解与分类，Decoder-Only长于开放生成，而Encoder-Decoder则是精确转换任务的最佳选择。特别以语音识别和文本转语音为例，阐释了Encoder-Decoder架构在需要严格输入输出对齐场
Decoder-only架构
diannao720的博客
08-08 3912
Decoder-only架构被广泛应用于各种NLP任务，其中最著名的是OpenAI的GPT系列模型（如GPT、GPT-2和GPT-3）。在预训练之后，模型可以进行有监督微调，用于特定的下游任务（如机器翻译、文本生成等）。在传统的编码器-解码器架构中，编码器负责将输入序列（如文本）编码成一个稠密的表示，然后解码器根据这个表示生成输出序列（如翻译的文本）。总之，Decoder-only架构是一种通过解码器生成输出序列的神经网络模型架构，它具备强大的语言生成和理解能力，在自然语言处理领域有广泛的应用。
Transformer 三大变体之Decoder-Only模型详解
xxue345678的博客
12-02 1万+
Transformer 的三大变体：Decoder-Only 专注生成文本，Encoder-Only 擅于分析文本，Encoder-Decoder 融合编解码实现文本生成和文本分析。
Encoder-Decoder实现详解
qq_62351557的博客
09-09 1844
在序列到序列（Sequence-to-Sequence）任务中，Encoder-Decoder架构是解决机器翻译、文本摘要等问题的经典方案。本文将从核心逻辑到代码实现，层层递进地解析基于RNN的编码器（Encoder）和解码器（Decoder），帮助读者快速理解其设计思路与工作原理。input_size：输入词汇表大小（如源语言有5000个不同单词）。：特征维度（如256），统一词嵌入和RNN的维度，确保数据流通畅。：目标词汇表大小（如目标语言有4345个不同单词）。
Encoder-Decoder
qq_47537678的博客
12-14 5988
2021SC@SDUSC 为了更好的理解模型代码，进行的相关知识补充学习 Encoder-Decoder （以下借鉴网络博客内容） 模型主要是 NLP 领域里的概念。它并不特值某种具体的算法，而是一类算法的统称。Encoder-Decoder 算是一个通用的框架，在这个框架下可以使用不同的算法来解决不同的任务。 Encoder-Decoder 这个框架很好的诠释了机器学习的核心思路： 将现实问题转化为数学问题，通过求解数学问题，从而解决现实问题 文章目录Encoder-Decoder前言Seq2Seq
【深度解析】三大Transformer架构：Encoder-only、Decoder-only与Encoder-Decoder
weixin_48389642的博客
10-01 1142
NLP三大模型架构解析：Transformer衍生出的Encoder-only、Decoder-only和Encoder-Decoder三大主流架构各具特色。
encoder-only / decoder-only / encoder-decoder架构分析
成长之路
08-11 1299
维度参数量低（1亿-4亿）高（十亿-万亿）中高（编码+解码双倍）训练成本低中高典型任务分类/理解生成/对话翻译/摘要2025占比＜10%＞80%～10%核心争议与趋势Decoder-only主导原因零样本能力与生成灵活性满足通用AI需求。工程友好：推理并行化程度高，更适合大模型部署。Encoder-Decoder潜力研究指出：同等参数量下，Encoder-Decoder在精确任务上有未释放潜力（需系统验证）。融合架构探索前缀语言模型。
Encoder-Decoder 模型架构详解
热门推荐
Joselynzhao
03-02 3万+
文章目录概述Seq2Seq（ Sequence-to-sequence ）Encoder-Decoder的缺陷Attention 机制的引入Transformer中的Encoder-Decoder 概述 Encoder-Decoder 并不是一个具体的模型，而是一个通用的框架。 Encoder 和
编码器-解码器模型（Encoder-Decoder)
极光喵的博客
03-10 1万+
Encoder-Decoder算法是一种深度学习模型结构，广泛应用于自然语言处理（NLP）、图像处理、语音识别等领域。它主要由两部分组成：编码器（Encoder）和解码器（Decoder）。如图1所示，这种结构能够处理序列到序列（Seq2Seq）的任务，如机器翻译、文本摘要、对话系统、声音转化等。图1 编码器-解码器结构文本摘要是一种将长文本压缩成短文本的任务，其中Encoder-Decoder模型通常用于生成一个摘要句子。
基于深度学习Encoder-Decoder框架的聊天机器人.zip
02-15
【标题】基于深度学习Encoder-Decoder框架的聊天机器人 在当今的科技领域，人工智能（AI）正在迅速发展，尤其在自然语言处理（NLP）方面取得了显著的进步。聊天机器人是AI应用的重要一环，它利用复杂的算法模拟人类...
精选资源
jpeg压缩的matlab代码-JPEG-Encoder-Decoder-for-Gray-Scale-Images:灰度图像的JPEG编码器
05-22
在`JPEG-Encoder-Decoder-for-Gray-Scale-Images-master`这个文件夹中，你可能会找到以下文件： - `encoder.m`：JPEG编码器的MATLAB实现。 - `decoder.m`：对应的解码器。 - `test_image.jpg`：用于测试的灰度图像。...
精选资源
encoder-decoder-lstm:使用编解码器LSTM进行序列预测
05-11
编码-解码器-lstm 使用keras，numpy和panda的LSTM模型进行序列到序列的预测。 笔记 该项目是使用PyScaffold 3.0.3设置的。 有关PyScaffold的详细信息和使用信息，请参见 。
精选资源
encoder-decoder:图像分割需要“ U”型网络有哪些功能？
03-31
编码器 图像分割需要“ U” /编码器-解码器网络有哪些功能？ 编码器-解码器网络 自动编码器 带有快捷方式的自动编码器 具有两个解码器的自动编码器 baseline: UNet 具有两个解码器的UNet UNet 2+ /（已修改）...
精选资源
Line-Encoder-Decoder：带有扰码的行编码器解码器
02-26
cd Line-Encoder-Decoder 安装要求 pip3 install -r requirements.txt 运行服务器 python manage.py runserver 此项目的工作演示可在 即将发生的变化 改善使用者介面 使用PlotDigitiser实现解码部分。
LLaMA-Factory 课程答疑系列一：10个关键问题速查，官方认证解法让训练推理不踩雷
Lab4AI的博客
12-17 662
A：微调日志中进度条显示 error 通常是 进度条组件的渲染问题，而非训练程序的功能错误。其本质是工具库（如 tqdm）在特定终端环境下无法正常动态刷新进度条，因此输出 error 标记。只要训练日志中后续有正常的训练指标（如损失、步数）输出，训练逻辑即为正常，无需担心。
llama.cpp Server 引入路由模式：多模型热切换与进程隔离机制详解
deephub
12-17 1316
llama.cpp 于2025年12月11日发布路由模式，支持多模型动态加载与毫秒级切换，无需重启服务。采用多进程隔离架构，兼容OpenAI API，支持自动发现、按需加载、LRU淘汰及手动管理，显著提升本地多模型协作的效率与稳定性，是轻量级推理服务框架的重要升级。
Qwen-Video-8B与LLaMA-Factory联动实现垂类视频理解
最新发布
Lab4AI的博客
12-19 601
Qwen3-VL的目标，是让模型不仅能“看到”图像或视频，更能真正看懂世界、理解事件、做出行动。为此，Qwen团队在多个关键能力维度上做了系统性升级，力求让视觉大模型从“感知”走向“认知”，从“识别”迈向“推理与执行”。LLaMA Factory是一个一站式的大模型微调框架。它整合了主流的高效训练技术，适配市场上数百个开源模型，让用户无需编写代码就能在网页端完成模型微调全流程。无论是角色扮演、专业问答还是多模态应用，LLaMA Factory都能提供可视化、可控、轻量化的微调解决方案。
多模态赋能情绪理解：Qwen3-VL+LLaMA-Factory 的人脸情绪识别实战
Lab4AI的博客
12-17 876
本项目依托Lab4AI平台，基于LLaMA-Factory成功对Qwen3-VL进行了完整的微调流程。我们将传统的人脸情绪识别任务与多模态大语言模型（MLLM）相结合，探索了MLLM在视觉情绪理解中的应用。通过微调Qwen3-VL，我们成功将传统的分类任务转化为多模态推理任务，显著提升了模型在复杂场景下的鲁棒性和准确率。这一方案不仅在人脸情绪识别上取得了显著提升，还为其他视觉任务的多模态大模型应用提供了新的思路，具有广泛的应用前景。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值