Why are most LLMs decoder-only?

LLM架构解析
最新推荐文章于 2025-11-25 12:11:01 发布
最新推荐文章于 2025-11-25 12:11:01 发布
阅读量287 收藏
点赞数 9
CC 4.0 BY-SA版权
分类专栏： LLM Daily 文章标签： 语言模型 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/140287286

本文是LLM相关博客，原文出自https://medium.com/@yumo-bai/why-are-most-llms-decoder-only-590c903e4789。

为什么大多数LLM decoder-only？

我在DeltaHacks的辅导过程中遇到了这个问题，无法想出一个对自己足够有说服力的答案。所以我挖了一些洞，结果发现这是一个有趣的兔子洞。它涉及到对Transformer、架构、数学和工程优化的理解。在这里，我将分享我一路上捡到的两分钱。

语言模型体系结构概述

让我们先熟悉一些体系结构术语。

Encoder and Decoder

  • 编码器：处理输入数据并将其转换为压缩表示，捕获基本信息。在翻译任务中，编码器将英语句子转换为表示其语言特征和含义的向量。

  • 解码器：采用编码表示并生成输出，通常采用不同的形式。在同一翻译任务中，解码器采用英语句子的编码表示，并生成法语句子的等效表示。

Encoder-Only Models

  • 示例：基于BERT的模型
  • 预训练方法：掩蔽语言建模（
了解本专栏 订阅专栏 解锁全文 超级会员免费看
LM-Cocktail[2]：一种创新的模型合并方法打破预训练语言模型微调后的性能局限，实现语言模型在一般任务与特定领域的均衡高性能
丨汀、的博客
07-02 684
LM-Cocktail：一种创新的模型合并方法打破预训练语言模型微调后的性能局限，实现语言模型在一般任务与特定领域的均衡高性能
LLM 和生成式 AI 简介：LLM 架构、提示词工程和 LLM 配置 & 大型语言模型中的思维链（CoT）：介绍和应用
AI天才研究院
10-31 825
Attention is All You Need 是 Google 研究人员于 2017 年发表的一篇研究论文，其中介绍了 Transformer 模型，这是一种新颖的架构，彻底改变了自然语言处理 (NLP) 领域，并成为我们现在所知的AI大模型的基础 - 例如如 GPT、PaLM 等。作者证明，他们的模型在多项机器翻译任务上实现了最先进的性能，并且优于之前依赖 RNN 或 CNN 的模型。总的来说，及时的工程设计和理解不同模型的特征对于最大限度地提高语言模型在各种任务中的有效性起着至关重要的作用。
LLMs:《OPT: Open Pre-trained Transformer Language Models》翻译与解读
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
07-31 6592
​ LLMs:《OPT: Open Pre-trained Transformer Language Models》翻译与解读 目录 《OPT: Open Pre-trained Transformer Language Models》翻译与解读 Abstract 1、Introduction 2 、Method方法 3、Evaluations评估 4 Bias & Toxicity Evaluations偏见和有害性评估 5 Limitatio
LLMs之GPT-2：《The Illustrated GPT-2 (Visualizing Transformer Language Models图示GPT-2(可视化Transformer 语言模
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
03-29 1200
​ LLMs之GPT-2：《The Illustrated GPT-2 (Visualizing Transformer Language Models图示GPT-2(可视化Transformer 语言模型))》翻译与解读 目录 《The Illustrated GPT-2 (Visualizing Transformer Language Models)》翻译与解读 Part 1: GPT2 And Language Modeling Part 2: The Il
NLP之LLMs之T5：T5/FLAN-T5【Fine-tuned Language Net with T5】的简介(包括论文解读)、安装和使用方法、案例应用之详细攻略
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
11-07 5902
​ NLP之LLMs之T5：T5/FLAN-T5【Fine-tuned Language Net with T5】的简介(包括论文解读)、安装和使用方法、案例应用之详细攻略 目录 T5的简介 T5的安装和使用方法 T5的案例应用 相关论文 3、Experiments实验 4、Reflection反思 T5的简介 T5: 文本到文本的传输Transformer。截至2022年7月，我们建
Introduction to LLMs in Python
爱摸鱼的经济er的博客
09-16 884
"Introduce to LLMs in Python" course study notes.
AGI之MFM：《多模态基础模型：从专家到通用助手》翻译与解读之统一的视觉模型、加持LLMs的大型多模态模型
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
10-06 4096
​AGI之MFM：《Multimodal Foundation Models: From Specialists to General-Purpose Assistants多模态基础模型：从专家到通用助手》翻译与解读之统一的视觉模型、加持LLMs的大型多模态模型 目录 4、Unified Vision Models统一的视觉模型 4.1、Overview概述 NLP的发展：2018年之前(不同的NLP任务使用不同的任务特定模型解决，如翻译/语义解析/摘要生成)→2018年之后(GPT-style
LLMs之GPT：《Improving Language Understanding by Generative Pre-Training》翻译与解读
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
12-26 1万+
​ Paper：GPT之《Improving Language Understanding by Generative Pre-Training》翻译与解读 目录 GPT之《Improving Language Understanding by Generative Pre-Training》翻译与解读 GPT的demo体验 Abstract 1、Introduction 2 Related Work 3 Framework 4 Experiments 5 Analysis 6
LLMs：《PaLM: Scaling Language Modeling with Pathways》翻译与解读
热门推荐
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
06-27 3万+
​ LLMs：《PaLM: Scaling Language Modeling with Pathways》翻译与解读 目录 《PaLM: Scaling Language Modeling with Pathways》翻译与解读 Abstract 1、Introduction介绍 2、Model Architecture模型架构 3、Training Dataset训练数据集 4、Training Infrastructure训练基础设施 5、Trai
【程序员必备】大语言模型(LLM)核心知识：发展路径与Decoder-only架构详解
EnjoyEDU的博客
11-14 854
大语言模型（LLM，Large Language Model），是一种旨在理解和生成人类语言的人工智能模型。LLM通常指包含数百亿或更多参数的语言模型，它们在海量的文本数据上进行训练，从而获得对语言深层次的理解。目前，国内外的知名LLM有GPT、LLaMA、Gemini、Claude和Grok等，国内的有DeepSeek、通义千问、豆包、Kimi、文心一言、GLM等。
LLMs：《Optimizing your LLM in production在生产环境中优化您的LLM》翻译与解读—LLM在实际应用中面临的两大挑战(内存需求+对更长上下文输入需求)+提升LLM部署
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
09-19 1822
​ LLMs：《Optimizing your LLM in production在生产环境中优化您的LLM》翻译与解读—LLM在实际应用中面临的两大挑战(内存需求+对更长上下文输入需求)+提升LLM部署效率的三大技术(低精度量化+更高效的自注意力算法Flash Attention+优化模型结构【位置嵌入/键-值缓存】) 目录 《Optimizing your LLM in production》翻译与解读​​​​​​​ LLMs已成为现代知识型产业中不可或缺的工具：面临两大挑战—内
LangChain实战：使用 RAG 工作流程进行高效信息检索 Efficient Information Retrieval with RAG Workflow
AI天才研究院
10-22 2551
检索增强生成 (RAG) 是一种与预训练的大型语言模型 (LLM) 和您自己的数据配合使用来生成响应的模式。seq2seq它结合了预训练密集检索和序列到序列模型的强大功能。RAG 模型检索文档，将它们传递给 seq2seq 模型，然后边缘化以生成输出。article在我向您介绍 RAG 理论部分的文章的继续部分，我在这里向您介绍 RAG 在代码中的实现。让我们开始使用 Langchain 和 Hugging Face 来实现 RAG！
2024年CVPR-Papers-with-Code-Demo整理（三）
qq_51448233的博客
04-05 865
2024CVPR
基于学习的人工智能（1）为什么学习？
致力于大数据+AI 的应用创新。
11-24 217
学习是人类最重要的认知活动之一，贯穿我们的一生。出生后，我们无时无刻不在学习：从父母那里学说话，自己尝试走路，从小伙伴那里学会折纸飞机，从老师那里学到语文、数学等各种知识。研究人员始终将光源和风扇放在同一侧，经由学习，玉米幼苗逐渐学会了“有风的地方就会有光”的规律。之后，研究人员移去光源，并改变风扇方向，玉米幼苗依然按照所学知识，向风扇方向生长。1959 年，美国计算机学家亚瑟·塞缪尔设计了一款可以自我学习的跳棋程序，并将这一新方法称为“机器学习”，从而开启了机器自我学习的道路。
三大空间信息焕新：辉视让酒店服务、教育通知、监所管控更智能高效
CalebLXL的博客
11-24 277
走访这些场所后我发现，系统的真正价值不在于那些炫目的屏幕，而在于它构建了一套"空间信息免疫系统"——就像人体淋巴网络般，能智能识别各区域的信息需求，精准输送"营养"，快速清除"毒素"。当我们在酒店大堂不再错过末班机场大巴，在学校走廊偶遇恰好需要的竞赛通知，甚至在高墙内获得规整的信息权时，或许该重新思考：所谓智能化，本质是对空间信息代谢效率的一次外科手术式改造。这种荒诞的割裂感，正是传统信息分发模式崩溃的缩影——直到我最近走访数家采用辉视系统的场所，才意识到我们早已进入"精准信息触达"的新纪元。
（116页PPT）关于5G和新基建赋能智慧工地整体解决方案（附下载方式）
最新发布
2501_92808811的博客
11-25 238
在整体架构方面，方案以“5G智慧工地平台”为核心，依托多类感知设备（如传感器、摄像头、AI眼镜、智能安全帽等）采集数据，通过5G网络实时回传至云平台，再借助大数据、云计算、人工智能等技术进行分析处理，最终在PC、手机、监控大屏等多终端进行可视化展示。此外，文件还详细列举了传统智慧工地子系统（如深基坑监测、升降机监控、扬尘噪音监测、智能水电计量等）的功能与部署方式，并补充了如5G企业专网、实测机器人、智慧科技体验中心等延伸应用，体现出方案的系统性与前瞻性。详细资料请看本解读文章的最后内容。
中国计算机学会（CCF）推荐学术会议-A（人工智能）：ACL 2026
iaast的博客
11-24 373
大会官网：https://2026.aclweb.org/录用率：20.3%（1699/8360，2025年）时间地点：2026年7月2日-加州·美国。截稿时间：2026年1月5日。CCF推荐：A（人工智能）
2025企业微信AI落地新趋势：微盛AI·企微管家破解内外增长难题
weisheng00的博客
11-24 614
2025年企业微信AI落地的三大关键趋势：微盛AI·企微管家通过智能客服、精准营销和内部协作三大场景，帮助企业实现200%的客服效率提升、90%的报修响应提速和50%的员工效能增长。作为企业微信生态最大ISV服务商，微盛依托"AI+SCRM"双引擎，已服务160家500强企业，提供合规AI聊天Agent、生态闭环整合及私有化部署方案，有效解决数据孤岛问题，90%客户在3个月内实现AI能力全员覆盖。
RAG 的诞生：为了让 AI 不再“乱编”
weixin_44876263的博客
11-24 259
RAG全称，中文为“检索增强生成”。其核心思想是：在生成答案时，不仅依赖大模型内部的训练知识，还能够实时访问外部知识库或文档，从而生成更加准确和可靠的内容。就像一个学生回答问题，不仅依靠自己记忆，还会去图书馆查资料，然后结合记忆和查到的资料回答问题。你问模型：“请告诉我最新的新能源补贴政策。纯模型可能只靠训练记忆，回答的是过时或模糊的信息。RAG 模型会先去查最新政策文件，再结合训练知识生成答案，因此更准确。检索资料：先找到相关文档或信息。结合生成：把找到的资料和问题一起输入模型，让模型生成答案。
Decoder-Only中文
03-19
### Decoder-Only 模型在中文中的应用与实现 Decoder-Only 模型是一种专注于生成任务的架构，其核心在于通过自回归方式预测下一个 token 来完成文本生成任务[^3]。这类模型广泛应用于自然语言处理领域，尤其是在需要生成连贯、高质量文本的任务中表现优异。 #### GPT 系列及其中文版本 GPT（Generative Pre-trained Transformer）系列是典型的 Decoder-Only 模型之一，它通过大规模无监督文本数据进行预训练，在多个下游任务中表现出强大的泛化能力。针对中文应用场景，国内研究机构和企业开发了一系列基于 GPT 的改进版模型： 1. **CPM (Chinese Pretrained Model)** CPM 是由智谱 AI 开发的一类大型语言模型，专门用于支持多语言尤其是中文场景下的文本生成任务。该模型继承了 GPT 的设计思路，采用了类似的自回归机制，并进行了大量中文语料的微调[^5]。 2. **通义千问 (Qwen)** 作为阿里巴巴集团旗下的超大规模语言模型，通义千问不仅具备强大的英文理解与生成能力，还特别优化了对中文的支持。它的底层结构同样属于 Decoder-Only 类型，能够在多种实际业务场景下提供高效的服务，例如客服对话、文章创作等[^6]。 3. **GLM (General Language Model)** GLM 是由中科院自动化研究所推出的一个通用大语言模型家族成员之一，其中也包含了专为中文定制的部分变种型号。这些模型均遵循了经典的 Transformer 解码器框架设计理念，从而实现了卓越的效果展示[^7]。 #### 中文具体应用场景实例 以下是几个典型的应用案例说明如何利用上述提到的各种类型的 decoder-only 架构来进行具体的项目实施工作: 1. **自动写作辅助工具** 使用像通义千问这样的高级别 LLMs 可以为用户提供实时反馈建议以及帮助他们更轻松地撰写各类文档材料, 如新闻报道草稿或者学术论文初稿等等[^8]. 2. **智能聊天机器人服务端口集成方案** 基于 cpm 或 glm 这样的开源平台构建专属虚拟助手应用程序接口(API)，以便更好地满足客户咨询需求的同时还能不断积累宝贵经验教训用来进一步提升整体服务质量水平[^9]. 3. **诗歌创作与文学作品仿写** 让机器学习模仿古代诗人风格创造新诗句亦或是现代小说章节续篇等内容形式变得可行起来，这背后离不开那些经过精心调整参数设置后的强大算法支撑力量[^10]. ```python from transformers import AutoTokenizer, AutoModelForCausalLM tokenizer = AutoTokenizer.from_pretrained("uer/gpt2-chinese-cluecorpussmall") model = AutoModelForCausalLM.from_pretrained("uer/gpt2-chinese-cluecorpussmall") input_text = "今天天气不错" inputs = tokenizer(input_text, return_tensors="pt") outputs = model.generate(**inputs, max_length=50) print(tokenizer.decode(outputs[0], skip_special_tokens=True)) ``` 此代码片段展示了如何加载一个预先训练好的中文 GPT-2 模型并通过给定提示生成延续性的句子[^11]。 ---
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值