LLM 系列之 Transformer 组件总结

已于 2023-10-10 22:51:59 修改
阅读量896 收藏
点赞数
文章标签： transformer 深度学习 人工智能
于 2023-10-10 22:28:40 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/m0_37531129/article/details/133757313
版权
本博客是LLM学习记录，介绍大语言模型主流架构，包括编码器 - 解码器、因果解码器、前缀解码器架构，还阐述Transformer的标准化、激活函数、位置编码、注意力和偏差等组件，以及语言模型和去噪编码两种预训练任务，最后列出待研究的各算法实现与对比。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

本系列为LLM 学习博客，会一一记录各个模块解读。
以下内容参考:大语言模型综述 https://github.com/RUCAIBox/LLMSurvey

主流架构

大语言模型，主要的核心组件是Transformer。不同的模型选择的架构不一样，目前主流架构有：

  1. 编码器-解码器架构: 传统Transformer模型是建立在编码器-解码器架构上的，由两个Transformer块分别作为编码器-解码器。目前只有少数LLM 是基于 该架构的 如：Flan-T5
  2. 因果解码器架构： 因果解码器架构采用单项注意力掩码，以确保每个输入标记只能关注过去的标记和它本身。输入和输出标记通过解码器以相同的方式进行处理。典型的model有 GPT1/23, OPT, BLOOM, Gopher.
  3. 前缀解码器架构：前缀解码器修正了因果解码器的掩码机制，以使其能够对前缀标记执行双向注意力，并仅对生成的标记执行单向注意力。这样与编码器-解码器架构类似，前缀解码器可以双向编码前缀序列并自回归地逐个预测输出标记，其中在编码和解码过程中共享相同的参数。实用的建议是不从头开始进行预训练，而是基于训练因果解码器，然后将其转换为前缀解码器以加上收敛。典型的model: U-PaLM (从PaLM 演化来的), GLM-130B.

总结：对于这三种类型的架构，也可以考虑通过专家混合MoE扩展他们，其中每个输入的一小部分神经网络权重被稀疏激活，如Switch Transformer 和 GLaM,已经证明 通过增加专家的数量或总参数大小，可以观察到显著的性能改进。

模型组件

Transformer的四个组件：标准化，位置编码，激活函数，注意力和偏

最低0.47元/天 解锁文章
JL_Jessie
关注
【人工智能】LLM 大型语言模型和 Transformer 架构简介
AI天才研究院
05-24 2万+
然而，传统的机器学习模型，例如神经网络，并不能天生理解输入的顺序。通过将位置编码纳入 Transformer 架构，GPT 可以更有效地理解句子中单词的顺序，并生成语法正确且语义有意义的输出。但是，模型只能理解数字，不能理解文本，因此需要将这些输入转换为称为“输入嵌入”的数字格式。作为初创公司的首席技术官，我每天都在讨论这项革命性的技术，因为围绕它的持续不断的嗡嗡声和炒作。这篇博文将探讨 LLM（大型语言模型）和转换器架构的基本概念，转换器架构是所有带有转换器的语言模型的构建块，包括 GPT。
在预训练语言模型主流架构
weixin_43961909的博客
06-28 441
在预训练语言模型时代，自然语言处理领域广泛采用了预训练 + 微调的范式，并诞生了以 BERT 为代表的编码器（Encoder-only）架构、以 GPT 为代表的解码器（Decoder-only）架构和以 T5 为代表的编码器-解码器（Encoder-decoder）架构的大规模预训练语言模型。基于编码器-解码器设计的预训练语言模型（诸如 T5 等）在众多自然语言理解与生成任务中展现出了优异的性能，但是目前只有如 FLAN-T5 等少数大语言模型是基于编码器-解码器架构构建而成的。
[LLM] 自然语言处理---Transformer原理(一)
摩登都市天空---专栏
12-03 5207
《Attention Is All You Need》是Google在2017年提出的一篇将Attention思想发挥到极致的论文。该论文提出的Transformer模型，基于encoder-decoder架构，抛弃了传统的RNN、CNN模型，仅由Attention机制实现，并且由于encoder端是并行计算的，训练时间大大缩短。 Transformer模型广泛应用于NLP领域，机器翻译、文本摘要、问答系统等等，目前火热的Bert模型就是基于Transformer模型构建的。 Transformer优点：
[LLM] 自然语言处理---Transformer实现(二)
摩登都市天空---专栏
08-02 7504
目录 Encoder-Decoder框架 一 整体架构 动态流程图 二 Encoder 2.1 Encoder Layer和残差网络 Residual Connection 2.2 Attention Self Attention Multi-head Attention 2.3 Add & Norm LayerNormalization 层归一化 2.4 前馈网络...
大模型应用开发之模型架构
最新发布
weixin_46516647的博客
05-09 720
Transformer架构是自然语言处理中的核心模型，主要由编码器（Encoder）和解码器（Decoder）组成。编码器的任务是将输入的每个词转化为包含上下文信息的向量表示，通过多头自注意力机制和前馈神经网络实现。解码器则利用编码器的输出和已生成的词，逐步生成目标序列，其结构包括带掩码的多头自注意力机制、多头交叉注意力机制和前馈神经网络。Transformer通过残差连接和层归一化确保训练稳定性和信息有效传递。此外，Transformer还涉及输入编码、位置编码、多头自注意力机制、前馈网络层和归一化等核心
LLM进阶——Transformer
ning_xiao_xuan的博客
03-25 1774
LLM进阶——Transformer
浅尝Transformer和LLM
Milkha的博客
06-22 3979
大语言模型势不可挡啊。哲学上来说，语言就是我们的一切，语言所不能到达的地方我们也不能达到。就人类来说，语言或许已经不仅仅是一种工具那么简单，其不仅是人类在物理世界进行活动时不可或缺的媒介，也是我们自身构建精神世界时的一砖一瓦。语言的重要性已经无需多言了。教会计算机人类的语言（用人类的语言进行思考）是一项艰巨的任务，或许从计算机发明之初这一征程就已经开始了，然而直到现在我们还有很长的路要走。最近，大语言模型大放异彩让我们看到了更大的希望。
语言大模型知识点简介
csuzhaoqinghui的博客
01-18 2707
大模型
改变AI历史的Transformer是如何帮助LLM大模型工作的？看图解密Transformer原理，看不懂算我输！
python122_的博客
06-28 812
在过去的几年里，大型语言模型(LLM)的出现，为长达数十年的智能机器构建的探索中带来了巨大的飞跃。这项基于试图模拟人类大脑的研究技术，也在近几年催生了一个新领域——Generative AI 生成式人工智能，简单理解就是可以通过模仿人类能力和水平，生成合理且复杂的文本、好看图像甚至是计算机的代码。
从零开始构建大模型（将整个模型构建管道精心分解为关键组件，如Qwen， Evaluation， LLM， RAG和Transformer Models。通过详细的技术解释和完整的代码实现）
03-04
从零开始构建大模型（将整个模型构建管道精心分解为关键组件，如Qwen， Agent, Diffusion, Evaluation， LLM， RAG和Transformer Models。通过详细的技术解释和完整的代码实现）.zip 从零开始构建大模型（将整个模型...
【有啥问啥】LLM-Transformer：经典与前沿方法详解
Chauvin的博客
07-02 1510
大规模语言模型（LLM）是当前自然语言处理（NLP）领域的核心技术，而Transformer架构作为LLM的基础，极大地推动了这一领域的发展。本文将详细介绍LLM-Transformer的经典方法和最新进展，并提供相关论文的链接以便深入学习。
什么是LLM，什么是transformer
厚积薄发
11-29 916
LLM（大规模语言模型）是人工智能领域的重要突破，它使得机器能够理解和生成自然语言，极大地推动了 NLP 技术的发展。无论是在自然语言生成、对话系统、机器翻译，还是信息检索等领域，LLM 都展现了巨大的潜力。随着技术的不断进步，我们有理由相信 LLM 在未来将会更加智能、更加广泛应用于各类智能应用中。是一种深度学习模型架构，首次由Vaswani 等人于 2017 年提出，名为《Attention is All You Need》的论文中。
人工智能 LLM 革命前夜：一文读懂横扫自然语言处理的 Transformer 模型
麦克船长的技术笔记
02-04 4637
阿里ATA内部技术社区头条文章，作者麦克船长为现任阿里集团总监，近期自然语言领域的生成式AI（Gen-AI或叫AIGC）爆火，其背后的技术缘起要从几大主流LM如何一路演变到Transformer说起，本文将以初学者视角一文读懂。
刘知远LLM——Transformer与预训练模型
lalala12ll的博客
02-26 1349
介绍transformer及预训练语言模型的知识
【Datawhale 大模型基础】第六章 大模型的模型架构（中文版）
qq_52370024的博客
12-16 1810
大语言模型基础-学习笔记
从零实现Transformer的简易版与强大版：从300多行到3000多行
热门推荐
结构之法 算法之道
04-12 4万+
transformer强大到什么程度呢，基本是17年之后绝大部分有影响力模型的基础架构都基于的transformer(比如，有200来个，包括且不限于基于decode的GPT、基于encode的BERT、基于encode-decode的T5等等)通过博客内的这篇文章《》，我们已经详细了解了transformer的原理(如果忘了，建议先务必复习下再看本文)
笔记-《A Survey of Large Language Models》- 4 预训练
Working harder, getting stronger!
03-25 1737
4 预训练 预训练为 LLM 的能力奠定了基础。 通过在大规模语料库上进行预训练, LLM 可以获得基本的语言理解和生成能力 [55, 56]。在这个过程中, 预训练语料库的规模和质量对于 LLM 获得强大的能力至关重要。 此外,为了有效地预训练 LLM,也需要设计好模型架构、 加速方法和优化技术。 第 4.1节讨论数据收集和处理 第 4.2节介绍常用的模型架构 第 4.3节介绍用于稳定高效地优化 LLM 的训练技巧。 4.1 数据收集 相比小规模语言模型, LLM 更需要高质量数据来预训练模型
10-编码器-解码器架构
garbage回收中心
09-16 1696
束搜索是介于贪心搜索和穷举法之间的方法，贪心搜索是在每时刻都选择当前概率最大的预测值，穷举是将所有可能的序列都进行查看，最后选择一个概率最大的预测值。束搜索只在第一个时间步，选择K个最大的预测值，之后的时间步里同贪心搜索一样选择概率最大的预测序列，最后将得到的预测序列进行比较，选择其中概率最大的。为了连续生成输出序列的词元， 独立的循环神经网络解码器是基于输入序列的编码信息和输出序列已经看见的或者生成的词元来预测下一个词元。编码器将输入的可变序列转化为定长的序列，再有解码器转变为可变的序列。
大模型技术发展概述 -（二）
weixin_42010722的博客
07-12 1039
4. LLM预训练4.1 数据收集4.1.1 数据源4.1.2 数据预处理4.1.3 预训练数据对LLMs的影响4.2 常用的LLM架构4.2.1 主流架构4.2.2 详细配置4.2.3 预训练任务4.3 模型训练4.3.1 优化设置4.3.2 可扩展训练技术。
LLM Graph Transformer
01-02
### 关于 LLM 中图转换器架构及其实现 #### 图转换器简介 图转换器是一种特殊的神经网络结构，旨在处理具有复杂关系的数据集。这种架构扩展了传统变换器的能力，不仅能够理解线性序列中的模式，还能够在节点之间...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值