Transformer

原创 已于 2025-09-28 10:07:51 修改 · 327 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#学习

于 2025-08-20 19:15:28 首次发布

Transformer是大模型中最基础的部分，因此本篇主要介绍经典文献《Attention Is All You Need》内Transformer各模块的原理和作用。（本文仅供学习参考，禁止商用盗用，转载请注明出处）

Pytorch中 nn.Transformer的使用详解与Transformer的黑盒讲解
iioSnail的博客
07-28 9万+
1. Transformer的训练过程讲解 2. Transformer的推理过程讲解 3. Transformer的入参和出参讲解 4. nn.Transformer的各个参数讲解 5. nn.Transformer的mask机制详解 6. 实战：使用nn.Transformer训练一个copy任务。
Transformer 模型详解
步入人工智能
05-29 34万+
本内容主要介绍 Transformer 模型的具体实现。
Vision Transformer详解
霹雳吧啦Wz
06-26 33万+
论文名称： An Image Is Worth 16x16 Words: Transformers For Image Recognition At Scale 论文下载链接：https://arxiv.org/abs/2010.11929 原论文对应源码：https://github.com/google-research/vision_transformer Pytorch实现代码： pytorch_classification/vision_transformer 文章目录前言模型详解Vision
【超详细】【原理篇&实战篇】一文读懂Transformer
热门推荐
艰难困苦，玉汝于成。
11-02 59万+
Transformer是一种用于自然语言处理（NLP）和其他序列到序列（sequence-to-sequence）任务的深度学习模型架构，它在2017年由Vaswani等人首次提出。Transformer架构引入了自注意力机制（self-attention mechanism），这是一个关键的创新，使其在处理序列数据时表现出色。
史上最小白之Transformer详解
Tink1995的博客
03-27 34万+
1.前言 博客分为上下两篇，您现在阅读的是史上最小白之从Attention到Transformer详解(下) 上篇博客地址：史上最小白之从Attention到Transformer详解(上) 在上篇中我们已经介绍了Encoder-Decoder，Attention机制，self-Attention，今天就来一起看看近两年大火的Transformer。 2.Transformer 原理 2.1 Tr...
transformer
zhangxu
09-28 4316
transformer最早于2017年google机器翻译团队提出，也就是著名的 《Attention Is All You Need》，transformer完全取代了以往的RNN和CNN结构，改为由transformer堆叠的方式构建模型。 transformer在NLP领域首先取得了非常惊人的效果，随后DETR首次将transformer引入到了CV的目标检测任务重，随后VIT完全抛弃了CNN，改为完全由transformer实现基础的图像分类任务，之后transformer在CV领域的应用也变得一发
Transformer模型详解
人无远虑，必有近忧
01-19 3万+
transformer结构是google在2017年的Attention Is All You Need论文中提出，在NLP的多个任务上取得了非常好的效果，可以说目前NLP发展都离不开transformer。最大特点是抛弃了传统的CNN和RNN，整个网络结构完全是由Attention机制组成。 由于其出色性能以及对下游任务的友好性或者说下游任务仅仅微调即可得到不错效果，在计算机视觉领域不断有人尝试将transformer引入，近期也出现了一些效果不错的尝试，典型的如目标检测领域的detr和可变形detr，分
transformer概述
lonely_baby的博客
12-20 1914
Transformer架构的提出，不仅在自然语言处理（NLP）领域掀起了革命，也在多个深度学习任务中获得了广泛应用。自2017年由Vaswani等人提出以来，Transformer经历了多次优化和扩展，成为深度学习领域的基石。以下是Transformer架构的演进历程、作用和意义、架构详情以及未来发展趋势的详细阐述。
一文读懂Transformer
盼小辉丶的博客
01-23 4万+
Transformer 的不仅推动了 NLP 的快速发展，也成为了许多先进模型的基础。以GPT、BERT、T5 等为代表的大语言模型，均基于 Transformer 架构。此外，Transformer 还被成功应用于计算机视觉领域、推荐系统等领域，为深度学习带来了前所未有的效率与表现。随着研究的深入，Transformer 架构正在不断优化和拓展，不仅提升了模型的性能，也让人工智能技术更贴近实际应用。
Transformer-transformer
05-07
在当前的人工智能领域，尤其是自然语言处理（NLP）中，Transformer模型已经成为了一个基石。它首次由Vaswani等人在2017年的论文《Attention Is All You Need》中提出，该模型的核心思想是通过自注意力机制（Self-...
transformer-transformer
11-12
Transformer模型已经成为自然语言处理（NLP）领域中的一项重要技术。它的出现标志着深度学习在序列到序列的任务中的一个重大进步，尤其是它的自注意力机制和位置编码的创新，使得模型能够更好地处理长距离依赖问题。...
swin transformer权重
08-11
"Swin Transformer权重"是指用于初始化或更新Swin Transformer模型参数的数值集合，这些权重通常由预训练模型提供，以便用户可以在自己的任务上快速获得良好性能。 Swin Transformer的核心思想是引入了类似于卷积...
探索 10bit 100MS/s 流水线Pipelined ADC电路：0.18um工艺下的宝藏学习资源
最新发布
qq__27699885的博客
12-06 238
10bit 100MS/s 流水线Pipelined ADC电路，采用0.18um工艺，直接可以用，直接可以跑仿真，包含实际电路和各模块的测试电路，有效位9.5bit，适合学习。最近在研究ADC电路相关内容，发现了一个超赞的 10bit 100MS/s 流水线Pipelined ADC电路，基于0.18um工艺设计，简直就是学习ADC的神器，必须来和大家分享分享。
【AI学习-comfyUI学习-第十二节-FLUX局部重绘工作流-各个部分学习-第十二节】
qq_22146161的博客
12-02 862
最近，学习comfyUI，这也是AI的一部分，想将相关学习到的东西尽可能记录下来。加载图像这就是上传的那张桥墩照片没问题这也算各一个开始吧，我也在学习摸索中。
【模式识别与机器学习（8）】主要算法与技术（下篇：高级模型与集成方法）之 元学习与集成方法：组合多个学习器来提高整体性能
hiliang521的博客
12-02 871
【模式识别与机器学习（8）】主要算法与技术（下篇：高级模型与集成方法）之 元学习
Lua学习记录（5） --- Lua中的协同程序 也称线程Coroutine的介绍
FAREWELL00075的博客
12-01 927
本文介绍了Lua中协程的基本概念和使用方法。主要内容包括：1）Lua协程需要通过创建、激活才能执行，不同于C#的自动执行；2）协程的两种创建方式（create和wrap）及其对应的调用方法；3）协程的四种状态（suspended、running、dead、normal）；4）协程可持续执行的特点，通过yield挂起和resume恢复实现分段执行。文章还比较了Lua与C#协程的区别，并提供了详细的代码示例说明协程的创建、调用和执行过程。
vite学习
qq_41549657的博客
12-04 550
核心优势极速开发启动：开发阶段不打包，直接让浏览器加载原生ESM,配合ebuild预购建第三方依赖，启动时间从webpack的秒级变为毫秒级热更新（HMR）快:只更新修改的模块，而非全量重建，大型项目热更新耗时<10ms按需编译：开发阶段仅编译当前请求的模块，而非全量打包内置对Typescript、JSX、CSS、静态资源的支持，无需复杂配置生产环境优化：基于Rollup打包，输出高度优化的静态资源，兼顾开发销量和生产性能<docs>Vite 处理.vue。
TransformER
02-28
TransformER是一个基于Transformer模型的实体关系抽取器。它是由优快云开发的C知道团队开发的，旨在从文本中自动提取实体和它们之间的关系。 Transformer是一种基于自注意力机制的神经网络模型，它在自然语言处理任务...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值