Transformer

EmbodiedTech

已于 2025-03-18 11:45:52 修改

阅读量30

点赞数

分类专栏：大模型人工智能文章标签： transformer 深度学习人工智能

于 2025-03-18 11:43:09 首次发布

本文链接：https://blog.youkuaiyun.com/Daniel_Singularity/article/details/146337396

版权

人工智能同时被 2 个专栏收录

10 篇文章 ¥39.90 ¥99.00

订阅专栏

超级会员免费看

大模型

9 篇文章 ¥39.90 ¥99.00

订阅专栏

超级会员免费看

第四章 Transformer模型

1 Transformer背景介绍

模型被提出时间

2017年提出，2018年google发表了BERT模型，使得Transformer架构流行起来，BERT在许多NLP任务上，取得了Soat的成就。

模型优势

1、能够实现并行计算，提高模型训练效率
2、更好的特征提取能力

2 Transformer模型架构

架构图展示
在这里插入图片描述

2.1 整体架构

主要组成部分

1、输入部分
2、编码器部分
3、解码器部分
4、输出部分

2.2 输入部分

了解本专栏

订阅专栏解锁全文

超级会员免费看

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

EmbodiedTech

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
打赏
打赏
打赏举报

举报

专栏目录

订阅专栏

Pytorch中 nn.Transformer的使用详解与Transformer的黑盒讲解

iioSnail的博客

07-28

9万+

1. Transformer的训练过程讲解 2. Transformer的推理过程讲解 3. Transformer的入参和出参讲解 4. nn.Transformer的各个参数讲解 5. nn.Transformer的mask机制详解 6. 实战：使用nn.Transformer训练一个copy任务。

Transformer 模型详解

步入人工智能

05-29

32万+

本内容主要介绍 Transformer 模型的具体实现。

参与评论您还未登录，请先登录后发表或查看评论

Vision Transformer详解

霹雳吧啦Wz

06-26

31万+

论文名称： An Image Is Worth 16x16 Words: Transformers For Image Recognition At Scale 论文下载链接：https://arxiv.org/abs/2010.11929 原论文对应源码：https://github.com/google-research/vision_transformer Pytorch实现代码： pytorch_classification/vision_transformer 文章目录前言模型详解Vision

【超详细】【原理篇&实战篇】一文读懂Transformer

热门推荐

艰难困苦，玉汝于成。

11-02

50万+

Transformer是一种用于自然语言处理（NLP）和其他序列到序列（sequence-to-sequence）任务的深度学习模型架构，它在2017年由Vaswani等人首次提出。Transformer架构引入了自注意力机制（self-attention mechanism），这是一个关键的创新，使其在处理序列数据时表现出色。

Swin-Transformer网络结构详解

霹雳吧啦Wz

11-03

26万+

文章目录0 前言1 网络整体框架2 Patch Merging详解3 W-MSA详解Ω(MSA)\Omega (MSA)Ω(MSA)模块计算量Ω(W−MSA)\Omega (W-MSA)Ω(W−MSA)模块计算量4 SW-MSA详解5 Relative Position Bias详解6 模型详细配置参数 0 前言 Swin Transformer是2021年微软研究院发表在ICCV上的一篇文章，并且已经获得ICCV 2021 best paper的荣誉称号。Swin Transformer网络是Tran

史上最小白之Transformer详解

Tink1995的博客

03-27

34万+

1.前言博客分为上下两篇，您现在阅读的是史上最小白之从Attention到Transformer详解(下) 上篇博客地址：史上最小白之从Attention到Transformer详解(上) 在上篇中我们已经介绍了Encoder-Decoder，Attention机制，self-Attention，今天就来一起看看近两年大火的Transformer。 2.Transformer 原理 2.1 Tr...

transformer

zhangxu

09-28

3906

transformer最早于2017年google机器翻译团队提出，也就是著名的《Attention Is All You Need》，transformer完全取代了以往的RNN和CNN结构，改为由transformer堆叠的方式构建模型。 transformer在NLP领域首先取得了非常惊人的效果，随后DETR首次将transformer引入到了CV的目标检测任务重，随后VIT完全抛弃了CNN，改为完全由transformer实现基础的图像分类任务，之后transformer在CV领域的应用也变得一发

Transformer模型详解

人无远虑，必有近忧

01-19

2万+

transformer结构是google在2017年的Attention Is All You Need论文中提出，在NLP的多个任务上取得了非常好的效果，可以说目前NLP发展都离不开transformer。最大特点是抛弃了传统的CNN和RNN，整个网络结构完全是由Attention机制组成。由于其出色性能以及对下游任务的友好性或者说下游任务仅仅微调即可得到不错效果，在计算机视觉领域不断有人尝试将transformer引入，近期也出现了一些效果不错的尝试，典型的如目标检测领域的detr和可变形detr，分

一文读懂Transformer

盼小辉丶的博客

01-23

3万+

Transformer 的不仅推动了 NLP 的快速发展，也成为了许多先进模型的基础。以GPT、BERT、T5 等为代表的大语言模型，均基于 Transformer 架构。此外，Transformer 还被成功应用于计算机视觉领域、推荐系统等领域，为深度学习带来了前所未有的效率与表现。随着研究的深入，Transformer 架构正在不断优化和拓展，不仅提升了模型的性能，也让人工智能技术更贴近实际应用。

Transformer-transformer

09-13

由于给出的文件信息中【标题】、【描述】和【标签】均只包含“transformer”这一关键词，而【压缩包子文件的文件名称列表】则提供了具体的文件名，因此，我们可以围绕“transformer”这个关键词展开知识内容的生成。...

swin transformer权重

08-11

"Swin Transformer权重"是指用于初始化或更新Swin Transformer模型参数的数值集合，这些权重通常由预训练模型提供，以便用户可以在自己的任务上快速获得良好性能。 Swin Transformer的核心思想是引入了类似于卷积...

深度学习之模型压缩三驾马车：基于ResNet18的模型剪枝实战（2）

ak47maker的博客

06-05

634

本文针对ResNet18模型剪枝进行了优化改进，主要包含三个方面：1) 将剪枝目标层从底层conv1调整为中间层layer2.0.conv1，减少对基础特征的破坏；2) 采用基于激活值的前向传播方法评估通道重要性，优先剪除低激活通道；3) 改进微调策略，动态解冻关联层并使用更低学习率(0.0001)进行10轮微调。这些优化有效提升了剪枝后模型的稳定性和性能表现，特别是通过中间层剪枝和基于特征贡献的通道选择策略，避免了底层特征破坏带来的连锁反应。

RNN和CNN使用场景区别

mayaohao的博客

06-06

1007

RNN（循环神经网络）和 CNN（卷积神经网络）是深度学习中两种核心架构，它们的使用场景主要取决于数据结构和任务需求。

山东大学深度学习2025年期末考试

c335000的博客

06-05

536

1.反向传播2.激活函数3.梯度裁剪4.数据增强5.迁移学习6.过拟合7.word2Vec8.注意力机制。

NLP学习路线图（二十三）：长短期记忆网络（LSTM）

2501_91516851的博客

06-04

987

长短期记忆网络（LSTM）通过创新的门控机制解决了传统RNN的梯度消失问题。其核心是记忆单元和三个门（遗忘门、输入门、输出门），能够选择性保留长期依赖信息。相比RNN，LSTM的线性信息流使梯度有效传播，门控机制动态调节信息流动。LSTM在文本分类、序列标注、机器翻译等NLP任务中表现优异，并衍生出GRU、双向LSTM等变体。伪代码展示了LSTM单元的基本实现逻辑，包括门控计算和状态更新过程。

深度学习在非线性场景中的核心应用领域及向量/张量数据处理案例，结合工业、金融等领域的实际落地场景分析

mayaohao的博客

06-05

912

‌非线性建模不可替代性‌工业缺陷形态、市场动态、生物信号等复杂模式无法用线性方程描述310‌高维张量处理优势‌图像/点云/频谱等天然高维数据需张量结构存储，深度学习可分层提取非线性特征1112‌激活函数的核心作用‌ReLU/ GELU 等函数赋予模型分层次拟合复杂决策边界的能力38例如晶圆检测中，单个像素缺陷需联合周围100×100区域非线性特征（如纹理渐变、边缘突变）才能准确判定，此时CNN的多层非线性激活远优于线性分类器1011。

RNN避坑指南：从数学推导到LSTM/GRU工业级部署实战流程