Transformer

最新推荐文章于 2025-05-05 00:24:47 发布
最新推荐文章于 2025-05-05 00:24:47 发布
阅读量293 收藏 2
点赞数 1
文章标签： transformer 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/m0_74917610/article/details/145204799
版权

定义

一种基于自注意力机制的深度学习架构

整体架构

Transformer主要由编码器（Encoder）和解码器（Decoder）组成，两者都是由多个相同的层（Layer）堆叠而成。对于机器翻译任务，编码器接收源语言序列作为输入，将其转换为上下文表示，然后解码器利用这些上下文表示生成目标语言序列。
举例子
编码层的处理
在这里插入图片描述在这里插入图片描述
解码器的工作过程
在这里插入图片描述在这里插入图片描述
通过编码器和解码器的协同工作，Transformer能够将源语言序列“Hello, how are you?”准确地翻译成目标语言序列“你好吗？”。在整个过程中，编码器负责提取源语言序列的上下文信息，解码器利用这些上下文信息生成符合目标语言语法和语义的序列。

学习文章
https://www.zhihu.com/tardis/zm/art/600773858

SheepMeMe
关注
Pytorch中 nn.Transformer的使用详解与Transformer的黑盒讲解
iioSnail的博客
07-28 9万+
1. Transformer的训练过程讲解 2. Transformer的推理过程讲解 3. Transformer的入参和出参讲解 4. nn.Transformer的各个参数讲解 5. nn.Transformer的mask机制详解 6. 实战：使用nn.Transformer训练一个copy任务。
史上最小白之Transformer详解
Tink1995的博客
03-27 34万+
1.前言 博客分为上下两篇，您现在阅读的是史上最小白之从Attention到Transformer详解(下) 上篇博客地址：史上最小白之从Attention到Transformer详解(上) 在上篇中我们已经介绍了Encoder-Decoder，Attention机制，self-Attention，今天就来一起看看近两年大火的Transformer。 2.Transformer 原理 2.1 Tr...
一文读懂Transformer
盼小辉丶的博客
01-23 3万+
Transformer 的不仅推动了 NLP 的快速发展，也成为了许多先进模型的基础。以GPT、BERT、T5 等为代表的大语言模型，均基于 Transformer 架构。此外，Transformer 还被成功应用于计算机视觉领域、推荐系统等领域，为深度学习带来了前所未有的效率与表现。随着研究的深入，Transformer 架构正在不断优化和拓展，不仅提升了模型的性能，也让人工智能技术更贴近实际应用。
Transformer 模型详解
步入人工智能
05-29 31万+
本内容主要介绍 Transformer 模型的具体实现。
Vision Transformer详解
霹雳吧啦Wz
06-26 31万+
论文名称： An Image Is Worth 16x16 Words: Transformers For Image Recognition At Scale 论文下载链接：https://arxiv.org/abs/2010.11929 原论文对应源码：https://github.com/google-research/vision_transformer Pytorch实现代码： pytorch_classification/vision_transformer 文章目录前言模型详解Vision
【超详细】【原理篇&实战篇】一文读懂Transformer
热门推荐
艰难困苦，玉汝于成。
11-02 46万+
Transformer是一种用于自然语言处理（NLP）和其他序列到序列（sequence-to-sequence）任务的深度学习模型架构，它在2017年由Vaswani等人首次提出。Transformer架构引入了自注意力机制（self-attention mechanism），这是一个关键的创新，使其在处理序列数据时表现出色。
Swin-Transformer网络结构详解
霹雳吧啦Wz
11-03 26万+
文章目录0 前言1 网络整体框架2 Patch Merging详解3 W-MSA详解Ω(MSA)\Omega (MSA)Ω(MSA)模块计算量Ω(W−MSA)\Omega (W-MSA)Ω(W−MSA)模块计算量4 SW-MSA详解5 Relative Position Bias详解6 模型详细配置参数 0 前言 Swin Transformer是2021年微软研究院发表在ICCV上的一篇文章，并且已经获得ICCV 2021 best paper的荣誉称号。Swin Transformer网络是Tran
transformer
zhangxu
09-28 3870
transformer最早于2017年google机器翻译团队提出，也就是著名的 《Attention Is All You Need》，transformer完全取代了以往的RNN和CNN结构，改为由transformer堆叠的方式构建模型。 transformer在NLP领域首先取得了非常惊人的效果，随后DETR首次将transformer引入到了CV的目标检测任务重，随后VIT完全抛弃了CNN，改为完全由transformer实现基础的图像分类任务，之后transformer在CV领域的应用也变得一发
Transformer模型详解
人无远虑，必有近忧
01-19 2万+
transformer结构是google在2017年的Attention Is All You Need论文中提出，在NLP的多个任务上取得了非常好的效果，可以说目前NLP发展都离不开transformer。最大特点是抛弃了传统的CNN和RNN，整个网络结构完全是由Attention机制组成。 由于其出色性能以及对下游任务的友好性或者说下游任务仅仅微调即可得到不错效果，在计算机视觉领域不断有人尝试将transformer引入，近期也出现了一些效果不错的尝试，典型的如目标检测领域的detr和可变形detr，分
Transformer-transformer
09-13
由于给出的文件信息中【标题】、【描述】和【标签】均只包含“transformer”这一关键词，而【压缩包子文件的文件名称列表】则提供了具体的文件名，因此，我们可以围绕“transformer”这个关键词展开知识内容的生成。...
transformer-使用Pytorch实现Transformer-项目源码-附完整复现细节.zip
10-21
在深度学习领域，Transformer模型由于其出色的并行计算能力和对序列数据的处理能力，已经成为自然语言处理（NLP）和许多其他序列学习任务的重要工具。Transformer模型最早由Vaswani等人在2017年的论文中提出，并且...
swin transformer权重
08-11
"Swin Transformer权重"是指用于初始化或更新Swin Transformer模型参数的数值集合，这些权重通常由预训练模型提供，以便用户可以在自己的任务上快速获得良好性能。 Swin Transformer的核心思想是引入了类似于卷积...
在深度学习中，什么是线性插值（linear interpolation）？
weixin_44649780的博客
04-30 496
线性插值是寻找两个点之间中间值的最基础方法之一，广泛应用于：数值计算计算机图形学机器学习和深度学习它的标准公式是：x0,x1∈Rn：两个向量或标量t∈[0,1]：插值系数（0 表示完全靠近 x0，1 表示完全靠近 x1​）它对应的是两个点之间的一条线段轨迹。线性插值就是“在两个已知点之间，按一定比例找到中间点”的方法，无论是图像、特征、模型参数，它都可以用来“平滑地过渡”。📢 想要了解更多内容，可在VX小程序搜索🔍AI Pulse,获取更多最新内容。
远程深度学习新环境配置流程
weixin_45668967的博客
04-30 328
下载并安装适合你系统的 Miniconda 版本。
卷积神经网络实战（2）
weixin_55843921的博客
05-04 243
一开始conv1，第一层卷积层，去运算的时候，以前全连接的时候直接展平，现在是三维的，通道数是1（黑白照片），卷积的时候卷积核也是（1,3,3），但现在卷积核的尺寸实际上是立方体，虽然写的是2d，这是接口的这么一个设计，之所以是2d是因为在两个维度上进行移动（上下左右），不像以前的全连接是一维的必须展平。nn.MaxPool2d(2,2)，前面一个2代表池化核大小是2*2，后面的2代表步长。池化一次把图像尺寸减半。对于第二层卷积层，卷积核是(32,3,3)，这层的输入和输出的大小一样，作用是提取高层特征。
《解锁LibTorch：开启C++深度学习新征程》
zheng_ruiguo的专栏
04-30 707
LibTorch 作为 PyTorch 的 C++ 接口，凭借其独特的优势在深度学习领域占据了重要的一席之地。它不仅继承了 PyTorch 的动态计算图和自动求导机制，还充分发挥了 C++ 语言的高性能和低延迟特性，为深度学习的研究和应用提供了强大的支持。从功能特性上看，LibTorch 在张量操作、神经网络训练与推理、多平台支持以及与 Python 的互操作性等方面表现出色。其张量操作接口简洁高效，与 PyTorch 类似，方便开发者快速上手。
深度学习系统学习系列【3】之血液检测项目
最新发布
缘友一世的博客
05-05 790
通过构建一个3 层的人工神经网络ANN模型对收集到的数据进行训练，得到该医疗数据的分类模型，最后利用新的医疗数据，预测其所属病理分类。
TransformER
02-28
TransformER是一个基于Transformer模型的实体关系抽取器。它是由优快云开发的C知道团队开发的，旨在从文本中自动提取实体和它们之间的关系。 Transformer是一种基于自注意力机制的神经网络模型，它在自然语言处理任务...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值