transformer

已于 2025-03-11 23:11:48 修改
阅读量103 收藏
点赞数 1
文章标签： transformer 深度学习 人工智能
于 2025-03-11 22:38:55 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_45870358/article/details/146190840
版权

Decoder：
在这里插入图片描述
Decoder输入是一个one hot向量，比如英文可能是所有单词其中的一个单词，中文就是所有字里面的一个字。
在这里插入图片描述
每一次的输入，都是前一次的输出。这与encoder不一样，encoder的输入可能是一段话，然后分开成token，输入进去。但是decoder我们给的输入只有begin，后续decoder的输入都基于前面的输出

OuterDream
关注
Pytorch中 nn.Transformer的使用详解与Transformer的黑盒讲解
iioSnail的博客
07-28 9万+
1. Transformer的训练过程讲解 2. Transformer的推理过程讲解 3. Transformer的入参和出参讲解 4. nn.Transformer的各个参数讲解 5. nn.Transformer的mask机制详解 6. 实战：使用nn.Transformer训练一个copy任务。
Transformer 模型详解
步入人工智能
05-29 32万+
本内容主要介绍 Transformer 模型的具体实现。
Vision Transformer详解
霹雳吧啦Wz
06-26 31万+
论文名称： An Image Is Worth 16x16 Words: Transformers For Image Recognition At Scale 论文下载链接：https://arxiv.org/abs/2010.11929 原论文对应源码：https://github.com/google-research/vision_transformer Pytorch实现代码： pytorch_classification/vision_transformer 文章目录前言模型详解Vision
【超详细】【原理篇&实战篇】一文读懂Transformer
热门推荐
艰难困苦，玉汝于成。
11-02 49万+
Transformer是一种用于自然语言处理（NLP）和其他序列到序列（sequence-to-sequence）任务的深度学习模型架构，它在2017年由Vaswani等人首次提出。Transformer架构引入了自注意力机制（self-attention mechanism），这是一个关键的创新，使其在处理序列数据时表现出色。
Swin-Transformer网络结构详解
霹雳吧啦Wz
11-03 26万+
文章目录0 前言1 网络整体框架2 Patch Merging详解3 W-MSA详解Ω(MSA)\Omega (MSA)Ω(MSA)模块计算量Ω(W−MSA)\Omega (W-MSA)Ω(W−MSA)模块计算量4 SW-MSA详解5 Relative Position Bias详解6 模型详细配置参数 0 前言 Swin Transformer是2021年微软研究院发表在ICCV上的一篇文章，并且已经获得ICCV 2021 best paper的荣誉称号。Swin Transformer网络是Tran
史上最小白之Transformer详解
Tink1995的博客
03-27 34万+
1.前言 博客分为上下两篇，您现在阅读的是史上最小白之从Attention到Transformer详解(下) 上篇博客地址：史上最小白之从Attention到Transformer详解(上) 在上篇中我们已经介绍了Encoder-Decoder，Attention机制，self-Attention，今天就来一起看看近两年大火的Transformer。 2.Transformer 原理 2.1 Tr...
Transformer
m0_49534117的博客
10-22 2931
Swin是2021年微软研究院发表在ICCV上的一篇文章，并且已经获得的荣誉称号。在Swin Transformer中使用了Windows Multi-Head Self-Attention(W-MSA)的概念，比如在下图的4倍下采样和8倍下采样中，将特征图划分成了多个不相交的区域（Window），并且Multi-Head Self-Attention只在每个窗口（Window）内进行。
Transformer模型详解
人无远虑，必有近忧
01-19 2万+
transformer结构是google在2017年的Attention Is All You Need论文中提出，在NLP的多个任务上取得了非常好的效果，可以说目前NLP发展都离不开transformer。最大特点是抛弃了传统的CNN和RNN，整个网络结构完全是由Attention机制组成。 由于其出色性能以及对下游任务的友好性或者说下游任务仅仅微调即可得到不错效果，在计算机视觉领域不断有人尝试将transformer引入，近期也出现了一些效果不错的尝试，典型的如目标检测领域的detr和可变形detr，分
一文读懂Transformer
盼小辉丶的博客
01-23 3万+
Transformer 的不仅推动了 NLP 的快速发展，也成为了许多先进模型的基础。以GPT、BERT、T5 等为代表的大语言模型，均基于 Transformer 架构。此外，Transformer 还被成功应用于计算机视觉领域、推荐系统等领域，为深度学习带来了前所未有的效率与表现。随着研究的深入，Transformer 架构正在不断优化和拓展，不仅提升了模型的性能，也让人工智能技术更贴近实际应用。
transformer-使用Pytorch实现Transformer-项目源码-附完整复现细节.zip
10-21
在深度学习领域，Transformer模型由于其出色的并行计算能力和对序列数据的处理能力，已经成为自然语言处理（NLP）和许多其他序列学习任务的重要工具。Transformer模型最早由Vaswani等人在2017年的论文中提出，并且...
Transformer-transformer
09-13
由于给出的文件信息中【标题】、【描述】和【标签】均只包含“transformer”这一关键词，而【压缩包子文件的文件名称列表】则提供了具体的文件名，因此，我们可以围绕“transformer”这个关键词展开知识内容的生成。...
swin transformer权重
08-11
"Swin Transformer权重"是指用于初始化或更新Swin Transformer模型参数的数值集合，这些权重通常由预训练模型提供，以便用户可以在自己的任务上快速获得良好性能。 Swin Transformer的核心思想是引入了类似于卷积...
基于pycharm,python,flask,sklearn,orm,mysql，在线深度学习sql语句检测系统
xxcxyxxd的博客
05-24 773
详细视频:【基于pycharm,python,flask,sklearn,orm,mysql，在线深度学习sql语句检测系统-哔哩哔哩】 https://b23.tv/JLQDwNn。
三维点云深度学习代码torch-points3d-SiamKPConvVariants复现记录（持续更新中）
最新发布
WH_G_Y的博客
05-28 451
三维点云深度学习代码torch-points3d-SiamKPConvVariants复现记录（持续更新中）
使用LSTM进行时间序列分析
weixin_37522117的博客
05-28 362
LSTM（长短期记忆网络）是一种专为时间序列数据设计的循环神经网络，通过门控机制（输入门、遗忘门、输出门）和细胞状态有效捕捉长期依赖关系。相比传统方法，LSTM能更好处理时间序列的非线性、噪声和长期模式。典型应用流程包括数据生成（如带噪声的正弦波）、滑动窗口预处理、PyTorch模型构建（含LSTM层和全连接层）、训练及预测可视化。实验显示LSTM能准确预测时间序列趋势。其优势在于长期依赖性建模、鲁棒性强，并可扩展为双向LSTM、堆叠LSTM等变体。LSTM已成为时间序列分析的核心工具之一。
Nat Rev Genet | 如果DNA序列能“说话”？深度学习S2E（序列2表达）模型正在听懂基因组的调控秘密！
组学之心，专注多组学/ 医学AI 领域
05-24 1123
基因转录调控： 基因转录受启动子和增强子等DNA元件调控，其活性又受**转录因子（TFs）**控制。高度复杂的组合逻辑： 调控网络涉及TFs和调控元件之间复杂的组合作用，使得仅从DNA序列预测基因活性的计算模型构建异常困难。
计算机视觉与深度学习 ｜ 基于 YOLOv8 + BeautyGAN + CodeFormer + Face Parsing 实现简单的人脸美颜
尘世冰封的专栏
05-24 296
以下是一个基于YOLOv8、BeautyGAN、CodeFormer和Face Parsing的完整人脸美颜实现方案。包含算法流程、完整代码实现（附详细注释）和核心公式说明。该实现方案完整覆盖从人脸检测到美颜输出的全流程，代码经过模块化设计便于扩展。Face Parsing皮肤分割。CodeFormer细节增强。BeautyGAN皮肤美化。YOLOv8人脸检测。
TransformER
02-28
TransformER是一个基于Transformer模型的实体关系抽取器。它是由优快云开发的C知道团队开发的，旨在从文本中自动提取实体和它们之间的关系。 Transformer是一种基于自注意力机制的神经网络模型，它在自然语言处理任务...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值