transformer优秀文章

最新推荐文章于 2025-06-20 01:18:54 发布
原创 最新推荐文章于 2025-06-20 01:18:54 发布 · 487 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#transformer

本文深入解析了Transformer模型的工作原理，包括自注意力机制、位置编码等关键概念，并通过实例展示了其在自然语言处理任务中的应用。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

讲Transformer不错的一篇文章
Love-Coding
10-16 1276
https://jalammar.github.io/illustrated-transformer/
【大模型系列篇】论文解读：Transformer - Attention Is All You Need
木亦汐丫
08-09 2343
当今大模型初学者必读的一篇论文，已经有不少业内大佬都翻译解读过这篇论文，此处仅作为自己学习的记录。该论文是由谷歌机器翻译团队于2017年发表在NIPS ，提出了一个只基于attention的结构来处理序列模型相关的问题，比如机器翻译。相比传统的CNN与RNN来作为Encoder-Decoder的模型，谷歌这个模型摒弃了固有的方式，并没有使用任何的CNN或者RNN的结构，该模型可以高度并行的工作，相比以前串行并且无法叠加多层、效率低的问题。
【论文精读】Transformer
weixin_44934783的博客
02-07 2223
transformer
Transformer 可解释性论文整理（超级详细）
s_m_c的博客
01-21 3690
前段时间想进一步的了解transformer的工作原理，于是找到了几篇可解释性的文章进行阅读，发现了许多比较有趣的现象和结论，对每篇文章都有自己的深度思考和理解，在此记录，欢迎交流。
基于Transformer的语音识别模型：从理论到实现
最新发布
AI智能探索者的博客
06-20 487
本文旨在为读者提供基于Transformer的语音识别模型的全面指南，涵盖从基础理论到实际实现的完整知识体系。我们将重点讨论Transformer在语音识别中的独特优势、与传统方法的区别，以及如何构建一个完整的语音识别系统。文章首先介绍语音识别的基本概念和传统方法，然后深入解析Transformer的核心机制，接着详细讲解如何将Transformer应用于语音识别，最后通过代码实例展示完整实现。语音识别(Automatic Speech Recognition, ASR)：将人类语音转换为文本的技术。
《Transformer》论文精读：只用注意力机制，Transformer奠定了大模型网络架构的基石
my_name_is_learn的博客
12-31 1873
Attention Is All You Need (Transformer) 是当今深度学习初学者必读的一篇论文
Transformer 结构
si_ying的博客
06-27 1725
这个部分类似于我们最开始讲的端到端模型中的注意力机制，它是为了帮助 Decoder 端每一步的生成都可以关注和整合每个 Encoder 端每个位置的信息。和 Encoder block 一样，这样的 Decoder block 也可以进行堆叠，如上图我右方标记了“Nx”。在原论文中，Decoder block 也是一共堆叠了 6 层。
Transformer知识梳理
介绍AI领域相关知识
01-05 886
Transformer模型本质上都是预训练语言模型，大部分采用自监督学习（Self-supervised Learning）的方式在大量生语料上进行训练，也就是说，训练这些Transformer模型完全不需要人工标注数据。自监督学习是一种训练目标可以根据模型的输入自动计算的训练方法。基于句子的前n个词来预测下一个词，因为输出依赖于过去和当前的输入，因此该任务被称为因果语言建模（causal language modeling）。
TR1 - Transformer起源与发展
Loser
03-21 1501
自监督学习（Self-supervised Learning）是一种机器学习方法，其特点在于从数据本身自动生成标签或监督信号，无需人工标注。简单来说就是让机器利用数据本身的结构或特征来进行学习，从而不依赖于外部标签或监督信号。
Swin Transformer—— 基于Transformer的图像识别模型
01-29 1066
与在所有斑块之间计算注意力的 ViT 不同，注意力计算和斑块聚合可以在相邻斑块的窗口中重复进行，从而可以在不同尺度上提取特征。另一个优点是不在所有斑块之间计算注意力，从而降低了计算复杂度，并能从较小的斑块尺寸中提取特征。
视觉Transformer：图像识别的新视角 （Vision Transformer: A New Perspective for Image Recognition）
qq_35480722的博客
03-07 647
本文展示了直接将Transformer应用到图像识别中的可行性，特别是通过大规模预训练显著提高了其在复杂图像识别任务上的性能。这为未来在计算机视觉中的应用提供了新的方向。目标: 将Transformer架构直接应用于图像识别任务，而不需要依赖卷积神经网络(CNN)。主要贡献: 证明了纯Transformer可以直接处理图像patch序列，并在大规模预训练后取得优秀的图像分类性能，同时在计算资源需求上优于传统CNN。应用场景。
x-transformers:一个简单但完整的全注意力转换器，具有来自各种论文的一组有前途的实验特征
08-03
x-变形金刚 简明但功能齐全的变压器，配有一组看好E X perimental的各种文件的功能。 安装 $ pip install x-transformers 用法 完整的编码器/解码器 import torch from x_transformers import XTransformer model = XTransformer ( dim = 512 , enc_num_tokens = 256 , enc_depth = 6 , enc_heads = 8 , enc_max_seq_len = 1024 , dec_num_tokens = 256 , dec_depth = 6 , dec_heads = 8 , dec_max_seq_len = 1024 , tie_token_emb =
2-4-Transformer文章概览
qq_40723205的博客
02-04 137
Transformer论文解读一（Transformer）
蓝鲸鱼的博客
11-01 8234
最近Transformer在CV领域很火，Transformer是2017年Google发表的Attention Is All Y ou Need，主要是针对自然语言处理领域提出的。本系列文章介绍Transformer及其在各种领域引申出的应用。 自我注意(Self-attention)，有时也称为内部注意(intra-attention)，是一种将单个序列的不同位置联系起来，以计算该序列的表示的注意机制。Transformer是第一个完全依靠自我注意来计算其输入和输出的表示，而不使用RNN的模型。 论文指
【经典论文阅读15】Transformer—铸就大模型时代的基石
说文科技，做有态度的研究。
10-28 7353
弄清楚Transformer模型内部的每一个细节尤为重要
深入解析与应用：一篇文章带你搞懂Transformer模型
2301_76161259的博客
07-23 1058
Transformer模型自从2017年问世以来，迅速成为自然语言处理（NLP）领域的核心技术。它的强大性能不仅在NLP中得到验证，还在计算机视觉等领域展现出卓越的表现。本篇文章将详细介绍Transformer的基本原理及其使用方法，帮助大家深入理解Transformer模型。Transformer的核心结构包括两个主要部分：编码器（Encoder） 和 解码器（Decoder）。每个部分又由多个层堆叠而成。编码器由N层相同的子层（sub-layer）堆叠而成。每一层包含两个主要子层：多头自注意力机制（Mu
Transformer论文阅读
m0_37634594的博客
03-30 1200
​ 主流序列转录模型使用rnn或cnn，使用encoder和decoder，在好的模型中通常也会使用注意力机制。本文提出一个简单的架构，仅仅依赖注意力机制，并行度更好，训练更快。在机器翻译上结果很好。
Transformer论文解读
weixin_41352742的博客
12-15 2965
Transformer 原文：《Attention is all you need》NIPS-2017
Transformer论文精读
星辰的博客
11-07 685
主要的序列转换模型是基于复杂的递归或卷积神经网络，包括一个编码器和一个解码器。性能最好的模型还通过注意力机制连接编码器和解码器。我们提出了一种新的网络结构Transformer,它完全基于注意力机制，完全省去了重复和卷积。在两个机器翻译任务上的实验表明，这些模型在质量上是优越的，同时具有更高的并行性，需要更少的训练时间。
transformer在线学习
03-14
除了正式的培训之外，还有很多优秀的个人或团队撰写的博文能够加深我们对于该主题的理解程度： - Medium 平台上有不少作者分享他们自己动手实践的经验总结； - Towards Data Science 则经常发布一些通俗易懂又不失...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值