T2T Transformer 笔记

最新推荐文章于 2025-09-15 09:38:58 发布
原创 最新推荐文章于 2025-09-15 09:38:58 发布 · 4.2k 阅读 · 6 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#TensorFlow #神经机器翻译 #Transformer

本文详细探讨了Tensor2Tensor库中Transformer模型的使用，包括Multi GPU配置、batch size参数设置、数据处理方法，如TFRecord文件生成、词汇表构建，以及训练过程。此外，还提到了TensorFlow Serving在部署模型时的注意事项和常见问题解决策略。


讨论：

https://www.jiqizhixin.com/articles/2017-06-28-5

https://ricardokleinklein.github.io/2017/11/16/Attention-is-all-you-need.html


1. Mutli GPU 和 Single 配置的区别

https://github.com/tensorflow/tensor2tensor/issues/124

https://github.com/tensorflow/tensor2tensor/issues/17


2. 用Multi GUP在跑相同step的速度比Single GPU慢

https://github.com/tensorflow/tensor2tensor/issues/146

https://github.com/tensorflow/tensor2tensor/issues/390


3. batch size参数

https://github.com/tensorflow/tensor2tensor/issues/17#issuecomment-310268149

最低0.47元/天 解锁文章
DIT（Diffusion In Transformer）学习笔记
pylittlebrat的博客
04-30 1171
μθ​xt​tΣt​其中均值μθ​通过U-Net建模，仅依赖xt​和标量时间步t。
基于transformer的单目标跟踪算法学习笔记
zhangzhao147的博客
08-02 6711
目前主流的跟踪方法是基于transformer，而主要方向是1.language-vision tracking 2.人体姿态变化的跟踪3.3d目标跟踪 4.轻量化网络用于无人机端 5.无监督学习＋transformer 6.基于diffusion的目标跟踪 7.大模型辅助sot。
Transformer-variations:在Tensor2Tensor库上运行的“变形金刚”
05-18
变压器变化 在Tensor2Tensor库上运行的“变形金刚”。 所有实验均在Tensor2Tensor v1.2.9和Tensorflow 1.4.0上运行。 请参阅 的变压器版本 MOS 参见 添加如下配置： hparams.target_modality =“ symbol：mos” T2T实现 快速变压器 请参阅 添加Encoder-Decoder注意缓存，该缓存尚未在T2T中实现。 就我而言，它比T2T基础变压器模型快约2.5倍。 具有平均注意力网络的变压器 参见 添加Encoder-Decoder注意缓存 就我而言，它比T2T基础变压器模型快2.4倍。 实现T2T实现
Transformer t2t vit
jacke121的专栏
02-18 2229
开源地址： https://github.com/yitu-opensource/T2T-ViT 有两种模式： performer transformer transformer ghost，做人脸识别效果一般
【深度学习】注意力模型：开启深度学习新视界
最新发布
大雨的博客
09-15 668
注意力模型：从人类视觉到AI核心技术的演进 注意力模型借鉴人类视觉选择性关注机制，通过动态分配权重聚焦关键信息，成为深度学习的重要突破。其核心SoftAttention在Encoder-Decoder框架中实现输入输出的精准对齐，解决了传统编码的局限性。HardAttention、静态AM等变体进一步拓展了应用场景。该技术在NLP（机器翻译、问答系统）、语音识别和计算机视觉（图像分类、目标检测）等领域表现卓越。未来，模型将向降低计算复杂度、增强可解释性及多模态融合方向发展
Transformer主干网络——T2T-ViT保姆级解析
qq_37668436的博客
01-19 7259
全网最详细，面向代码扣细节！
植物端粒到端粒（Ｔ２Ｔ）基因组研究进展与展望
weixin_69558614的博客
10-24 3633
高通量染色体构象捕获（high-throughput chromosome conformation capture）。
Python-T2TTensor2TensorTransformers
08-09
一个用于生成sequence to sequence模型的库
TED-net: Convolution-free T2T-ViT-based Encoder-decoder Dilation network 阅读笔记（小关键点记录）
wangtao990503的博客
04-15 2567
笔者的研究方向即为低剂量CT去噪，这篇论文可以说是transformer在该领域的一次重要应用，欢迎大家在评论区一起讨论学习。 本文提出了一种基于无卷积T2T-ViT的编码器-解码器膨胀网络（TED-net），以丰富LDCT去噪算法家族。该模型没有卷积块，由一个带唯一transformer的对称编解码块组成。 PS：前置论文可以参考笔者的前两篇阅读笔记，包括：ViT、T2T-ViT。 介绍 作者在这部分并没有展示他的创新点，只是针对前人的优势和不足之处做了分析说明，在此不再赘述。 方法 .
1、transformer论文笔记（Attention is All you need）
weixin_44986037的博客
12-25 621
transformer
基因组 组装教程 (T2T)
冷冻工厂
11-26 3354
导读 本文将介绍T2T基因组，并提供一份基因组组装的资料，其中包含：基因组组装数据和组装策略介绍；染色体水平基因组组装；基因组补洞；着丝粒和端粒分析等，获取方式见文末。 简介[1] 随着物种基因组研究的不断发展，测序技术的不断提升，物种基因组的连续性和完整性也都得到大幅提升。物种基因组从普通二代测序组装的draft genome（基因组1.0），到使用PacBio或ONT测序技术结合Hi-C组装的high-quality genome（基因组2.0），再到由ONT测序技术组装的near complete g
【解析】Token to Token Vision Transformer
绿色羽毛
04-24 4772
介绍 Vision Transformer!的提出让我们看到了Transformer模型在图像方向的潜力，但其有一些缺点，如需要超大型数据集（JFT）预训练，才能达到现在CNN的精度。本文分析了ViT的一些不合理之处： 直接将图片分块展开成一维向量 不利于对图片结构信息（如边缘，线条）建模 冗余的Attention模块限制了特征表达，并带来运算负担 基于上述两点，本文提出Tokens to Token Transformer，采用类似CNN中卷积划窗的方式，将相邻的tokens局部聚合起来，有助于建模局
Tokens-to-Token ViT: Training Vision Transformers from Scratch on ImageNet阅读笔记（小关键点记录）
wangtao990503的博客
04-15 3043
摘要 作者开篇首先指出了ViT的不足：在中小型数据集上的效果不如CNNs，并分析原因： 1. 输入图像通过硬分割的简单词语切分未能对相邻像素之间的边缘和线条等重要局部结构进行建模，导致训练样本效率低； 2. ViT的冗余注意力主干设计导致固定计算预算和有限训练样本的特征丰富度有限。 基于此，作者提出了他的模型 -- Tokens-To-Token Vi-sion Transformer (T2T-ViT)可以直接在imgNET上有比resNet更好的效果，主要变换...
t2t模型启动web服务
啊噗啊噗
05-15 1147
t2t中是自带api实现web服务的，参考地址https://github.com/tensorflow/tensor2tensor/tree/master/tensor2tensor/serving 按照给出的步骤进行即可， 1、首先将模型进行export，这里不需要安装任何依赖 t2t-exporter --model=${MODEL} \ --hparams_set=$...
T2T基因组组装技术原理
C语言/数据结构/数学建模/深度学习/生物信息
11-29 2895
T2T组装教程
5 时间序列预测入门：LSTM+Transformer
热门推荐
qq_28611929的博客
11-28 1万+
``python```- `d_model`：输入和输出的特征维度（隐藏单元数）。- `nhead`：多头注意力机制中的头数。- `dim_feedforward`：前馈神经网络中间层的维度。- `dropout`：Dropout 层的丢弃率。- `activation`：激活函数的类型，默认为 ReLU。`nn.TransformerEncoderLayer` 的输入和输出形状如下：输入形状：(序列长度, 批量大小, 特征维度) 或 (批量大小, 序列长度, 特征维度)。
杀疯了！融合LSTM与Transformer时间序列预测 ！！
2401_85325557的博客
03-06 3404
通过融合LSTM与Transformer，仅需时间序列预测。到底有哪些需要注意的点呢？ 这里，咱们通过原理以及抓住两个模型的重点关系，发挥各自的优势，给大家展现其中的魅力所在~
NLP和Transformer学习笔记(二）
m0_63103606的博客
03-25 1012
Transform模型结构和变体介绍
NLP-基于transformer实现机器翻译
qq_75090662的博客
06-30 2195
在本次实验中，我们实现了基于transformer实现机器翻译，基于Transformer模型的机器翻译实验通常包括几个关键步骤：首先，通过预处理数据并进行适当的分词处理，确保输入和输出序列的准备工作。其次，构建并训练Transformer模型，包括编码器和解码器，以及注意力机制的应用，用于捕捉长距离依赖关系。然后，使用合适的优化器和损失函数对模型进行优化，以最小化翻译过程中的错误。最后，通过保存模型以便后续推理或继续训练，确保模型在实际应用中的可持续性和灵活性。
评论 4
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值