T5论文精读

原创 已于 2025-05-31 15:24:25 修改 · 410 阅读 · 4 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #nlp #迁移学习 #transformer #人工智能

于 2025-05-31 15:16:18 首次发布

前言

从text获取信息的方式

词向量和预训练

为什么选择text-to-text

有利用统一，作者认为“能够比较不同迁移学习方法的有效性”

“影响迁移学习的因素”

Transfer learning objectives（迁移学习目标函数）

Unlabeled datasets（无标签数据集）​​

​​Other factors

实验

Baseline

标准transformer（2017）

验证集分数 

架构对比

无监督目标对比

重点在后一个图，使用BERT-style的破坏方式较为有效，主要对比不同破坏策略

破坏程度对比

小结

 以上几个对比的思路

无标注数据集对比

数据集大小对比

训练策略

微调方法

早期研究认为在低资源任务中微调一个模型头更好。但这个方法在t5不适用，只能使用另外两个微调方法，adapter layers（适配器层）和​​gradual unfreezing​​（渐进解冻）

多任务学习

对于t5，最直接的方式就是数据集混合，以下是不同混合方式的对比

可以注意到temperature-scaled在大多数任务中获得合理性能，特别当T=2时在大多数情况最佳

将多任务学习和微调结合

将多任务学习加入预训练中并不能提高模型在几乎所有下游任务的表现，只有机器翻译是例外，作者认为这表明了机器翻译在预训练中收获很小，但在其他任务是重要因素。（此处未引用参考文献，这里的预训练应该是指无监督的预训练）

个人浅见，这句话不是很严谨，对比完全没有预训练的模型，有预训练的模型在机器翻译中明显更优，所以预训练对于机器翻译来说也很重要。只能说因为多任务中有多种语言翻译，用其他语言翻译作预训练同样有利于迁移学习，故而再加上无监督预训练可能效果不佳。

规模化

将所有东西结合

0 1
关注
51-8 GPT，GPT2，GPT3 论文精读
AIgraphX
01-11 2141
GPT系列让大家发现大模型是可以大力出奇迹的。
ViT论文逐段精读【论文精读】-跟李沐学AI
qq_42014059的博客
04-05 4816
视频链接：ViT论文逐段精读【论文精读】_哔哩哔哩_bilibili ViT：过去一年，CV 最有影响力的工作 推翻了 2012 Alexnet 提出的 CNN 在 CV 的统治地位 有足够多的预训练数据，NLP 的 Transformer 搬运到 CV，效果很好 打破 CV 和 NLP 的壁垒，给 CV、多模态 挖坑 ViT效果有多好？ CV 任务刷榜 paperwithcode网站 霸榜 ImageNet （基于 ViT）和 COCO ,目标检测（Swin Transform...
T5论文详解：基于 Transformer 的文本到文本框架与大规模实验
m0_59931331的博客
04-29 1812
原始输入：一篇长文章T5输入T5输出文本到文本框架就是将各类任务的文本转变成了 “任务描述 + 输入文本 → 输出文本”的形式，也是序列到序列学习的一种形式（由于作者称为文本到文本框架，我们按照作者的说法，而不是使用序列到序列等其他相似说法）**，**有了这一统一框架，但还需具体的实现细节，模型架构是什么，训练目标是什么…？作者随后进行了大规模的实验，在若干数据集上了实验不同的架构，训练目标，数据集，训练策略，并给出了详细实验结果。这些实验不仅促成了T5,也在其他方面很有启发性。基线实验。
CPT论文精读
frostmelody 全网同名，大家多多关注呀~ 持续分享优质内容！
06-19 1024
视觉语言预训练 (VLP) 模型在连接自然语言与图像数据方面表现出色，为众多跨模态任务提供了支持。VLP 模型的“预训练”和“微调”两个阶段的目标形式存在巨大差距，导致在应用于下游任务时，需要大量的标注数据来激发其视觉定位能力。为了应对上述挑战，论文提出了一种名为“基于颜色的提示词引导微调 (Color-based Prompt Tuning, CPT)”的新型范式。CPT 将视觉定位任务巧妙地重构为一个“完形填空”问题。
EmotionPrompt 论文精读
m0_56699208的博客
06-04 958
局限性：实验范围有限，只测试了4个LLM；情感刺激的泛化性并不清楚，可能不适用于所有任务，研究人员可能需要为特定任务设计更合适的情感刺激。未来工作：在更多 LLM 和任务上进行实验，以验证 EmotionPrompt 的有效性；研究如何设计更有效的情感刺激，以提升 LLM 的性能；探索情感刺激影响 LLM 的内在机制，以更好地理解其工作原理；研究情感刺激在 LLM 中的应用可能带来的伦理问题，并制定相应的解决方案。
论文精读 | Phenaki
m0_53620374的博客
12-24 1067
我们展示了 Phenaki，这是一个能够进行逼真视频合成的模型，给定了一系列文本提示。由于计算成本高、高质量文本视频数据数量有限以及视频长度可变，从文本生成视频尤其具有挑战性。为了解决这些问题，我们引入了一种新的学习视频表示模型，它将视频压缩为离散标记的小表示。这个分词器使用时间上的因果注意力，这使得它能够处理可变长度的视频。为了从文本生成视频令牌，我们使用了一个以预先计算的文本令牌为条件的双向掩码转换器。生成的视频令牌随后被去令牌化以创建实际视频。
论文精读记录
m0_59010538的博客
09-05 377
论文：Compromising Embodied Agents with Contextual Backdoor Attacks。
论文精读——Miko: Multimodal Intention KD from LLM for Social-Media Commonsense Discovery
a131529的博客
12-25 1587
论文精读——Miko: Multimodal Intention KD from LLM for Social-Media Commonsense Discovery
多模态论文精读2——MiniGPT
DUTBenjamin的博客
03-05 1079
与传统的视觉语言模型相比，MiniGPT-4展示了许多先进的功能。作者认为GPT-4的多模态能力源于其使用了更先进的LLM，因此通过将视觉特征与先进的LLM（如Vicuna）对齐，可以实现类似的多模态能力。MiniGPT-4通过将视觉编码器与先进的LLM（Vicuna）对齐，探索视觉特征与语言模型的结合是否能够实现类似GPT-4的多模态能力。近年来，大型语言模型（LLMs）在语言理解和生成任务上取得了显著进展，尤其是GPT-4展示了强大的多模态能力，如从手写文本生成网站、识别图像中的幽默元素等。
ReferIt3D论文精读
frostmelody 全网同名，大家多多关注呀~ 持续分享优质内容！
07-07 1524
Sr3DNr3D在这项工作中，我们研究了使用指示性语言来识别真实世界3D场景中常见物体的问题。我们专注于一个具有挑战性的场景：被指代物体属于一个细粒度的对象类别，且该场景包含该类别的多个实例。由于现有的面向3D的语言资源在处理此任务时存在稀缺性和不适用性的问题，我们首先开发了两个大规模且互补的视觉语言数据集：i)Sr3D，包含8.35万条基于模板的话语，这些话语利用细粒度对象类别间的空间关系来定位场景中被指代的物体；ii)Nr3D，包含4.15万条自然的、自由形式的话语，这些话语是。
逐字稿 | 1 ViT论文逐段精读【论文精读】
云淡风轻_的博客
10-08 843
而且。
精选资源
nlp自然语言处理论文精读.zip
04-01
在这个“nlp自然语言处理论文精读.zip”压缩包中，我们很可能会找到一系列深入探讨NLP技术及其应用的学术论文。这些论文可能涵盖了最新的研究成果、算法创新、模型优化等方面，对理解并提升NLP系统的性能至关重要。 ...
深度学习VS强化学习：预测与决策的本质差异
qq_65632993的博客
01-08 758
摘要：深度学习和强化学习是人工智能的两大分支，但本质不同。深度学习通过静态数据学习函数映射，目标是预测误差最小化；强化学习通过环境交互学习决策策略，追求长期收益最大化。两者在数据来源（固定vs动态）、反馈信号（密集vs稀疏）、核心挑战（泛化vs探索）等方面存在显著差异。深度强化学习是两者的结合，但实际应用中强化学习落地难度更高。选择方法时需根据任务特性：预测任务用深度学习，长期决策任务用强化学习。理解两者的"问题范式"差异比模型结构更重要。
基于深度学习的车牌识别系统
qq_35827191的博客
01-02 1327
本文提出了一种基于深度学习的车牌识别系统解决方案，采用模块化设计架构，包含车辆检测(YOLOv3-tiny)、车牌定位(RetinaNet)和字符识别(LPRNet)三大核心模块。系统通过轻量级模型实现实时处理能力，利用特征金字塔网络和Focal Loss优化小目标检测效果，并采用端到端的字符识别方案。文章详细阐述了技术选型依据、网络结构原理、代码实现细节及环境配置要求，为车牌识别系统的开发提供了完整的实践指导。该系统可广泛应用于智能交通、安防监控等场景，具有良好的实用价值。
通俗理解经典CNN架构：LeNet
不惑
01-05 1276
本文介绍了卷积神经网络(CNN)的鼻祖LeNet的起源、架构和应用。LeNet由Yann LeCun在20世纪90年代开发，主要用于手写数字识别，其创新性的卷积层、池化层等设计奠定了现代CNN的基础。文章详细拆解了LeNet-5的7层结构，包括输入层、卷积层、池化层和全连接层的工作原理，并解释了前向传播和训练过程。尽管LeNet结构简单，参数仅6万个，但它在MNIST数据集上实现了不到1%的错误率。虽然现代网络更加复杂，但LeNet作为教学经典，仍是理解CNN核心概念的重要案例。
基于深度学习的车型识别系统演示与介绍(YOLOv12/v11/v8/v5模型+Pyqt5界面+训练代码+数据集)
ningfoshao8678的博客
01-07 798
本文介绍了一款基于YOLO算法的车型识别系统，支持轿车、卡车、公共汽车和摩托车等多种车型识别。系统具备图片、视频、摄像头实时检测及批量处理功能，集成语音播报、结果导出等实用模块，并提供用户登录和模型训练功能。技术栈采用Python 3.10、PyQt5和SQLite，支持YOLOv5至v12多模型切换。测试数据显示，YOLO12n模型以40.6%的mAP表现最优，YOLO11n在CPU推理速度最快(56.1ms)。系统训练数据集包含19,000张图片，mAP@0.5达到70.8%，F1值为0.67，识别效果
深度学习中稀疏专家模型研究综述 A REVIEW OF SPARSE EXPERT MODELS IN DEEP LEARNING
最新发布
m0_56263746的博客
01-09 518
稀疏模型的构建通常以稠密模型为基础，然后按。
【人工智能领域】- 卷积神经网络（CNN）深度解析
Java && AI Agent工程师
01-07 870
摘要：本文深入解析卷积神经网络(CNN)的工作原理，从生物学视觉皮层研究到AI视觉应用。文章首先介绍CNN的生物学基础——Hubel和Wiesel发现的视觉细胞层级结构，解释简单细胞和复杂细胞如何分别对应CNN的卷积层和池化层。随后详细剖析CNN的核心组件，包括权重共享、局部连接等特性，以及卷积运算的数学原理和三种计算模式。文章还展示了CNN各层次学习到的视觉特征，从基础边缘到完整物体识别的渐进过程，并提供了PyTorch实现示例。最后探讨了ImageNet竞赛对CNN发展的推动作用及其未来展望。
【深度学习】YOLO 模型部署全攻略（本地 / 嵌入式 / 移动端）
棒棒的皮皮
01-09 693
本文系统介绍了YOLOv8模型在本地、嵌入式、移动端三大平台的部署方案。本地部署推荐ONNX/TensorRT方案，GPU推理可达200FPS；嵌入式平台采用YOLOv8n+TensorRT/OpenVINO+INT8量化，在Jetson上实现15-80FPS；移动端使用TFLite/CoreML+INT8，支持离线运行。部署遵循"平台适配优先、轻量化先行、精度损失≤3%"原则，针对不同硬件特性提供最优解，涵盖从服务器到边缘设备的全场景应用，平衡速度与精度需求。
Transformer模型论文与PyTorch源码详解
通过精读论文，学习者可以掌握多头注意力（Multi-Head Attention）、位置编码（Positional Encoding）、前馈神经网络层（Feed-Forward Network）、残差连接（Residual Connection）和层归一化（Layer Normalization...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值