Transformer再下一城！low-level多个任务榜首被占领，北大华为等联合提出预训练模型IPT

最新推荐文章于 2022-12-21 13:28:00 发布
转载 最新推荐文章于 2022-12-21 13:28:00 发布 · 250 阅读 · 0 ·
CC 4.0 BY-SA版权
原文链接：https://blog.youkuaiyun.com/Extremevision/article/details/110522513

研究人员提出IPT模型，利用ImageNet退化数据预训练，通过多头多尾设计适应多种图像处理任务，对比学习增强适应性，超越SOTA在多项low-level基准上表现优秀。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

https://blog.youkuaiyun.com/Extremevision/article/details/110522513
随机硬件水平的提升，在大数据集上预训练的深度学习模型(比如BERT，GPT-3)表现出了优于传统方法的有效性。transformer的巨大进展主要源自其强大的特征表达能力与各式各样的架构。

在这篇论文中，作者对low-level计算机视觉任务（比如降噪、超分、去雨）进行了研究并提出了一种新的预训练模型：IPT(image processing transformer)。为最大挖掘transformer的能力，作者采用知名的ImageNet制作了大量的退化图像数据对，然后采用这些训练数据对对所提IPT(它具有多头、多尾以适配多种退化降质模型)模型进行训练。此外，作者还引入了对比学习以更好的适配不同的图像处理任务。经过微调后，预训练模型可以有效的应用不到的任务中。仅仅需要一个预训练模型，IPT即可在多个low-level基准上取得优于SOTA方案的性能。

预训练图像处理Transformer：华为诺亚、北大等提出IPT模型，刷榜多项底层视觉任务...
迈微AI研习社 · 号主
12-04 811
作为自然语言处理领域的主流模型，Transformer 近期频频出现在计算机视觉领域的研究中。例如 OpenAI 的 iGPT、Facebook 提出的 DETR 等，这些跨界模型多应用于图像识别、目标检测等高层视觉任务。而华为、北大、悉大以及鹏城实验室近期提出了一种新型预训练 Transformer 模型——IPT（Image Processing Transformer），用于完成超分辨率、去噪、去雨等底层视觉任务。该研究认为输入和输出维度相同的底层视觉任务更适合 Transformer 处理。
计算机视觉中的low-level与 high-level任务
qq_43701910的博客
06-09 3966
在计算机视觉领域中，low-level任务和high-level任务是两个重要的概念，他们分别涉及图像处理和分析的不同的层次。
Transformer及其在low-level vision中的应用
zbwgycm的博客
03-13 6160
Transformer是最近比较火的深度学习模型，它抛弃了传统的CNN和RNN，提出了一种全新的模型架构。借助于新的模型和大规模数据训练，transformer刷新了NLP和CV许多领域的指标，成为这些领域新的SOTA，大有要统一NLP和CV模型的趋势。当然，transformer本身也有许多解释性问题和缺点在被广泛研究改进，但不得不承认这是目前受到关注最多的模型之一了。基于最近看到的一些论文，本文对Transformer的主要观点和在视觉领域，特别是low-level视觉领域的发展做一个简单的总结。
什么是low-level、high-level任务
独行侠
05-24 8000
Low-level任务：常见的包括 Super-Resolution，denoise， deblur， dehze， low-light enhancement， deartifacts等。简单来说，是把特定降质下的图片还原成好看的图像，现在基本上用end-to-end的模型来学习这类ill-posed问题的求解过程，客观指标主要是PSNR，SSIM，大家指标都刷的很高。目前面临以下几点问题： 泛化性差，换个数据集，同种任务变现就很差 客观指标与主观感受存在，GAP，指标刷很高，人眼观感不佳，用GAN.
Transformer再下一城！low-level多个任务榜首被占领，中科大等联合提出：Uformer
阿木寺的博客
06-13 3064
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达转载自：AIWalker今天要分享的是Low-level领域的第二发Tranformer，它直接占领了图像降噪、图像去雨...
CVPR2021-Transformer-and-Low-level-Vision
04-09
带有代码的论文--- [ ] 带有代码的纸--- [ ] 变压变压器 预培训图像处理变压器，[]，[] 注意力可视化之外的变压器可解释性，[]，[] 生成对抗式变压器，[]，[] 变压器中的变压器，[]，[] 带有变压器的端到端视频实例分割，[] 用变压器从序列到序列的角度重新思考语义分割，[]，[] 图像处理 AdderSR：迈向节能图像超分辨率， Efficient SR ，[]，[代码] 探索图像超分辨率中的稀疏性以进行有效推理， Efficient SR ，[论文]，[代码] ClassSR：通过数据特性， Efficient SR加速超分辨率网络的通用框架，[论文]，[代码] 用于图像超分辨率， Efficient SR数据知识蒸馏 Cross-MPI：使用多平面图像进行图像超分辨率的跨尺度立体声， Stereo SR ，[纸张]，[代码] 学习具有局部
MindSpore Transformers套件的目标是构建一个大模型训练、推理、部署的全流程套件： 提供业内主流的Transformer类预训练模型， 涵盖丰富的并行特性
12-07
MindSpore Transformers套件致力于构建一个端到端的大模型处理流程，这个套件的主要目的是为了满足日益增长的大型Transformer模型训练、推理以及最终部署的需求。它不仅提供了一系列业界广泛使用的预训练Transformer...
中科院空天信息创新研究院与华为大模型研发团队联合打造的一款用于视觉领域的全国产化自监督预训练开发套件
05-28
RingMo-Framework 是由中科院空天信息创新研究院与华为大模型研发团队联合打造的一款用于视觉领域的全国产化自监督预训练开发套件，旨在为业界提供高质量的视觉自监督预训练模型库和降低用户开发大规模预训练模型...
华为SAMformer 基于Informer-channel和Bigru的多输入单输出时序预测模型 Transformer (05月28日)
最新发布
05-30
内容概要：本文介绍了由华为诺亚方舟团队提出的一种新型时序预测模型——SAMformer。该模型结合了Informer、通道注意力（Channel-Wise Attention）和双向GRU（BiGRU），旨在提高预测精度和模型泛化能力。具体来说，...
CVPR 2021 | Transformer进军low-level视觉！北大华为等提出预训练模型IPT
阿木寺的博客
03-03 1655
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达作者丨Happy 来源丨极市平台导读来自Transformer的降维打击！北京大学、华为诺亚等最新发布论文，联合提...
《Deep multi-task learning with low level tasks supervised at lower layers》论文阅读笔记
Amy_mm的博客
06-12 964
《Deep multi-task learning with low level tasks supervised at lower layers》 论文来源：2016 ACL 论文方向：multi-task learning 摘要: 本文创新点： 之前的多任务学习中 task supervision都是在网络的同一层（最外层）。 本文提出的一种基于双向RNN的多任务学习架构，不同的任务可以在网络...
Transformer再度出手！low-level多个任务榜首被占领，
深度学习技术前沿
12-04 655
点击上方，选择星标或置顶，不定期资源大放送！阅读大概需要15分钟Follow小博主，每天更新前沿干货作为自然语言处理领域的主流模型，Transformer 近期频频出现在计算机视觉领域的...
【CV】计算机视觉中什么是Low level任务和High level任务？
qq_43426078的博客
02-25 1万+
Low-level任务：常见的包括 Super-Resolution，denoise， deblur， dehze， low-light enhancement， deartifacts等。简单来说，是把特定降质下的图片还原成好看的图像，现在基本上用end-to-end的模型来学习这类 ill-posed问题的求解过程，客观指标主要是PSNR，SSIM，大家指标都刷的很高。目前面临以下几点问题： 泛化性差，换个数据集，同种任务变现就很差 客观指标与主观感受存在，GAP，指标刷很高，人眼观感不佳，用GAN可缓
创新工场王嘉平开讲：low-level的计算机视觉
weixin_34319999的博客
01-09 684
本文来自AI新媒体量子位（QbitAI） 近日，在DeeCamp创新工场深度学习训练营期间，创新工场AI工程院副院长王嘉平开讲《low-level的计算机视觉》一课。 量子位把课程全部内容整理如下： 今天要和大家一起聊一聊的是low-level的computer vision。 当下这个时代，high-level vision已经有了长足的进...
深度学习基础知识
专业主义
03-28 3295
深度学习方法都是利用使用线性和非线性转换对复杂的数据进行自动特征抽取，并将特征表示为“向量”
计算机视觉
weixin_48727047的博客
12-21 1143
计算机视觉的上下游任务以及low-level，high-level区分
计算机视觉中low-level feature和high level feature的理解
热门推荐
Alawaka2018的博客
06-04 1万+
Low-level feature： 通常是一些pattern, 比如边缘（edge),角(corner),颜色(color),像素(pixeles)等特征； High level feature：具有深层语义信息的特征。
【CV】用于计算机视觉的 Transformer 高被引综述
全性保真，不以物累形。
05-02 5174
论文年份：2021，论文被引：279（2022/05/02）
Transformer用于超分辨率重建
longshaonihaoa的博客
04-01 1万+
记录几篇Transformer的超分辨率重建论文。 1 Learning Texture Transformer Network for Image Super-Resolution（TTSR， CVPR2020） 本文引用已经有200多了。 原文链接 1.1 摘要 文章做的是RefSR工作，主要观点是将Transformer作为一个attention，这样可以更好地将参考图像（Ref）的纹理信息转移到高质图像（HR）中。做法还是比较有意思的，如下图所示，将上采样的LR图像、依次向下/上采样的Ref图像、原
华为-诺亚 预训练IPT如何复现
12-05
要复现华为-诺亚实验室的预训练IPT（Image Processing Transformer）模型，可以按照以下步骤进行： 1. **环境配置**： - 安装必要的深度学习框架，如PyTorch。 - 安装其他依赖库，如NumPy、PIL等。 2. **获取代码**： - 从GitHub或其他代码托管平台获取IPT的源代码。华为-诺亚实验室通常会在其官方GitHub账号上发布相关代码。 3. **数据准备**： - 下载并预处理训练和测试所需的数据集。IPT通常在多个图像处理任务上进行预训练，如去噪、超分辨率、图像修复等。 4. **模型配置**： - 根据论文中的描述，配置模型的超参数，如学习率、批大小、优化器等。 - 设置预训练模型的权重初始化方式。 5. **训练模型**： - 运行训练脚本，开始预训练过程。训练过程中需要监控损失函数的变化，并进行必要的调整。 - 保存训练过程中的模型检查点，以便后续微调和测试。 6. **评估模型**： - 使用测试数据集评估模型的性能。可以通过计算PSNR、SSIM等指标来衡量模型的效果。 - 将模型在不同任务上的表现与现有方法进行比较。 7. **微调模型**： - 根据具体任务的需求，对预训练模型进行微调。可以使用特定任务的数据集进行进一步的训练，以提升模型在特定任务上的表现。 8. **部署模型**： - 将训练好的模型部署到实际应用中，进行推理和预测。 ### 示例代码（简化版）： ```python import torch import torch.nn as nn import torch.optim as optim from torchvision import transforms, datasets # 配置环境 device = torch.device("cuda" if torch.cuda.is_available() else "cpu") # 数据预处理 transform = transforms.Compose([ transforms.Resize((256, 256)), transforms.ToTensor(), ]) # 加载数据集 train_dataset = datasets.ImageFolder(root='path_to_train_data', transform=transform) train_loader = torch.utils.data.DataLoader(train_dataset, batch_size=32, shuffle=True) # 定义IPT模型 class IPT(nn.Module): def __init__(self): super(IPT, self).__init__() # 模型定义 pass def forward(self, x): # 前向传播 pass model = IPT().to(device) # 定义损失函数和优化器 criterion = nn.MSELoss() optimizer = optim.Adam(model.parameters(), lr=1e-4) # 训练模型 num_epochs = 100 for epoch in range(num_epochs): for images, _ in train_loader: images = images.to(device) # 前向传播 outputs = model(images) loss = criterion(outputs, images) # 反向传播和优化 optimizer.zero_grad() loss.backward() optimizer.step() print(f'Epoch [{epoch+1}/{num_epochs}], Loss: {loss.item():.4f}') # 保存模型 torch.save(model.state_dict(), 'ipt_model.pth') ``` ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值