论文解读之Perceptual Losses for Real-Time Style Transfer and Super-Resolution

最新推荐文章于 2021-03-31 13:53:45 发布
最新推荐文章于 2021-03-31 13:53:45 发布
阅读量2.8k 收藏 6
点赞数 2
CC 4.0 BY-SA版权
分类专栏： 深度学习 深度学习'
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/wangkun1340378/article/details/79230169
该论文源自CVPR 2017，提出了一种创新的感知损失（perceptual loss）用于图像转换任务，如超分辨率。传统方法常使用MSE损失，而感知损失则能生成更符合人类视觉审美的结果。论文通过实验对比展示了使用感知损失的超分辨率结果，尽管PSNR较低，但在视觉效果上更优。网络结构包含图像转换网络和VGG16损失网络，通过计算经过损失网络处理后的输出与输入的差异来计算损失。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

论文名称：Perceptual Losses for Real-Time Style Transfer and Super-Resolution

来源：      CVPR 2017


这是一篇提出一种创新loss处理方式的论文，用来证明结果的实验有2个，分别为图像风格转换和超分辨率，本文中只针对超分辨率进行比较


首先，作者提出，超分辨率、图像风格转换、去噪其实都可以归类为 image transformation任务，然而，目前这类任务的loss都是MSE loss，与之相对的，作者提出了一种新的loss来解决此类问题，即为 perceptual loss


图像感知损失其实并不陌生，GAN就是如此，利用感知loss产生的结果更符合人的审美和感知（但是psnr不高）。

作者的网络结构如下图所示：


最低0.47元/天 解锁文章

200万优质内容无限畅学
分享 | 实时风格转换和超分辨率的感知损失
shenlanshenyanai的博客
03-04 569
网络模型 组成部分 网络模型总体分为两部分:Image Transform Net和VGG-16 Image Transform Net是参数W待训练的网络 VGG-16是已经预训练好参数的网络 工作原理 (1) 输入为 : 原始图像x 风格目标图y_s 内容目标图y_c (2) Image Transform Net作用： 将原始图像x经过Image Transform Net得到输出图像 映射关系为: y^ = Fw(x)
《Perceptual Losses for Real-Time Style Transfer and Super-Resolution》论文及代码实现及网络结构
小C的博客
01-07 1245
【时间】2020.01.07 【题目】《Perceptual Losses for Real-Time Style Transfer and Super-Resolution》论文及代码实现 《基于感知损失函数的实时风格转换和超分辨率重建》 文章地址：《Perceptual Losses for Real-Time Style Transfer and Super-Resoluti...
论文《Perceptual Losses for Real-Time Style Transfer and Super-Resolution》
鱼奶奶的花园
04-11 3574
论文理解《Perceptual Losses for Real-Time Style Transfer and Super-Resolution》Problem：Image transformation problemsRecent methods：使用输出图片和GT图像间的per-pixel loss训练前馈卷积神经网络；从感知网络中提取高级特征，通过定义和优化基于高级特征的感知损失函数可以产生...
Perceptual Losses for Real-Time Style Transfer and Super-Resolution阅读（一）
摸爬滚打的进阶之路
08-31 599
一、文章出处 Perceptual Losses for Real-Time Style Transfer and Super-Resolution，arxiv地址：https://arxiv.org/abs/1603.08155。   二、文章内容 因为在实训中只需要做风格转换的部分，并且这篇文章的最大贡献之一也是实现了实时的风格转换。 上一篇阅读的文章，虽然效果好，但对于每一张要生成...
Perceptual Losses for Real-Time Style Transfer and Super-Resolution阅读（二）
摸爬滚打的进阶之路
08-31 449
三、损失函数 虽然文章说的是perceptual losss，但是感觉上跟上一篇文章的约束并没有什么区别，我们可以来看看。 Feature Reconstruction Loss j表示网络的第j层。 CjHjWj表示第j层的feature_map的size Style Reconstruction Loss 对于风格重建的损失函数，首先要先计算Gram矩阵， 产生的featu...
Perceptual Losses for Real-Time Style Transfer and Super-Resolution理解
造未来
07-16 670
引入 最近新出的图像风格转换算法，虽然效果好，但对于每一张要生成的图片，都需要初始化，然后保持CNN的参数不变，反向传播更新图像，得到最后的结果。性能问题堪忧。 但是图像风格转换算法的成功，在生成图像领域，产生了一个非常重要的idea，那就是可以将卷积神经网络提取出的feature，作为目标函数的一部分，通过比较待生成的图片经过CNN的feature值与目标图片经过CNN的feature值，使得待...
Perceptual Losses for Real-Time Style Transfer and Super-Resolution 杨老师版
02-18
Perceptual Losses for Real-Time Style Transfer and Super-Resolution 杨老师版
《Perceptual Losses for Real-Time Style Transfer and Super-Resol》
04-14
《Perceptual Losses for Real-Time Style Transfer and Super-Resolution》这篇论文提出了一种结合像素级损失和感知损失的新方法，以提高图像转换任务的效率和质量。 传统的图像转换方法往往依赖于逐像素损失（per...
Perceptual Losses for Real-Time Style Transfer and Super-Resolution
简简单单
02-25 2341
(基于感知损失函数的实时风格转换和超分辨率重建) 一、概述 1. 图像转换问题：将一个输入图像变换成一个输出图像。 (1)流行的处理方法：图像转换的方法通常是训练前馈卷积神经网络，将输出图像与原本图像的逐像素差距作为损失函数。 (2)并行工作表示，高质量的图像可以通过用预训练好的网络提取高级特征、定义并优化感知损失函数来产生。 (3)结合以上两种方式的优点： 本文提出采用感知损失函数训...
【风格迁移】Perceptual Losses for Real-Time Style Transfer and Super-Resolution
qq_40731332的博客
07-18 1153
本文的贡献在于将perceptual loss和feed-forward网络结合，处理速度很快。 3.1 Image Transformation Networks 在上下采样中，使用步进和小步进卷积代替池化层。除残差模块外，均使用spatial batch normalization，输出层使用ReLU，将输出限制在[0, 255]。除第一和最后一层使用9 x 9卷积核外，其余均使用3 x 3卷积核。 输入和输出均为 3 x 256 x 256 使用5个残差模块，每个包含两个3 x ..
风格迁移keras源码
02-12
风格迁移keras源码，Perceptual Losses for Real-Time Style Transfer and Super-Resolution的源码实现，Theano version
论文总结-Perceptual Losses for Real-Time Style Transfer and Super-Resolution
我是一张平民牌
04-07 3922
读论文学算法 Perceptual Losses for Real-Time Style Transfer and Super-Resolution  论文作者：Justin Johnson, Alexandre Alahi, Li Fei-Fei 1 综述 现阶段存在的问题： 1.图像风格转移使用Feed-forward Convolutio
Faster Read: Perceptual Losses for Real-Time Style Transfer and Super-Resolution
weixin_42447651的博客
06-28 1158
Perceptual Losses ECCV 2016 （当年Stanford Fei Fei Li团队的成果） keywords: CNN(Convolutional Neural Network), Perceptual Loss，Style Transformation, Super-Resolution   论文名称：  Perceptual Losses for Real-Tim...
[論文筆記] Perceptual Losses for Real-Time Style Transfer and Super-Resolution
Dennis_Lee_的博客
10-14 2415
論文出處 : Perceptual Losses for Real-Time Style Transfer and Super-Resolution Introduction 以往 Style Transfer 以及 Super Resolution 的 task 中，計算 ground-truth image 與 model output 的 pixel 之間對應的差異是最直觀的 object...
[Style Transfer]——Perceptual Losses for Real-Time Style Transfer and Super-Resolution
qq_37151108的博客
07-23 2726
Perceptual Losses for Real-Time Style Transfer and Super-Resolution 基于感知损失函数的实时风格转换和超分辨重建 from ECCV2016 
# Abstract
 
图像变换将输入图像经过一定变换后得到输出图像，近期研究常使用输出与GT之间像素级别的损失函数来训练一个前馈神经网络完成图像变换；同时也有研究表明优化深层特征的感知损失函数效果更佳，因此本文将两种方法结合，使用感知损失函数搭建前馈网络进行图像变换，从而能够实时地完成图像风格迁移
【图像超分辨率】Perceptual Losses for Real-Time Style Transfer and Super-Resolution
qq_41807261的博客
03-31 1326
论文链接：https://web.eecs.umich.edu/~justincj/papers/eccv16/JohnsonECCV16.pdf Perceptual Losses for Real-Time Style Transfer and Super-Resolution摘要1 引言2 相关工作前馈式图像变换感知优化风格转移图像超分辨率3 方法3.1 图像变换网络输入和输出下采样和上采样残差连接3.2 感知损失函数特征重建损失风格重构损失3.3 简单损失函数像素损失总变化正则化4 实验4.1 风格
论文阅读笔记：Perceptual Losses for Real-Time Style Transfer and Super-Resolution
yqf113的专栏
06-25 939
这篇文章是ECCV2016的一篇文章，主要是提出了一种全新的Loss用于图像风格转换和图像超分辨。整体框架如上图所示，分为两个网络，图像转换网络和损失网络，其中图像转换网络是深度残差网络，将图片转换为^ y = fW (x) 。我们训练图像转换网络来最小化损失网络的输出值加权和。损失网络部分部分是16层的VGG网络，它的特定层拿出来作为损失函数。我们将这个损失函数与这两个函数作对比实验。在图像风格...
【论文读后感】：Perceptual Losses for Real-Time Style Transfer and Super-Resolution
艾与代码
01-15 2841
固定风格任意内容高分辨率实时风格转换摘要引言相关工作方法参考合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 本篇博客中标黄的字属...
lpips论文
最新发布
03-14
### LPIPS (Learned Perceptual Image Patch Similarity) 学术论文概述 LPIPS 是一种用于评估图像相似性的度量方法，其核心思想是通过训练神经网络来学习人类感知上的图像差异[^1]。这种方法相较于传统的均方误差（MSE）或结构相似性指数（SSIM），能够更贴近人类视觉系统的感受。 #### 关于 LPIPS 的学术资源 以下是一些重要的学术论文及相关资料： 1. **原始论文** 原始的 LPIPS 方法由 Richard Zhang 等人在 2018 年提出，题目为《The Unreasonable Effectiveness of Deep Features as a Perceptual Metric》。这篇论文详细介绍了如何利用预训练的卷积神经网络特征层构建一个感知距离模型，并展示了该模型在多种计算机视觉任务中的有效性。 2. **扩展研究** 随着时间推移，许多后续工作基于 LPIPS 提出了改进版本。例如，《Perceptual Losses for Real-Time Style Transfer and Super-Resolution》进一步探讨了感知损失函数的应用场景及其优化策略[^2]。 3. **工具库支持** 官方 GitHub 仓库提供了完整的实现代码以及预训练权重文件，方便研究人员快速上手并应用于实际项目中。此外，在 Papers With Code 上也可以找到大量与之相关的实验对比结果和排行榜信息。 #### MATLAB 和 PyTorch 实现建议 虽然官方主要提供 Python 版本的支持，但如果希望使用 MATLAB 或者其他框架完成类似功能，则可以考虑如下方案： - 对于 noise estimation HSI super-resolution tasks, 可参考已有的 pytorch-based implementations 进行迁移适配. - 利用 matlab engine 调用 python scripts 来间接调取 lpips scores. ```matlab % Example pseudo-code showing how to call LPISP from Matlab via system command. system('python compute_lpips.py --img_path1 imgA.png --img_path2 imgB.png'); ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值