DUF:Deep Video Super-Resolution Network Using Dynamic Upsampling Filters ...阅读笔记

原创 已于 2022-06-09 22:08:39 修改 · 1.3k 阅读 · 7 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能 #深度学习 #计算机视觉

于 2022-05-24 15:49:51 首次发布
本文详细分析了DUF(Deep Video Super-Resolution Network Using Dynamic Upsampling Filters)论文，这是一种无需显式运动补偿的视频超分辨率方法。DUF利用动态上采样滤波器和残差学习，通过隐式运动补偿和时间增强技术，实现了视频帧间的细节补充和重建。实验表明，尽管参数较少，但DUF在保持高PSNR和SSIM值的同时，能够生成精细的细节，适用于预处理视频，但速度较慢，不适合实时应用。

DUF:Deep Video Super-Resolution Network Using Dynamic Upsampling Filters Without Explicit Motion Compensation

DUF：无需显式运动补偿的动态上采样滤波器的深视频超分辨率网络


论文：https://openaccess.thecvf.com/content_cvpr_2018/papers/Jo_Deep_Video_Super-Resolution_CVPR_2018_paper.pdf

代码：https://github.com/yhjo09/VSR-DUF

个人复现(pytorch)：GitHub - gedulding/VSR_DUF_pytorch: According to the author's paper and code, it is converted to pytorch implementation. This code can be used as the basis for reproducing this paper. And the code content can be used as a template

本篇笔记主要对整篇论文从头到尾进行阅读分析，本文内容有点多，主要是对不同部分的总结以及图例解释，如果只对模型原理部分有兴趣，可直接观看第四部分。

本文为了详细说明各图、公式在各组件中的情况，所以对原文图片、公式做了切割和拼接，保证该内容是在该组件中生效的。

目录

（1）摘要

（2）引言

（3）相关工作

（4）本文方法介绍

（4.1）动态上采样filter

（4.2）残差学习

（4.3）网络结构的设计

（4.4）时间增强

（5）实验

（5.1）学习运动的可视化：

（5.1.1）合成运动测试

（5.1.2）滤波器是否有效测试

（5.1.3）动态上采样滤波器

（5.2）实验结果：

总结 ：

（1）摘要

        目前基于深度学习的VSR方法大多依赖显示运动补偿的精度，也就是运动估计和运动补偿的精度。而本文提出的一种端到端的网络，网络中包含动态上采样filter和残差图像处理，利用隐式信息进行动态上采样filter的生成(隐式运动补偿不需要进行复杂的运动估计，利用帧之间的互补信息进行帧补偿)，通过残差网络进行时空领域的细节补充，再通过上采样filter重建HR图像，辅助一种数据增强的技术生成HR视频。

（我用一下我的BasicVSR中的比较图进行对比，可以从DUF的参数，运动时间以及PSNR看出这个算法的基本效果，让大家对这个算法有个大致感官）

（2）引言

        现有的硬件设备4K和8K的屏幕往往没有合适该分辨率的内容，进行图片超分就是对视频的每一帧进行不关联的超分，但是这种超分会导致各个图像之间没有考虑时空关系出现伪影和闪烁的问题。传统的VSR算法是通过计算亚像素运动，计算两个LR图像之间的亚像素之间的位移(如下图)，后续的基于深度学习的方法基于上述思想，进行显示运动补偿，通过进行运动估计和运动补偿进行帧之间的细节对齐和补充，然后通过上采样获得HR视频，但是这种方式存在两个问题：1，严重依赖运动估计和补偿的精度。2，混合来自多个LR帧的目标帧恢复的图像会模糊。 

(LR图之间亚像素之间的关系，进行亚像素位移实际上就是通过计算两个LR图像之间亚像素之间的位置关系进行位移对齐，然后补充目标帧没有的细节信息) 

        本文设计的方法中，如下图所示，通过对输入的多个视频帧进行隐式的运动补偿计算，生成相应的动态上采样filter，然后直接对输入的

最低0.47元/天 解锁文章
VSR论文笔记三| 2018CVPR Deep Video Super-Resolution Network Using Dynamic Upsampling Filters Without Expl
eight_Jessen的博客
11-04 1272
Deep Video Super-Resolution Network Using Dynamic Upsampling Filters Without Explicit Motion Compensation 1.总结 以往的方法依赖于运动估计和补偿。对运动估计的准确度要求高。同时最后输出的HR图像是通过CNN混合来自多个运动补偿输入LR帧得到的，最终的结果也比较模糊。 作者提出一个基于每个像素局部的时空邻域产生动态上采样滤波器和残差图像的网络，一次阻止显式的运动补偿。最终HR图像的产生是通过直接对输入图
视频超分：DUF（Deep Video Super-Resolution Network Using Dynamic Upsampling Filters Without ...)
WangsyHebut的博客
09-07 4906
论文：基于 非动作补偿 动态上采样滤波器的深度视频超分网络 文章检索出处:2018 Conference on Computer Vision and Pattern Recognition(CVPR) Video Super-Resolution on Vid4 - 4x upscaling FRVSR:26.690 VSR-DUF:27.310 EDVR:27.350 RRN:27.690 (图像出自paper with code 2020.9.7) 摘要： 我们提出了一种新的端到端深度神经.
CVPR 2018 基于累积注意力的视觉定位 Visual Grounding via Accumulated Attention 详解
weixin_44791273的博客
10-19 453
需要注意的是，当查询为短语或句子时，一个香草LSTM足以捕获序列内的关系，因此在这种情况下使用分层架构是不必要的，甚至会导致过拟合。为了决定在图像中的位置，我们采用了图像描述[ 29 ]和VQA [ 14 ]中的通常做法，将图像划分为与提取的特征图相对应的多个区域，并为这些区域分配不同的注意力权重。我们在我们最好的模型Ours - r3上嵌入了一个预训练的词向量[ 18 ]，即Ours - r3 ( w2v )，我们观察到它可以显著提高基于A - ATT的模型的性能，这是因为从查询中提取了更好的特征。
文献阅读2：Deep Video Super-Resolution Network
makxxll的博客
03-14 4709
Deep Video Super-Resolution Network Using Dynamic Upsampling Filters Without Explicit Motion Compensation
超分辨率(CVPR2020) ~《Video Super-resolution with Temporal Group Attention》
weixin_41447373的博客
10-12 4244
有兴趣的朋友可以加微信：qyf--1314相互讨论技术 论文：https://arxiv.org/abs/2004.01398 官方代码：https://github.com/Phoenix1327/tea-action-recognition
Video SR-2
qq_41332469的博客
06-03 835
一、Deep Video Super-Resolution Network Using Dynamic Upsampling Filters Without Explicit Motion Compensation （CVPR018 - DUF） 1、出发点 现有方法严重依赖于运动估计和补偿的准确性。 2、主要工作 本文提出了一种新型的端到端深度网络，它可以生成动态上采样滤波器和残差图像，残差图像依赖于每个像素的局部时空邻域来计算，以避免显式的运动补偿。 3、网络结构 多帧输入，含两个分支： 过滤
Multi-Stage Feature Fusion Network for Video Super-Resolution阅读笔记
Gedulding的博客
05-17 1357
Multi-Stage Feature Fusion Network for Video Super-Resolution MSFFN、TAN、MFFN、MDRB，时间对齐网络，调制多级特征网络，融合网络，注意力模块
TDAN: Temporally Deformable Alignment Network for Video Super-Resolution论文笔记
Ytravel的博客
03-04 3137
论文链接 一. 简介 由于相机或物体的运动变化，参考帧和相邻帧之间并不对齐。大多数VSR 选用光流方法来对齐。 基于对齐模型的方法，其性能极大依赖于光流预测的正确性，不准确的光流会导致伪影产生，这些伪影也会传播到重构的HR视频帧中。 作者提出的时间可变形对齐网络(TDAN)，无需计算光流，自适应地在特征层面进行对齐。 TDAN使用参考帧和每个相邻帧的特征来动态预测采样卷积核的偏移量，用该采样核对...
视频超分辨率研究方法
m0_53369570的博客
01-07 498
背景 视频超分源于图像超分，其目的是从一个或多个低分辨率（LR）图像中恢复高分辨率（HR）图像。它们的区别也很明显，由于视频是由多个帧组成的，即前者通常利用帧间的信息来进行修复。 ...
【亲测免费】 深度视频超分辨率网络：VSR-DUF 项目推荐
gitblog_00811的博客
09-15 736
深度视频超分辨率网络：VSR-DUF 项目推荐 项目介绍 VSR-DUF（Deep Video Super-Resolution Network Using Dynamic Upsampling Filters Without Explicit Motion Compensation）是一个基于TensorFlow的深度视频超分辨率网络的重新实现。该项目不仅提供了VSR-DUF模型的训练代码，还包...
上采样/上变频/半带滤波器设计仿真代码python
08-27
用于上采样（DUC）上变频的半带滤波器设计仿真代码python
动态上采样滤波器
mytzs123的博客
02-26 112
通过注意力机制实现上采样滤波器。
上采样与插值滤波器
热门推荐
thefutureisour的专栏
11-26 2万+
其实这个问题一般的数字信号处理书里面都有，但是会放到“多采样数字信号处理”这一章里面讲，而这一章一般上课时，是讲不到的，所以我才迷惘了很久。 首先澄清一个问题，upsample到底是什么，与差值到底是什么关系？ 回答其实很简单，对于采样下来的数字信号，时间一定，采样速率一定，那么采样点的个数就定了。我们是无法获取采样点之间的模拟信号的值的。而在有些情况下，我们又必须获取它们，比如：.两个数字系
数字信号上下采样对频谱影响，以及如何添加相应滤波器
ddatalent的博客
06-07 1万+
由于绝大多数变采样率是有理数变化，因此可以采用简化的方法：上采样的目的是为了提高数据采样率，从而适应DA的转换率。所谓整数倍内插就是指在两个原始采样点之间插入(I－1) 个零值，若设原始抽样序列为x(n)，则内插后的 序列xI(m)x_{I}(m)xI​(m)为： xI(m)={x(mI)m=0,±I,±2I...0其他x_{I}(m)=\begin{cases} x(\frac{m}{I})& m=0,±I, ±2I...\\ 0 & 其他 \end{cases}xI​(m)={x(Im​)0​m=0,±
【转载】差分进化算法 (Differential Evolution)
Uuujuutdfu的博客
02-25 1824
原文：https://www.cnblogs.com/tsingke/p/5809453.html Differential Evolution（DE）是由Storn等人于1995年提出的，和其它演化算法一样，DE是一种模拟生物进化的随机模型，通过反复迭代，使得那些适应环境的个体被保存了下来。但相比于进化算法，DE保留了基于种群的全局搜索策略，采用实数编码、基于差分的简单变异操作和一对一的竞争生存...
动态上采样器：Learning to Upsample by Learning to Sample
AI浩
04-28 1万+
我们再次回到上采样的本质，即点采样，来建模几何信息。在PyTorch的内置函数的基础上，我们首先提供一个简单的实现，以证明基于采样的动态上采样的可行性（图2(a)）。网格采样。给定一个大小为C×H1×W1C×H1​×W1​的特征图XX，以及一个大小为2×H2×W22×H2​×W2​的采样集SS，其中第一维的2表示xxx和yyy坐标。grid_sample函数使用SS中的位置对假设的双线性插值XX。
【亲测免费】 DySample：轻量级动态上采样器使用指南
gitblog_00880的博客
09-12 2221
--- ## 项目介绍 **DySample** 是一个由 Wenze Liu 等人在 ICCV 2023 上提出的超轻量化且高效的动态上采样方法。它摒弃了以往依赖动态卷积及额外子网络生成动态滤波器的复杂性，转而采用点采样的视角来简化上采样过程，这一创新设计使得其在不依赖特定 CUDA 包的情况下，也能实现低延迟、少参数和少计算量的优点。DySample 在语义分割、目标检测、实例分割、全景分...
(即插即用模块-特征处理部分) 五、(ICCV 2023) Dynamic Upsampling 动态上采样
wei582636312的博客
12-14 1223
论文指出在现有的研究中的一些弊端：现有的上采样器虽然性能出色，但引入了大量的计算负担，这些主要是由于动态卷积的计算成本和生成动态核的额外子网络。所以，这篇论文提出一种动态上采样（Dynamic Upsampling），是一种轻量级且有效的动态上采样，Dynamic Upsampling是为了解决现有基于核的动态上采样器的局限性。
YOLOv5改进 | 细节涨点篇 | DySample一种超级轻量的动态上采样算子（效果完爆CARAFE）
Snu77的博客
02-06 4863
本文给大家带来的改进机制是一种号称超轻量级且有效的动态上采样器——DySample。与传统的基于内核的动态上采样器相比，DySample采用了一种基于点采样的方法，相比于以前的基于内核的动态上采样器，DySample具有更少的参数、浮点运算次数、GPU内存和延迟。此外，DySample在包括语义分割、目标检测、实例分割、全景分割和单目深度估计在内的五个预测任务中，性能均优于其他上采样器（截至目前最有效的上采样算子），本文将通过介绍其主要原理后，提供该机制的代码和修改教程，并附上运行的yaml文件和运行代码，
我需要你给我提供的一个完整的python请求例子，一下是抓包数据 POST https://api.weibo.cn/2/video/tiny_video_info_show?networktype=wifi&launchid=10000365--x&is_pad=true&orifid=102803%24%24100103type%3D1%26q%3D%E8%93%9D%E5%AD%A9%E9%89%B4%E8%B5%8F%26t%3D0%24%241076031005696190&uicode=10001054&ul_hid=adf0a96f-7fcb-494b-90d7-eeccef29ed9d&ul_sid=adf0a96f-7fcb-494b-90d7-eeccef29ed9d&moduleID=715&checktoken=13cb57ad278a5e744228ceff9c03d98d&wb_version=6752&source_code=10000003_100103type%3D1%26q%3D%E8%93%9D%E5%AD%A9%E9%89%B4%E8%B5%8F%26t%3D0&c=android&s=74c9e9f7&ft=0&ua=HUAWEI-TAS-AN00__weibo__14.4.3__android__android9&wm=20005_0002&aid=01A0Xaqj63v_-wcWvt5g1ByJSHgnkXWvgaDLfHUuvLp2OYkEQ.&did=0f607264fc6318a92b9e13c65db7cd3cbda428dd&fid=232312&v_f=2&v_p=90&from=10E4395010&gsid=_2AkMf43duf8NhqwFRmvsUzWLka4l1zgnEieKpv4a1JRM3HRl-wT9xqhYCtRV6XNyh2DytO6OGewnrC0-A2tZs7e94cm4M&lang=zh_CN&lfid=1076031005696190&skin=default&oldwm=20005_0002&sflag=1&oriuicode=10000511_10000003_10000198&luicode=10000198&android_id=f56d53edbaf01196&ul_ctime=1757412163502&cum=EE84E039 HTTP/1.1 Host: api.weibo.cn Connection: keep-alive Content-Length: 4716 X-Engine-Type: 114.0.5735.246 User-Agent: TAS-AN00_9_weibo_14.4.3_android X-Log-Uid: 2023119674241 X-Sessionid: b9f645fb-f151-4a72-9aef-bdb30ee0a580 X-Validator: xrxuuisa4mRi/Zs5qufSBLSH3PRBAEFsrgK+hGPaxf8= Content-Type: multipart/form-data;boundary=------------1757412163516 Accept-Encoding: gzip, deflate, br --------------1757412163516 Content-Disposition: form-data; name="networktype" Content-Type: text/plain; charset=utf-8 Content-Length: 4 wifi --------------1757412163516 Content-Disposition: form-data; name="orifid" Content-Type: text/plain; charset=utf-8 Content-Length: 57 102803$$100103type=1&q=蓝孩鉴赏&t=0$$1076031005696190 --------------1757412163516 Content-Disposition: form-data; name="uicode" Content-Type: text/plain; charset=utf-8 Content-Length: 8 10001054 --------------1757412163516 Content-Disposition: form-data; name="moduleID" Content-Type: text/plain; charset=utf-8 Content-Length: 3 715 --------------1757412163516 Content-Disposition: form-data; name="checktoken" Content-Type: text/plain; charset=utf-8 Content-Length: 32 13cb57ad278a5e744228ceff9c03d98d --------------1757412163516 Content-Disposition: form-data; name="wb_version" Content-Type: text/plain; charset=utf-8 Content-Length: 4 6752 --------------1757412163516 Content-Disposition: form-data; name="source_code" Content-Type: text/plain; charset=utf-8 Content-Length: 40 10000003_100103type=1&q=蓝孩鉴赏&t=0 --------------1757412163516 Content-Disposition: form-data; name="c" Content-Type: text/plain; charset=utf-8 Content-Length: 7 android --------------1757412163516 Content-Disposition: form-data; name="s" Content-Type: text/plain; charset=utf-8 Content-Length: 8 74c9e9f7 --------------1757412163516 Content-Disposition: form-data; name="ft" Content-Type: text/plain; charset=utf-8 Content-Length: 1 0 --------------1757412163516 Content-Disposition: form-data; name="ua" Content-Type: text/plain; charset=utf-8 Content-Length: 49 HUAWEI-TAS-AN00__weibo__14.4.3__android__android9 --------------1757412163516 Content-Disposition: form-data; name="wm" Content-Type: text/plain; charset=utf-8 Content-Length: 10 20005_0002 --------------1757412163516 Content-Disposition: form-data; name="aid" Content-Type: text/plain; charset=utf-8 Content-Length: 50 01A0Xaqj63v_-wcWvt5g1ByJSHgnkXWvgaDLfHUuvLp2OYkEQ. --------------1757412163516 Content-Disposition: form-data; name="did" Content-Type: text/plain; charset=utf-8 Content-Length: 40 0f607264fc6318a92b9e13c65db7cd3cbda428dd --------------1757412163516 Content-Disposition: form-data; name="ext" Content-Type: text/plain; charset=utf-8 Content-Length: 221 {"comment_count":1,"video_duration":30,"author_uid":1005696190,"mlevel":0,"part":"rank_list_interact","media_id":5208520793456694,"mid":5208521138507236,"oid":"1034:5208520793456694","isBigFans":false,"uicode":"10001054"} --------------1757412163516 Content-Disposition: form-data; name="fid" Content-Type: text/plain; charset=utf-8 Content-Length: 6 232312 --------------1757412163516 Content-Disposition: form-data; name="v_f" Content-Type: text/plain; charset=utf-8 Content-Length: 1 2 --------------1757412163516 Content-Disposition: form-data; name="v_p" Content-Type: text/plain; charset=utf-8 Content-Length: 2 90 --------------1757412163516 Content-Disposition: form-data; name="from" Content-Type: text/plain; charset=utf-8 Content-Length: 10 10E4395010 --------------1757412163516 Content-Disposition: form-data; name="gsid" Content-Type: text/plain; charset=utf-8 Content-Length: 94 _2AkMf43duf8NhqwFRmvsUzWLka4l1zgnEieKpv4a1JRM3HRl-wT9xqhYCtRV6XNyh2DytO6OGewnrC0-A2tZs7e94cm4M --------------1757412163516 Content-Disposition: form-data; name="lfid" Content-Type: text/plain; charset=utf-8 Content-Length: 16 1076031005696190 --------------1757412163516 Content-Disposition: form-data; name="skin" Content-Type: text/plain; charset=utf-8 Content-Length: 7 default --------------1757412163516 Content-Disposition: form-data; name="oldwm" Content-Type: text/plain; charset=utf-8 Content-Length: 10 20005_0002 --------------1757412163516 Content-Disposition: form-data; name="oriuicode" Content-Type: text/plain; charset=utf-8 Content-Length: 26 10000511_10000003_10000198 --------------1757412163516 Content-Disposition: form-data; name="luicode" Content-Type: text/plain; charset=utf-8 Content-Length: 8 10000198 --------------1757412163516 Content-Disposition: form-data; name="android_id" Content-Type: text/plain; charset=utf-8 Content-Length: 16 f56d53edbaf01196 --------------1757412163516 Content-Disposition: form-data; name="session_id" Content-Type: text/plain; charset=utf-8 Content-Length: 20 -8750690510388968590 --------------1757412163516 Content-Disposition: form-data; name="ul_ctime" Content-Type: text/plain; charset=utf-8 Content-Length: 13 1757412163509 --------------1757412163516--
最新发布
09-10
由于没有提供具体的微博API POST请求抓包数据，以下是一个通用的基于`requests`库的微博API POST请求示例，假设需要向微博API发送一个包含JSON数据的POST请求： ```python import requests # 微博API的URL url = 'https://api.weibo.com/some_endpoint' # 设置请求头，可能需要包含认证信息等 headers = { 'Authorization': 'Bearer YOUR_ACCESS_TOKEN', 'Content-Type': 'application/json' } # 要发送的JSON数据 data = { 'key1': 'value1', 'key2': 'value2' } # 发送POST请求 response = requests.post(url, headers=headers, json=data) # 检查请求是否成功 if response.status_code == 200: # 解析响应的JSON数据 result = response.json() print(result) else: print('Failed to send request:', response.status_code) ``` 如果抓包数据显示是`multipart/form-data`类型的请求，示例如下： ```python import requests # 微博API的URL url = 'https://api.weibo.com/some_endpoint' # 设置请求头，可能需要包含认证信息等 headers = { 'Authorization': 'Bearer YOUR_ACCESS_TOKEN' } # 要发送的表单数据 files = { 'field1': 'value1', 'file': ('filename.jpg', open('path/to/your/file.jpg', 'rb'), 'image/jpeg') } # 发送POST请求 response = requests.post(url, headers=headers, files=files) # 检查请求是否成功 if response.status_code == 200: # 解析响应的JSON数据 result = response.json() print(result) else: print('Failed to send request:', response.status_code) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值