在图像恢复中使用多个感受野有什么效果?

(ECCV2024)Histoformer:基于直方图Transformer的恶劣天气图像恢复新文章 题目:Restoring Images in Adverse Weather Conditions via Histogram Transformer论文地址: https://arxiv.org/pdf/2407.10172代码地址: https://github.com/sunshangquan/Histoformer。 阅读详情

作者:Chu-Tak Li

编译:ronghuaiyang

导读

在网络结构中使用多种感受野,并对损失函数进行了改进。

今天我们要讲的另一种修复论文叫做Image inpainting via Generative Multi-column CNNs (GMCNN)。本文使用的网络架构类似于我们之前介绍的那些论文。本文的主要贡献是对损失函数进行了若干修正。

回顾

正如我在以前的文章中提到的,如何利用图像中其他像素所提供的信息,对提高图像修复效果至关重要。图像修复的一个非常直观的意义是直接复制图像本身中找到的最相似的图像patch,并粘贴在缺失的区域。有趣的是,我们应该意识到,在实践中,对于缺失的区域没有“正确”的答案。在现实中,给定一个损坏的/mask的图像,你不可能知道原始图像(ground truth)来进行比较。所以,我们有这么多的答案来解决缺失的区域。

介绍和动机

从以往的图像修复论文中,我们了解到感受野野对图像修复的重要性。对于3×3内核,我们可以调整膨胀率来控制它的感受野。如果扩张率为1,我们的感受野为3×3。如果膨胀率是2,通过跳过一个相邻像素,我们有一个5×5感受野,以此类推。这里,如果我们使用带有膨胀卷积的3×3、5×5和7×7内核会怎么样?这在本文中被定义为一个多列结构

在之前的文章中,寻找和缺失区域最相似的图像patch的过程是嵌入到生成网络中的,在这个工作中,该过程只是用来设计一个新的损失项用于训练。

由于缺少的区域没有“正确”的答案,像素级重建精度损失项(即L1损失)似乎不适用于图像修复。作者提出了基于缺失像素的空间位置,对L1损失项进行加权。靠近有效像素的空间位置对于L1的损失应该有更高的权值,因为它们对重构有更合理的参考,反之亦然。

方案和贡献

图1,给出了用该方法进行修复的一些结果

在我看来,本文遵循了我们之前提到的图像修复的趋势。首先,作者采用了扩展卷积的多分支CNN,而不是单一分支。三个不同的kernel大小被用于三个不同的分支,以实现不同的感受野和提取不同分辨率的特征。

其次,引入两个新的损失项来训练网络,分别是置信度驱动的重建损失和隐多样化马尔可夫随机场(ID-MRF)损失。置信度驱动的重建损失是一个加权的L1损失,而ID-MRF损失与预训练的VGG网络计算的特征patch比较有关。

图1显示了本文方法的一些修复结果。你可以放大以更好地查看这些高质量的结果。

方法

图2,提出的网络架构

图2显示了本文提出的生成式多列卷积神经网络(GMCNN)的网络结构。如你所见,有一个多列生成器网络、两个鉴别器(全局和局部)和一个用于计算ID-MRF损失的预训练VGG19。

生成网络中有三列,每一列使用三种不同大小的过滤器,即3×3、5×5和7×7。、注意,这三列的输出被连接到其他两个卷积层以获得完整的图像。

ID-MRF正则化

图3,使用不同的相似性度量来搜索修复结果的最近邻居。(a)余弦相似度的修复结果(b)提出的相对相似度的修复结果(c) Ground truth图像(红色矩形突出填充区域)

简单地说,对于MRF目标,我们希望最小化生成的特征与通过预先训练的网络计算出的ground truth中的最近邻居特征之间的差异。在大多数以前的工作,余弦相似性测量被用来寻找最近的邻居。然而,这种相似性度量通常对不同生成的特征块给出相同的最近邻,导致修复结果模糊,如图3(a)所示。

为了避免使用余弦相似度度量可能导致完成图像模糊,我们采用了相对距离度量,修复结果如图3(b)所示。你可以看到,完成的图像有更好的局部精细纹理。

我们来谈谈它们是如何进行相对距离测量的。Y(hat)_g为缺失区域生成的内容,Y(hat)^L_g 和 Y^L 为预训练网络的第L层特征。对分别从Y(hat)^L_g 和 Y^L中提取的v和s特征块,计算v与s的相对相似度:

mu(. , .)是余弦相似度。r属于Y^L, v除外。h和 epsilon是正的常数。显然,如果v比其他特性patch更类似于s,那么RS(v, s)就会很大。你也可以考虑,如果v有两个类似的patchs和r,那么RS(v, s)就会很小。我们鼓励在缺失区域之外寻找类似的patches。

最后,计算了在Y(hat)^L_g 和 Y^L 之间的ID-MRF损耗。

其中参数max RS(bar)(v, s)表示s是v最近的邻居,Z是一个归一化因子。如果考虑所有生成的特征patch都接近于某一特征patch s的极端情况,则max RS(bar) (v, r)较小,因此ID-MRF损失较大。

另一方面,如果Y^L 中的每个r都有自己的最近邻居Y(hat)^L_g,则max RS(bar) (v, r)很大,因而ID-MRF损失较小。这里,主要思想是强制/引导生成的特征patch有不同的最近邻居,从而生成的feature具有更好的局部纹理。

与先前的工作一样,作者使用预先训练的VGG19来计算ID-MRF损失。请注意,中间层conv3_2和conv4_2分别表示结构特征和语义特征。

作者声称这种损失与最近邻搜索有关,并且只在训练阶段使用。这与在测试阶段搜索最近邻居的方法不同。

特征不变重建损失

所提出的空间变异重构损失实际上是一个加权的L1损失。确定权值的方法有很多种,本文利用高斯滤波器对掩模进行卷积,生成加权掩模,计算加权L1损耗。加权L1损失的主要思想是,接近有效像素的像素损失比远离有效像素的像素损失受到更高的约束。因此,位于缺失区域中心的像素损失应该有更低的L1损失权值(即更少的约束)。

对抗损失

与先前的工作类似,作者采用了改进的WGAN损失和局部和全局鉴别器。

最终的损失函数

这是用于训练所提模型的最终的损失函数。与大多数修复论文相似,加权L1损失(第一损失项)的重要性为1。Lambda_mrf和Lambda_adv是控制局部纹理mrf正则化和对抗训练重要性的参数。

实验

作者在5个公共数据集上评估了他们的方法,即Paris StreetView, Places2, ImageNet, CelebA和CelebA- hq数据集。在他们的训练期间,所有的图像都被调整为256×256,最大的中心孔的大小128×128。在GPU上测试256×256和512×512大小的图像,每个图像大约需要49.37 ms和146.11 ms。

图4,定性比较巴黎街景(上)和ImageNet(下)。(a)输入图像(b)上下文编码器(c) MSNPS (d)上下文注意(e)提出的方法。

图4显示了Paris StreetView和ImageNet数据集的定性比较。请放大以更清楚地看到修复结果。很明显,本文提出的方法GMCNN给出了具有最佳视觉质量的修复结果。

表1,五个数据集的定量结果

正如我在之前的文章和本文开头提到的,PSNR与像素级重建精度有关,这可能不适用于评估图像修复。研究人员仍然报告PSNR和SSIM供读者参考,因为这些数值指标是所有图像处理任务的基础。如表1所示,本文提出的方法在五个数据集上获得了相当甚至更好的PSNR和SSIM。

消融研究

表2,巴黎街景数据集上不同网络结构的定量结果

图5,对巴黎街景数据集上不同网络结构的定性比较。(a)输入图像(b)单个编码器-解码器(c)粗到细(d) 3个分支中感受野固定的GMCNN (e)感受野不同的GMCNN

对不同网络结构在图像修复中的性能进行了评价。在他们的实验中,对于从粗到细的结构,没有使用上下文注意力。对于三个分支中感受野固定的GMCNN,采用大小为5×5的过滤器。对于具有不同感受野的GMCNN,三个分支分别使用了3×3、5×5和7×7的kernel。定量和定性结果分别见表2和图5。显然,具有不同感受野的GMCNN提供了最好的修复效果。

除了网络结构的选择和多重感受野的使用,作者还研究了两个提出的损失项的有效性,即信心驱动重建损失和ID-MRF损失。

图6,对Paris StreetView数据集上不同重建损失的定性比较。(a)输入图像(b)空间折现损失(c)提出的置信驱动重建损失

图6显示了不同重建损失的视觉对比,即空间折现损失和提出的置信度驱动重建损失。请注意,空间折现损失根据像素的空间位置获得权重掩码,而提出的置信驱动重建损失通过将掩码图像与高斯滤波器进行多次卷积获得权重掩码。两位作者声称,由置信度驱动的重建损失效果更好。从我自己的经验来看,这两种重建损失是相似的。也许你可以试一试。

表3,在Paris StreetView数据集上使用不同的lambda_mrf的定量结果

图7,在Paris StreetView数据集上使用ID-MRF损失与否的定性比较 (a) 输入图像(b)使用ID-MRF损失的修复结果(c)没有使用ID-MRF损失的修复结果

图8,在Paris StreetView数据集上使用ID-MRF loss与不同的lambda_mrf进行定性比较。(a) Input image (b) lambda_mrf = 2 (c) lambda_mrf = 0.2 (d) lambda_mrf = 0.02 (e) lambda_mrf = 0.002

更重要的是,ID-MRF损失项是本文最强调的。因此,作者表明了这一失项的重要性,定量结果列在表3中。图7显示了使用ID-MRF损失和不使用ID-MRF损失训练的模型之间的区别。我们可以看到,使用ID-MRF可以增强生成像素的局部细节。此外,图8显示了使用不同的lambda_mrf来控制ID-MRF损失的重要性的效果。你可以放大以便更好地查看结果。我个人认为,修复的结果是相似的。从表3可以看出,lambda_mrf = 0.02提供了PSNR和视觉质量之间的良好平衡。

总结

综上所述,本文的创新之处在于使用ID-MRF损失项来进一步增强生成内容的局部细节。这种损失的主要思想是引导生成的特征patch在缺失区域之外寻找最近的邻居作为参考,并且最近的邻居应该是多样化的,这样可以模拟更多的局部细节。

多重感受野(多列或多分支)的使用是由于感受野的大小对图像修复任务很重要。由于局部相邻像素缺失,我们必须借用遥远空间位置的信息来填补缺失的像素。如果你看过我之前的文章,我想这个想法对你来说并不难理解。

使用加权L1损失也是由于缺少区域没有“正确”答案的事实。对于那些更接近缺失区域边界的缺失像素,它们相对受到接近有效像素的约束,因此需要对L1的损失赋予更高的权值。另一方面,对于位于缺失区域中心的缺失像素,它们的L1约束应该更小。

要点

参考我在上面的结论,我希望你能理解提出的ID-MRF损失的意义,因为这是本文的核心思想。对于本文的其他两个思路,即多列结构和加权L1损失。事实上,如果你关注过我之前的文章,我认为你可以很好地理解背后的原因。我认为多重/多种感受野的概念是深层语义修复的常见做法。

对于加权的L1损失,从我个人的经验来看,我不认为它会对修复性能带来明显的改善。当然,实现加权L1损失的方法有很多。如果你对此感兴趣,可以试一试。

—END—

英文原文:https://towardsdatascience.com/what-if-multiple-receptive-fields-are-used-for-image-inpainting-ea44003ea7e9

医图论文 Arxiv‘25 | PARF-Net:将像素级自适应感受野集成到混合Transformer-CNN网络中用于医学图像分割 卷积神经网络(CNN)在局部特征提取方面表现出色,而Transformer在处理全局语义信息方面具有优势。通过结合两者的优势,混合Transformer-CNN网络已成为医学图像分割任务中的主要架构。然而,现有的混合方法由于卷积的固定感受野,仍然存在局部语义特征学习不足的问题,并且在有效整合局部和长程依赖关系方面也存在不足。为了解决这些问题,作者提出了一种新方法PARF-Net,将像素级自适应感受野卷积(Conv-PARF)集成到混合网络中用于医学图像分割。 阅读详情

相关推荐

inpainting_gmcnn:通过生成的多列卷积神经网络进行图像修复,NeurIPS2018

通过生成多列卷积神经网络进行图像修复 ,,,,。 带有矩形遮罩的Places2,CelebA-HQ和Paris街景的结果。 在Places2和CelebA-HQ上随机抽奖的结果。 介绍 该存储库适用于NeurIPS 2018论文`` ''。 如果我们的方法对您的研究有用,请考虑引用: @inproceedings{wang2018image, title={Image Inpainting via Generative Multi-column Convolutional Neural Networks}, author={Wang, Yi and Tao, Xin and Qi,

openvino系列 14. GMCNN 图像修复

GMCNN 图像修复案例: 1. 下载模型`gmcnn-places2-tf`以及中间件`IR`转换; 2. 加载`IR`模型; 3. 导入测试图片,新建mask,两者合成为mask测试图片; 4. 调整mask以及mask测试图片大小,使之与模型输入大小匹配; 5. 模型推理,显示结果。

破浪会有时的博客 1357

inpainting-gmcnn-keras:Keras实现的“通过可生成的多列卷积神经网络进行图像修复”论文发表于NIPS 2018

Keras中的生成多列卷积神经网络修复模型 Keras实施GMCNN的(创成多列卷积神经网络)最初在2018 NIPS提出修复模型: 模型架构 安装 来自此存储库的代码已在Python 3.6和Ubuntu 14.04上进行了测试 所有必需的依赖项都存储在requirements.txt , requirements-cpu.txt和requirements-gpu.txt文件中。 代码下载: git clone https://github.com/tlatkowski/inpainting-gmcnn-keras.git cd inpainting-gmcnn-keras 要安装需求,请创建Python虚拟环境并从文件安装依赖项: virtualenv -p /usr/bin/python3.6 .venv source .venv/bin/activate pip insta

探索AI魔法:Inpainting_GMCNN - 修复破损图像的新里程

探索AI魔法:Inpainting_GMCNN - 修复破损图像的新里程 项目地址:https://gitcode.com/gh_mirrors/in/inpainting_gmcnn 在这个数字时代,我们与照片和图像的互动日益频繁,有时难免会遇到因各种原因造成的图像损坏。Inpainting_GMCNN 是一个基于深度学习的开源项目,旨在利用先进的生成模型来修复破损或缺失部分的图像,让你的珍贵记...

gitblog_00081的博客 698

Nginx/OpenResty目录穿越漏洞复现

Nginx/OpenResty目录穿越漏洞复现 漏洞背景: 2020年03月18日, 360CERT监测发现 openwall oss-security 邮件组披露了两枚漏洞。在特定配置下 nginx/openresty 存在 内存泄漏漏洞/目录穿越漏洞。 Nginx 是异步框架的网页服务器,也可以用作反向代理、负载平衡器和HTTP缓存。 OpenResty是一个基于nginx的Web平台,它对nginx增加LuaJIT引擎使其运行Lua脚本。 影响版本: nginx <= v1.17

小小猪的博客 1万+

AI辅助Unity UI开发:从设计稿到Prefab的自动化实践

在游戏开发中,UI界面构建常涉及大量重复性工作,如UGUI布局、Prefab制作等。通过AI代码生成技术,可将设计稿自动转换为可编译的工程结构,其原理是结合结构化描述与项目规范,生成编辑器脚本,从而提升开发效率并减少人为错误。这一方法尤其适用于需要快速迭代的客户端开发场景,能有效降低UI卡顿风险。本文以Codex为例,详细介绍了从设计稿解析到Prefab生成的完整链路,并分享了Codex安装、接入DeepSeek等实操经验,帮助开发者将机械搬运交给AI,聚焦更高价值的设计决策。

weixin_27676369的博客 326

Image Fine-grained Inpainting图像细粒度修复(2020)论文笔记

本文提出了一个单阶段模型,该模型利用空洞卷积的密集组合来获得更大更有效的感受野。得益于该网络的特性,我们可以更容易地从不完整的图像中恢复出大面积的区域。为了更好地训练这个高效的生成器,除了经常使用的VGG特征匹配损失外,还设计了一种新的自导向回归损失来集中不确定区域并增强语义细节。此外,设计了一个几何对齐约束项(特征中心坐标对齐)来补偿基于像素的预测特征与真实图片特征之间的距离。我们还使用局部和全局分支的鉴别器来确保局部和全局内容的一致性。为了进一步提高生成图像的质量,在局部分支上引入鉴别器特征匹配,动态地

qq_48387055的博客 642

ADS仿真过孔阻抗(via designer)

目录一、将PCB层叠导入ADS(个人习惯)二、过孔的参数化设置三、过孔的仿真四、仿真结果查看五、导出仿真结果和模型六、过孔的经验法则欢迎交流,欢迎转载,转载请注明出处~ 工具:Via Designer Via Designer 调用的是ADS EMPro 仿真引擎,采用的FEM(三维全波有限元法)。 优点: 1、利用ADS已经做好的参数化和流程化的设计,不需要工程师完成过孔的建模这一繁琐的过程。 2、可以输出EMmodule 完成原理图协仿真。 一、将PCB层叠导入ADS(个人习惯) 个人认为在ADS中设置

luohuo9844的博客 1万+

CVPR 2026 | 解决 LUT 感受野瓶颈!ShiftLUT 轻量扩展感受野实现高效图像恢复

这一研究不仅为资源受限设备的高效图像恢复提供了新方案,也为基于LUT的轻量化模型设计提供了全新思路——通过精细化的模块设计和资源分配,而非简单堆叠网络,就能实现性能和效率的双赢。无论是超分辨率、去噪还是去块效应,ShiftLUT都在更小的存储、更快的推理速度下,实现了更高的恢复质量。近期,CVPR 2026的一篇研究论文提出了ShiftLUT框架,创新性地解决了这一痛点——在所有基于LUT的方法中实现了最大感受野,同时还能保持极致的存储和推理效率,为边缘设备的高效图像恢复带来了全新方案。

小白学视觉 680

用Python进行GEO数据挖掘(学习笔记四):富集分析

该笔记详细解释了富集分析的工作原理,并简要地利用gseapy在python中进行富集分析的操作。

m0_64111502的博客 5649

保姆级教程:用YOLOv8n模型在RKNN和Horizon平台完成目标检测(附C++部署代码与性能实测)

本文提供了一份详尽的YOLOv8n模型在RKNN和Horizon平台上的部署指南,涵盖环境配置、模型优化、跨平台适配及性能调优。通过实战案例和C++部署代码,帮助开发者在嵌入式设备上高效实现目标检测,显著提升推理性能。

weixin_42659194的博客 469

【图像分割模型】多感受野的金字塔结构—PSPNet

这是专栏《图像分割模型》的第6篇文章。在这里,我们将共同探索解决分割问题的主流网络结构和设计思想。 在分割问题中,上下文信息与多尺度融合对于提高分割精度是十分有效的,今天我们就来谈谈用于实现这个目标的金字塔池化结构。 作者 | 孙叔桥 编辑 | 言有三 本期论文《Pyramid Scene Parsing Network》 1 为什么要用金字塔结构提取特征 从本系列前面的文章...

hacker_long的专栏 2511

goahead(嵌入式Web服务器)之文件传输篇

goahead文件上传原理: 使用html form即表单提交文件上传请求,web服务器核心处理接收客户端Post过来的文件数据(注意post的是二进制数据),最后,web服务器把接收到文件数据以二进制格式写到服务器本端存储系统。 goahead文件上传步骤: 1、创建upload.html文件,内容如下: <html> <head> <meta charset="utf-8"/> <title>Upload</title> </head&g

weixin_40732273的博客 3496

Multi-level Wavelet-CNN for Image Restoration(多级小波CNN之图像恢复)

目录 1. 摘要解读 2. 介绍 3. 相关工作 4. 方法 5. 实验 6. 结论 1. 摘要解读 文章动机:普通CNN通常以牺牲计算成本为代价扩大感受野。针对于现有的扩张滤波解决以上问题的过程中,收到网格效应影响而产生的感受野是只具有棋盘图案的爱护如图像的稀疏采样。本文提出多级小波CNN,用以更好地权衡感受野大小和计算效率。 网络实现:通过修改后的 U-Net 架构,引入了小波变换来减小收缩子网络中特征图的大小。此外,另一个卷积层进一步用于减少特征图的通道。在扩展的子网络中,然后部

smiling614的博客 3736

Python 爬虫实战:爬虫与 ECharts 结合 —— 前端可视化展示

本文介绍了爬虫技术与ECharts可视化结合的完整实现流程。首先使用Python爬取京东商品数据(价格、评价数等),通过BeautifulSoup解析和pandas处理转换为JSON格式。然后构建前端页面,利用ECharts实现价格分布柱状图、价格-评价数散点图和店铺占比饼图三种可视化效果。文章详细解析了爬虫数据提取、格式转换和前端图表配置等关键技术点,并提供了完整的代码示例。最后提出了基于API接口、数据库存储等扩展方向,为数据采集到可视化展示提供了完整的解决方案。

2503_91057718的博客 633

[PCIE5.0] 2.2.8.9 Optimized Buffer Flush/Fill (OBFF) Message

这段文字讲解的是 优化的缓冲区清空/填充(OBFF)消息,它是 PCI Express(PCIe)规范中的一个可选功能,用于向设备报告平台中央资源的状态。简单来说,OBFF 主要帮助设备了解当前平台资源(如缓存或内存)的状态,从而优化数据的处理和传输。这章重点内容如下。

系统固件工程师 540

【CVPR2021】Multi-Stage Progressive Image Restoration 多阶段渐进式通用图像恢复

首发于jwxie,cn Multi-Stage Progressive Image Restoration ???? PDF Link ???? Github Code Section 1 介绍 图像恢复是一个从低质量的图像恢复出高清图像的任务。典型的低质量因素有噪声,模糊,水滴噪声,雾噪声等。这是一个高度病态的问题,因为本质上对一张输入的低质量图像存在无限的可行解。为此,许多工作通过增加人工设计的图像先验信息,同时限制解空间的大小为自然图像来解决上述问题。但是设计这种先验本身就已经是一个很具有挑战性的任

Tsuinosora 3985

NTscan扫描工具

ntscan是一个扫描器,可以扫描没有密码和弱密码的共享,先到配置文件中填写猜测的用户名和密码,扫描过程中右侧出现的是扫描日志。

【图像分割模型】感受野与分辨率的控制术—空洞卷积

这是专栏《分割模型解读》的第3篇文章。在这里,我们将共同探索解决分割问题的主流网络结构和设计思想。 前两篇文章介绍了编解码分割结构,今天具体聊聊解码器中涉及到的空间分辨率恢复问题。 作者 | 孙叔桥 编辑 | 言有三 1 绪论 通过前两篇文章,我们了解到分割任务是一个像素级别的任务,因此需要在输入的空间尺寸下对每个像素都有分割的结果。换句话说,如果输入的空间尺寸是HxW,那么输...

hacker_long的专栏 2816

贝叶斯统计 [韦来生编]

贝叶斯(Bayes)统计是近几十年来迅速发展起来的数理统计的一个重要分支。贝叶斯方法与经典统计方法的主要不同之处是进行统计推断时除了利用样本信息外,还要利用参数的先验信息,因此可以提高统计推断或统计决策的效果。它在经济、金融、生物、医学、自然科学和社会科学等许多领域具有广泛的应用。贝叶斯方法的研究已渗透到了统计学的几乎所有领域。作者在给中国科学技术大学概率论与数理统计专业本科生开设的“数理统计”课程中有一章专门讲授“贝叶斯方法和统计决策理论”,近十年来也给中国科学技术大学概率统计专业研究生开设过几次“贝叶斯分析”课。本书是在对过去讲稿的内容作了适当的增减和调整的基础上完成的。  本书共分六章。第1章是绪论,介绍了贝叶斯统计的若干基本概念,同时对必要的数理统计的基础知识有重点地作了回顾。第二章介绍了确定先验分布的若干可供选择的方法。第三章介绍了几类常见统计模型参数的后验分布的主要结果和计算方法。第四章和第五章分别介绍了“贝叶斯统计推断”和“贝叶斯统计决策”的内容。第六章介绍了贝叶斯统计计算的若干方法,包括蒙特卡洛方法和马尔可夫链蒙特卡洛(MCMC)方法以及相关统计软件的简介。本书的每一章附右大量的例题和习题,书末附有常用的几个表格和部分习题解答供读者查用。  大约可在54学时内讲授本书的第1章至第六章的主要内容,教师可根据学时需要选讲本书第1章至第六章的部分内容。书中标“*”号的章节可略去不讲,留给读者作为阅读材料。第六章例题中的R代码和部分例题的数据文件等可从作者个人主页下载。  作者在编写本书的过程中参考了J.O.Berger教授的《统计决策论及贝叶斯分析》和茆诗松教授编写的《贝叶斯统计》等书中的一些内容,以及《贝叶斯分析》一书中由张伟平博士编写的有关贝叶斯统计计算的一些内容。在此表示衷心感谢。  本书编写准备过程中,中国科学技术大学统计与金融系的几个研究生帮助完成了本书部分中文的录入和排版,作者对他们的辛勤工作表示真诚的感谢。高等教育出版社为本书的出版给予了大力支持。在此一并致谢。

pscad IEEE标准系统搭建说明

pscad IEEE标准系统搭建说明,包含典型的IEEE 9节点、14节点、30节点、39节点和118节点系统。内含标准测试系统的原始数据和潮流结果。

adcsr图像超分代码_NTIRE2020冠军方案RFBESRGAN:带感受野模块的超分网络

NTIRE2020感知极限超分冠军方案,值得各位CVer花费一丢丢时间!paper: https://arxiv.org/abs/2005.12597本文是OPPO研究院提出并参加NTIRE2020Perceptual Extreme Super Resolution(一般泛指x16超分)竞赛取得冠军的方案。考虑到OPPO手机的优异画质,还是觉得非常有必要研究一下这篇论文。Abstrac...

weixin_42350014的博客 1003

最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版

Part-E1-SDIO-Specification-Ver4.00-Final-120220.pdf:最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版,包括SDIO 接口的外设,SDIO 接口官方协议等。

深度学习系列45:图像恢复综述

从本期开始,会探索图像恢复领域的论文和代码。本次先阅读一下综述。 传统方法一个很大的假设是我们相信我们可以在缺失区域之外找到相似的patch,但是如果缺失区域之外没有任何类似的patch,就没有办法正确修复图像了。 2016年出现的基准的GAN算法,生成器为一个U型网络,判别器为多层卷积网络。损失包括像素级别的重建损失(L2)和鉴别器产出的对抗损失。 2016年升级版的context encode,其生成器包含两部分,增加了生成纹理的卷积网络: 上面的U型网络用于生成内容,损失函数包括L2损失和对抗损失。

kittyzc的博客 1万+

CVPR自适应卷积的高效实现:小核大感受野提升复杂场景下图像重建精度

模型以分层Transformer为骨干,首先提取多尺度特征并估计一张隐式尺度图,将其作为条件信号驱动后续模块的采样位置与感受野自适应变化。随后,尺度增强可变形卷积利用尺度图调制偏移场与采样核,在受污染区域进行更密集与跨尺度的特征聚合,同时抑制干净区域的过度修复以避免伪影放大。最后,尺度自适应注意力在窗口化局部注意与稀疏全局注意间进行软融合,按区域难度自适应分配上下文长度与计算资源,实现纹理细节、长程结构和重复性伪影的协同恢复。

ym1593572486的博客 1366

MambaIR:基于状态空间模型的高效图像恢复新范式

本文提出一种基于状态空间模型的图像恢复新方法MambaIR,通过引入局部增强和通道注意力机制,解决了传统模型在全局感受野与计算效率之间的权衡问题。实验表明,MambaIR在图像超分辨率和去噪任务上均优于SwinIR等先进方法,在Manga109数据集上PSNR提升0.45dB,且保持线性复杂度。

2501_90186640的博客 1270

通过直方图转换器恢复恶劣天气条件下的图像

计算机视觉领域对恢复受雨、雾和雪等恶劣天气条件影响的图像越来越感兴趣。这些天气条件会显著降低视觉质量,影响下游任务的性能,如目标检测[3,60]和深度估计[16,18]。因此,在恶劣天气下图像的恢复是一个至关重要的问题,为了视觉美学和安全。早期的研究利用天气相关的先验来模拟退化的统计特征,并去除不利天气[1,2,22,23,35,76,83,95,99]。

m0_59899305的博客 1780

图像恢复Content-Aware Transformer for All-in-one Image Restoration

通过结合可变形滑动窗口Transformer和中央集成模式,DSwinIR综合了卷积神经网络(CNNs)和Transformer的优点,同时克服了它们的不足。在全能图像恢复任务中,相比于PromptIR,DSwinIR在三任务设置和五任务设置下,分别取得了超过0.66 dB和1.04 dB的性能提升。3)背景:尽管近年来Transformer架构在图像处理领域取得了显著进展,但仍面临一些挑战,特别是在窗口自注意力机制中存在的有限感受野问题,导致模型难以有效聚焦于图像中的关键区域。

Qing__er的博客 833

enet分割_【图像分割模型】多感受野的金字塔结构—PSPNet

这是专栏《图像分割模型》的第6篇文章。在这里,我们将共同探索解决分割问题的主流网络结构和设计思想。在分割问题中,上下文信息与多尺度融合对于提高分割精度是十分有效的,今天我们就来谈谈用于实现这个目标的金字塔池化结构。作者 | 孙叔桥编辑 | 言有三本期论文《Pyramid Scene Parsing Network》1 为什么要用金字塔结构提取特征从本系列前面的文章我们已经了解到,对于分割任务而言,...

weixin_39614322的博客 191
上一篇: 2021中国大学排名发布:北京大学连续14年位居榜首
下一篇: 深度学习概述
机器学习算法那些事
博客等级 码龄9年 1633粉丝 62原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值