图像修复三：Image Completion using Planar Structure Guidance

最新推荐文章于 2024-02-18 20:05:18 发布
原创 最新推荐文章于 2024-02-18 20:05:18 发布 · 5.2k 阅读 · 9 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

提出一种自动利用中间层结构线索指导图像修复的方法。通过估计平面投影参数并发现平面上的平移规律，将这些信息转化为低级修复算法的软约束，定义了补丁偏移和转换的先验概率。在未检测到平面时，回退到基线正面平行图像修复算法。

Image Completion using Planar Structure Guidance.2014, ACM SIGGRAPH.

项目主页：https://sites.google.com/site/jbhuang0604/publications/struct_completion

ppt下载：https://uofi.app.box.com/s/2x1a8ja976wxhsglvggz

code：https://github.com/jbhuang0604/StructCompletion

A method for automatically guiding patch-based image completion using mid-level structural cues. Our method first estimates planar projection parameters, softly segments the known region into planes, and discovers translational regularity within these planes. This information is then converted into soft constraints for the low-level completion algorithm by defining prior probabilities for patch offsets and transformations. Our method handles multiple planes, and in the absence of any detected planes falls back to a baseline fronto-parallel image completion algorithm.

PPT 中首先对修复作了一个分类，如下图：


该方法基于的模型：


添加中间导向特征：





移除结果与结论：






论文精度 —— 2017 ACM《Globally and Locally Consistent Image Completion》
m0_51339444的博客
08-09 856
论文精度 —— 2017 ACM《Globally and Locally Consistent Image Completion》
TPAMI 2024 | 结构引导的图像补全：图像级和对象级语义判别器
最新发布
小白学视觉
12-13 105
结构引导的图像补全旨在根据用户提供的输入引导图来修复图像的局部区域。尽管这样的任务为交互式编辑提供了许多实际应用，但现有方法在复杂自然场景中生成逼真的对象实例时常常遇到困难。这种局限性部分是由于缺乏对洞区域内语义级约束以及缺乏强制生成逼真对象的机制。在本工作中，我们提出了一个包含语义判别器和对象级判别器的学习范式，以改进复杂语义和对象的生成。具体来说，语义判别器利用预训练的视觉特征来提高生成视觉概念的真实性。此外，对象级判别器以对齐的实例为输入，以强制执行单个对象的真实性。
平面结构指导的图像补全《Image Completion using Planar Structure Guidance》
Bamboozq的博客
04-25 1093
Image completion的分类 平行平面 fronto-parallel 大多数image completion的工作，都是找到最接近的patch，来补全当前缺失的部分。[Wexler et al. 2007] Patchmatch的方法通过随机搜索和传播模式加速了这个过程。Barnes et al. [2009] 这样的方法有两个重大...
论文2-1_Image Completion using Planar Structure Guidance (Self-Exe
08-03
Image Completion using Planar Structure GuidanceFigure 1: Our image completion a
全局与局部一致的图像补全Globally and Locally Consistent Image Completion
reyssalee的博客
02-18 1732
全局与局部一致的图像补全 摘要：我们提出了一种新颖的图像完成方法，该方法生成的图像在局部和全局上都是一致的。通过使用全卷积神经网络（全卷积神经网络（Fully Convolutional Neural Network，FCNN）是一种特殊类型的神经网络，它主要用于处理图像数据。与传统的卷积神经网络（CNN）不同，全卷积神经网络在网络的所有层中都使用卷积层，而不是在末端使用全连接层。这样的设计使得全卷积神经网络能够接受任意尺寸的输入图像，并产生相应尺寸的输出，这对于图像分割、图像补全等任务特别有用。），我们
Image Completion using Planar Structure Guidance MATALB 代码调试（一）—— 如何运行代码
u014546828的博客
05-23 1342
最近在学习图像修复算法，好论文不少。这里先学习了这篇文章：Image Completion using Planar Structure Guidance :ACM Transactions on Graphics (Proceedings of SIGGRAPH 2014), 33(4), 2014.这篇文章并不是最新的，但因为其提供了代码，易于研究。最新的图像修复不少是基于深度学习框架的，以后...
Image Completion using Planar Structure Guidance MATALB 代码调试（二）—— 如何处理自己的图片
u014546828的博客
05-23 1159
Image Completion using Planar Structure Guidance MATALB 代码调试（一）—— 如何运行代码Image Completion using Planar Structure Guidance MATALB 代码调试（二）—— 如何处理自己的图片Image Completion using Planar Structure Guidance MATA...
基于结构和颜色信息的图像修复算法
08-12
具体来说，该方法提高了待修复图像中已知像素的重要性，加入了颜色信息，并采用了新的匹配搜索方法和自定义的结构-距离权重匹配准则来匹配相似块。 - **提高已知像素的重要性**：通过增加已知像素的权重，可以在...
图像修复三： Image Completion Approaches Using the Statistics of Similar Patches
闹中求静的博客
01-19 5178
前面介绍了基于边界优先级的图像填充和基于投票加权的填充方式，再实现了另外一个基于graph-cut的算法，应该算是实现的最后一个图像填充传统算法了。貌似目前用传统算法的已经不多了，看到Github上传统算法star基本个位数，star比较高的基本都是deep learning的项目，感觉时代大潮席卷而过，deep learning毕竟可以通过训练学习的方式修复原本不存在于图片中的信息，仅仅这一点，...
【论文笔记】Image Completion with Structure Propagation
qq_38592948的博客
08-23 1996
d. Other visual cues such as 3D shape, depth,lighting, or reflection can not be captured by this simple model.
Planar Evasive Aircrafts Maneuvers Using Reinforcement Learning.pdf
02-08
Proceedings of the 12th International Conference IAS-12, Held June 26–29,2012 Jeju Island, Korea
多元图像复原（计算机视觉）Pluralistic Image Completion
03-11
Abstract Most image completion methods produce only one result for each masked input, although there may be many reasonable possibilities. In this paper, we present an approach for pluralistic image completion – the task of generating multiple and diverse plausible solutions for image completion. A major challenge faced by learning-based approaches is that usually only one ground truth training instance per label. As such, sampling from conditional VAEs still leads to minimal diversity. To overcome this, we propose a novel and probabilistically principled framework with two parallel paths. One is a reconstructive path that utilizes the only one given ground truth to get prior distribution of missing parts and rebuild the original image from this distribution. The other is a generative path for which the conditional prior is coupled to the distribution obtained in the reconstructive path. Both are supported by GANs. We also introduce a new short+long term attention layer that exploits distant relations among decoder and encoder features, improving appearance consistency. When tested on datasets with buildings (Paris), faces (CelebA-HQ), and natural images (ImageNet), our method not only generated higherquality completion results, but also with multiple and diverse plausible outputs.
【论文阅读笔记】Image Inpainting for Irregular Holes Using Partial Convolutions
时光机 °的博客
08-24 4925
论文地址：https://arxiv.org/abs/1804.07723 论文小结   本文提出一种图像修复的方法，其使用Partial Convolution，可以实现当时最先进的图像修复效果（1804）。本文的模型可以稳健地处理任何形状、大小、位置和距离图像边界的Holes。而且本文的方法性能不会随着孔洞的增大而急剧恶化。   之前的方法，mask中的holes在图像中的表示是使用替代值，通常是使用均值。这对于卷积而言是无法区分是否是人工信息的，且以前的方法通常解决的对象都是mask为矩形的。本文使用
图像修复之Image Inpainting for Irregular Holes Using Partial Convolutions
程序员深度学习
06-25 2990
1. 摘要 现有的基于深度学习的图像修补方法在损坏的图像上使用标准卷积网络，使用卷积滤波器响应以有效像素以及掩蔽孔中的替代值（通常为平均值）为条件。 这通常会导致诸如颜色差异和模糊等伪影。 后处理通常用于减少这些工件，但代价很高，可能会失败。 我们提出使用部分卷积，部分卷积指的是卷积只在图片的有效区域进行(mask部分为0)，并且图片的mask会随着网络的层数加深不断迭代和收缩，也就是说带有mask的图片和mask均参与训练，取得了很好的效果。 图. 从左到右，从上到下：2（a）：带孔的图像。 2（b）.
【深度学习】【Image Inpainting】Image Inpainting for Irregular Holes Using Partial Convolutions
q742971636的博客
07-25 590
现有的基于深度学习的图像绘制方法在损坏的图像上使用标准的卷积网络，使用卷积滤波器响应，条件是有效像素以及掩膜孔中的替代值(通常是平均值)。这通常会导致诸如颜色差异和模糊之类的伪影（color discrepancy and blurriness）。后处理通常用于减少此类伪影，但代价昂贵且可能失败。我们建议使用，其中卷积仅以有效像素为条件被masked并renormalized。我们进一步得到一个机制，自动生成一个更新的掩码下一层作为向前传递的一部分。我们的模型在不规则掩模方面优于其他方法。
论文阅读——Image Inpainting for Irregular Holes Using Partial Convolutions
长路漫漫亦灿灿
10-01 930
Image Inpainting for Irregular Holes Using Partial Convolutions阅读笔记
Intrinsic image / video
Frank.Xu的专栏
08-09 5062
图像视频本质分解与应用
复现《Region Filling and Object Removal by Exemplar-Based Image Inpainting》
尹傲雄的博客
11-06 4813
论文内容 这篇论文是图片补全传统算法中的经典之作，主要的思路还是使用被扣图片剩余部分的冗余信息对孔洞进行填充。作者提出了一种确定区域填充顺序的方法，使得原有图片的结构信息得以更好的传播。论文的主要流程如下所示： 查找孔洞的边缘，计算边缘像素点的填充优先级 挑选出优先级最高的点，根据像素点得到像素块 在剩余部分查找和像素块最相似的像素块 用最佳像素块填充对应的部分填充对应的孔洞部分，查看填好了没有...
图像修复系列-图像修复概述
热门推荐
hit1524468的专栏
12-03 1万+
图像修复的最初是为了去除遮挡或对破损的图像就行修复，但是，修复图像是一个ill-pose（病态）问题，所示，图像修复需要一些前提假设（也就是之前提到过的正则约束），通过在一定约束条件下，建立最优化准则，从而实现图像修复。根据不同的假设，延伸出不同的图像修复方法，主要如下：（1） 假设图像连续光滑，此时，延伸出的图像处理方法，主要是通过一些算子，不断与原图像进行卷积，达到逐渐修复图像的目的（2） 假...
评论 15
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值