GLCIC：全局和局部一致的图像补全

最新推荐文章于 2025-01-05 16:15:20 发布
原创 最新推荐文章于 2025-01-05 16:15:20 发布 · 1.4k 阅读 · 9 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能 #神经网络 #图像补全 #生成对抗网络

Python3.10

Python3.10

Conda
Python

Python 是一种高级、解释型、通用的编程语言，以其简洁易读的语法而闻名，适用于广泛的应用，包括Web开发、数据分析、人工智能和自动化脚本

GLCIC：全局和局部一致的图像补全

在这里插入图片描述

在这里插入图片描述

前言

相关介绍

在这里插入图片描述
GLCIC (Globally and Locally Consistent Image Completion) 是一种图像补全技术，主要用于恢复图像中缺失的部分。这项技术结合了全局一致性和局部一致性两个概念来提高图像补全的质量。下面是对 GLCIC 的详细介绍及其优缺点。

GLCIC 的工作原理

核心思想

GLCIC 的主要目标是填充图像中缺失或损坏的部分，使之看起来自然并与周围环境协调一致。该方法通过使用卷积神经网络 (CNN) 结构来完成这一任务。

主要组件
  • 编码器：用于提取图像的特征。
  • 解码器：基于编码器提取的特征重建图像。
  • 注意力机制：帮助模型关注于图像中需要补全的部分。
训练目标
  • 像素损失：确保生成的图像像素值接近真实图像。
  • 感知损失：通过预训练的深度网络（例如 VGG 网络）来评估生成图像与真实图像之间的视觉相似性。
  • 对抗损失：使用生成对抗网络 (GAN) 的结构来使生成的图像更加逼真。

优点

  1. 高质量的补全效果：GLCIC 能够生成高质量的图像补全结果，使补全区域与周围环境协调一致。
  2. 全局一致性：通过全局一致性保证了补全区域在整个图像中的合理性。
  3. 局部一致性：确保补全区域的细节与相邻区域匹配，增强了补全的真实感。
  4. 端到端训练：模型可以端到端地进行训练，简化了模型设计和训练流程。
  5. 适应性强：可以应用于多种类型的图像补全任务，包括人脸补全、物体移除等场景。

缺点

  1. 训练时间和资源：GLCIC 需要大量的计算资源和较长时间来进行训练。
  2. 数据依赖性：模型的性能很大程度上依赖于训练数据集的质量和多样性。
  3. 过拟合风险：在没有足够数据的情况下，模型可能会出现过拟合现象。
  4. 边界问题：在某些情况下，补全区域的边缘可能会出现明显的边界痕迹，影响整体视觉效果。
  5. 细节缺失：虽然能较好地处理局部一致性，但在某些情况下可能无法完全恢复复杂的纹理和细节。

总结

GLCIC 是一种高效的图像补全方法，能够有效地填补图像中的空洞或缺失部分，同时保持图像的整体和局部一致性。这种技术在计算机视觉领域有着广泛的应用前景，特别是在图像修复、视频编辑等领域。然而，像大多数深度学习模型一样，GLCIC 也有其局限性，尤其是在计算资源的需求和对高质量训练数据的依赖方面。

实验环境

python=3.8.19
torch=1.9.0
torchaudio=0.9.0
torchvision=0.10.0
opencv-python==4.1.2.30 
scikit-image==0.16.2
pillow==7.0.0 
scipy==1.2.1 
tqdm==4.43.0

项目地址

Linux

git clone https://github.com/otenim/GLCIC-PyTorch.git
cd GLCIC-PyTorch-master

Windows

请到https://github.com/otenim/GLCIC-PyTorch.git网站下载源代码zip压缩包。

cd GLCIC-PyTorch-master

项目结构

GLCIC-PyTorch-master
├─datasets
│  └─img_align_celeba
│      ├─test
│      └─train
├─images
├─results
│  └─demo
│      ├─phase_1
│      ├─phase_2
│      └─phase_3
└─__pycache__

具体用法

准备数据集

    |____train/ # used for training
    |       |____XXXX.jpg # .png format is also acceptable.
    |       |____OOOO.jpg
    |       |____....
    |____test/  # used for test
            |____oooo.jpg
            |____xxxx.jpg  
            |____.... ```

在这里插入图片描述

进行训练

python train.py datasets/dataset/ results/result/ [--data_parallel (store true)] [--cn_input_size (int)] [--ld_input_size (int)] [--init_model_cn (str)] [--init_model_cd (str)] [--steps_1 (int)] [--steps_2 (int)] [--steps_3 (int)] [--snaperiod_1 (int)] [--snaperiod_2 (int)] [--snaperiod_3 (int)] [--bsize (int)] [--bdivs (int)]


optional arguments:

<dataset> (required): path to the dataset directory.
<result> (required): path to the result directory.
[--data_parallel (store true)]: when this flag is enabled, models are trained in data-parallel way. If N gpus are available, N gpus are used during training (default: disabled).
[--cn_input_size (int)]: input size of generator (completion network). All input images are rescalled so that the minimum side is equal to cn_input_size then randomly cropped into cn_input_size x cn_input_size (default: 160).
[--ld_input_size (int)]: input size of local discriminator (default: 96). Input size of global discriminator is the same as [--cn_input_size].
[--init_model_cn (str)]: path to a pretrained generator, used as its initial weights (default: None).
[--init_model_cd (str)]: path to a pretrained discriminator, used as its initial weights (default: None).
[--steps_1 (int)]: training steps during phase 1 (default: 90,000).
[--steps_2 (int)]: training steps during phase 2 (default: 10,000).
[--steps_3 (int)]: training steps during phase 3 (default: 400,000).
[--snaperiod_1 (int)]: snapshot period during phase 1 (default: 10,000).
[--snaperiod_2 (int)]: snapshot period during phase 2 (default: 2,000).
[--snaperiod_3 (int)]: snapshot period during phase 3 (default: 10,000).
[--max_holes (int)]: maximum number of holes randomly generated and applied to each input image (default: 1).
[--hole_min_w (int)]: minimum width of a hole (default: 48).
[--hole_max_w (int)]: maximum width of a hole (default: 96).
[--hole_min_h (int)]: minimum height of a hole (default: 48).
[--hole_max_h (int)]: maximum height of a hole (default: 96).
[--bsize (int)]: batch size (default: 16). bsize >= 96 is strongly recommended.
[--bdivs (int)]: divide a single training step of batch size = bsize into bdivs steps of batch size = bsize/bdivs, which produces the same training results as when bdivs = 1 but uses smaller gpu memory space at the cost of speed. This option can be used together with data_parallel (default: 1).

# 示例：如果您使用 data_parallel 选项训练批量大小为 24 的模型并将其他设置保留为默认值，可以运行以下命令。
python train.py datasets/dataset results/result --data_parallel --bsize 24

python train.py datasets/img_align_celeba results/demo/

训练结果（模型和测试修复输出）将保存在 results/demo/ 中。

训练过程包括以下三个阶段。

  • Phase 1: trains only generator.
  • Phase 2: trains only discriminator, while generator is frozen.
  • Phase 3: both generator and discriminator are jointly trained.

train.py 的默认设置除批量大小外，均基于原始论文。如果需要重现论文结果，请在训练时添加 --data_parallel --bsize 96 。

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

进行测试

在这里插入图片描述

python predict.py results/result/phase_3/model_cn_step<step-number> results/result/config.json <input_img> <output_img> [--max_holes (int)] [--img_size (int)] [--hole_min_w (int)] [--hole_max_w (int)] [--hole_min_h (int)] [--hole_max_h (int)]

optional arguments:

<input_img> (required): path to an input image.
<output_img> (required): path to an output image.
[--img_size (int)]: input size of generator. Input images are rescalled so that the minimum side = img_size then randomly cropped into img_size x img_size (default: 160).
[--max_holes (int)]: maximum number of holes to be randomly generated (default: 5).
[--hole_min_w (int)]: minimum width of a hole (default: 24).
[--hole_max_w (int)]: maximum width of a hole (default: 48).
[--hole_min_h (int)]: minimum height of a hole (default: 24).
[--hole_max_h (int)]: maximum height of a hole (default: 48).

# 示例：如果您使用输入图像 <path-to-this-repo>/input.jpg 进行推理并将输出图像保存为 <path-to-this-repo>/output.jpg，可以运行以下命令
python predict.py results/result/phase_3/model_cn_step{step_number} results/result/config.json input.jpg output.jpg

python predict.py results/demo/phase_3/model_cn_step400000 results/demo/config.json images/test.jpg test_res.jpg

在这里插入图片描述

在这里插入图片描述

参考文献

[1] GLCIC 源代码地址：https://github.com/otenim/GLCIC-PyTorch.git
[2] GLCIC 论文地址：http://hi.cs.waseda.ac.jp/~iizuka/projects/completion/data/completion_sig2017.pdf

您可能感兴趣的与本文相关的镜像

Python3.10

Python3.10

Conda
Python

Python 是一种高级、解释型、通用的编程语言，以其简洁易读的语法而闻名，适用于广泛的应用，包括Web开发、数据分析、人工智能和自动化脚本

全局与局部一致的图像补全Globally and Locally Consistent Image Completion
reyssalee的博客
02-18 1874
全局与局部一致的图像补全 摘要：我们提出了一种新颖的图像完成方法，该方法生成的图像在局部和全局上都是一致的。通过使用全卷积神经网络（全卷积神经网络（Fully Convolutional Neural Network，FCNN）是一种特殊类型的神经网络，它主要用于处理图像数据。与传统的卷积神经网络（CNN）不同，全卷积神经网络在网络的所有层中都使用卷积层，而不是在末端使用全连接层。这样的设计使得全卷积神经网络能够接受任意尺寸的输入图像，并产生相应尺寸的输出，这对于图像分割、图像补全等任务特别有用。），我们
论文笔记：黑暗图像局部和全局增强方法在图像增强中的应用
朱骥伦的博客
10-22 1248
黑暗图像局部和全局增强方法在图像增强中的应用局部增强全局增强实验结果 论文地址：https://ieeexplore.ieee.org/document/8071892 局部增强 局部增强用于获取图像细节，根据图像的梯度增强局部细节，处理了被全局方法忽略的像素，这里使用的局部方法是unsharp masking,在这个方法中，图像的锐化是通过减去一个非锐化的图像来实现的，具体步骤如下： 1.模糊图像 2.mask = 原图 - 模糊图 3.将mask添加到原图，即锐化图像 = 原图 + w*mask，其中w
GLCIC-PyTorch:“全球和本地一致的图像完成”的高质量PyTorch实现
05-04
GLCIC-PyTorch 这个软件库提供了一个基于pytorch的实现介绍了Iizuka等。 等 2.培训 如何使用自定义数据集进行反感？ 要求 我们的脚本在以下环境中进行了测试。 的Python：3.7.6 火炬：1.6.0（CUDA 10.1） 火炬视觉：0.7.0 tqdm：4.50.2 枕头：8.0.0 opencv-python的：4.4.0.44 numpy的：1.19.2 GPU：Geforce GTX 1080Ti（12GB RAM）X 4 您可以通过执行以下命令安装所有要求。 # in <path>/ pip install -r requirements.txt 演示（推理） 1.下载预训练的发电机模型和训练配置文件。 [必需]预先训练的发电机模型（完成网络）： 下载（onedrive） ，下载（google驱动
图片补全《Globally and locally consistent image completion》
深浅卡布星的博客
11-22 1504
GAN
推荐开源项目：全球和本地一致的图像完成（GLCIC）
gitblog_00051的博客
06-16 460
推荐开源项目：全球和本地一致的图像完成（GLCIC） 项目介绍 Globally and Locally Consistent Image Completion（GLCIC） 是一个基于TensorFlow实现的图像修复模型，它源自于著名的学术论文《全球和局部一致性图像完成》。该模型能够有效地填补图像中的缺失部分，无论是小范围的损坏还是大规模的空白区域，都能得到令人信服的恢复结果。 项目技术分析 ...
glcic:Keras实施的“全球和本地一致的图像完成”
05-10
全球和本地一致的图像完成（GLCIC） Keras实现了GLCIC，这是一种用于补偿部分图像缺陷的技术。 摘录从表2的论述 环境 的Python 3 TensorFlow 1.4（TensorFlow-gpu） 凯拉斯2.1 OpenCV 可可API 对于GCP Datalab实例 我们使用GCP的Datalab实例进行了验证。当时的软件包安装命令如下。供你参考。 apt-get update apt-get install -y --allow-unauthenticated graphviz apt-get install -y --allow-unauthenticated python-opencv apt-get install -y --allow-unauthenticated vim apt-get install -y --allow-unauthent
Python OpenCV图像二值化实战：全局、局部与自适应阈值
本文将介绍三种常见的图像二值化方法：全局阈值法、局部阈值法以及用户自定义阈值法。 1. **全局阈值法**： 全局阈值化是一种简单的二值化策略，通过设置一个固定的阈值来决定像素点是否变为黑色或白色。在提供的...
python局部变量外部使用_初识Python：全局、局部和非局部变量（带示例）
weixin_39975261的博客
12-21 1374
全局变量在 Python 中，在函数之外或在全局范围内声明的变量被称为全局变量。 这意味着，全局变量可以在函数内部或外部访问。我们来看一个关于如何在 Python 中创建一个全局变量的示例。示例 1：创建全局变量x="global"deffoo():print("x inside :",x)foo()print("x outside:",x)当我们运行代码时，将会输出：x inside:globa...
线程的共享资源和私有资源：全局变量 局部变量 堆 栈
little airport的博客
11-05 3139
全局变量和局部变量在内存中的区别 C语言经过编译之后将内存分为以下几个区域： （1）栈（stack）：由编译器进行管理，自动分配和释放，存放函数调用过程中的各种参数、局部变量、返回值以及函数返回地址。操作方式类似数据结构中的栈。 （2）堆（heap）：用于程序动态申请分配和释放空间。C语言中的malloc和free，C++中的new和delete均是在堆中进行的。正常情况下，程序员申请的空间...
inpainting_glcic_pytorch:GLCIC修复网络的Pytorch定义和预训练模型
05-13
此仓库提供了的pytorch定义 此仓库还提供了一个GLCIC模型[pytorch格式]，已在place2数据集上进行了预训练 下载此仓库后，请遵循以下脚本 # clone the original repo git clone https://github.com/akmtn/pytorch-siggraph2017-inpainting # download the legacy model, in lua-torch format wget --continue -O completionnet_places2.t7 http://hi.cs.waseda.ac.jp/~iizuka/data/completionnet_places2.t7 # convert lua-torch model to py-torch model # this produces "completio
深度学习系列45：图像恢复综述
kittyzc的博客
06-23 1万+
从本期开始，会探索图像恢复领域的论文和代码。本次先阅读一下综述。 传统方法一个很大的假设是我们相信我们可以在缺失区域之外找到相似的patch，但是如果缺失区域之外没有任何类似的patch，就没有办法正确修复图像了。 2016年出现的基准的GAN算法，生成器为一个U型网络，判别器为多层卷积网络。损失包括像素级别的重建损失(L2)和鉴别器产出的对抗损失。 2016年升级版的context encode，其生成器包含两部分，增加了生成纹理的卷积网络： 上面的U型网络用于生成内容，损失函数包括L2损失和对抗损失。
【亲测免费】 GLCIC-PyTorch 项目使用教程
gitblog_00959的博客
08-10 344
GLCIC-PyTorch 项目使用教程 1. 项目的目录结构及介绍 GLCIC-PyTorch 项目的目录结构如下： GLCIC-PyTorch/ ├── datasets/ │ └── ... ├── images/ │ └── ... ├── results/ │ └── ... ├── .gitignore ├── LICENSE ├── README.md ├── datas...
GitHub 图像修复开源项目推荐【持续更新】
最新发布
世界那么大，我想去看看～【偶尔更新，看世界去了😄】
01-05 5769
GitHub 图像修复开源项目推荐【持续更新】
精准提升，全局注意力与位置注意力，构建超高效深度学习模型
AIzhijie001的博客
11-10 2288
全局注意力+位置注意力可以使得模型在处理特征时，既能够考虑到全局的信息，又能够关注到局部位置的重要性。这种结合可以提高模型对于特征的理解和表达能力，尤其是在复杂的视觉任务中，如目标检测和语义分割。
基于深度学习的Image Inpainting (图像修复)论文整理与概述
weixin_39880579的博客
05-27 9760
为个人需要，整理一波这方面的论文。同时也参考了 山水之间整理的结果，非常感谢。 1. 《Context Encoders: Feature Learning by Inpainting》 CVPR 2016 链接：https://arxiv.org/abs/1604.07379 Github代码： 基于torch：https://github.com/pathak22/context-...
基于深度学习的Image Inpainting (图像修复)论文推荐(持续更新)
热门推荐
Gavinmiaoc的博客
06-25 5万+
传统的图形学和视觉的研究方法，主要还是基于数学和物理的方法。然而随着近几年深度学习在视觉领域取得的卓越的效果，视觉领域研究的前沿已经基本被深度学习占领。在这样的形势之下，越来越多的图形学研究者也开始将目光投向深度学习。在图形学和视觉交叉的领域，一系列问题的研究正在围绕深度学习火热展开，特别是在图像编辑(image editing)和图像生成(image generation)方面，已经初见成...
GLCIC-PyTorch 开源项目常见问题解决方案
gitblog_00015的博客
12-19 679
GLCIC-PyTorch 开源项目常见问题解决方案 项目基础介绍 GLCIC-PyTorch 是一个基于 PyTorch 的图像补全项目，实现了全球和局部一致性图像补全（Globally and Locally Consistent Image Completion）算法。该项目旨在通过深度学习技术自动补全图像中的缺失部分。主要编程语言为 Python。 新手常见问题与解决步骤 问题一：环境配置...
转
WPKENAN的博客
03-30 514
毕业设计（论文）中期报告 标签（空格分隔）： 论文 目录 毕业设计的进展情况 1 1.1. 课题工作完成情况 1 1.2. 知识学习情况 1 1.3. 解决复杂工程问题情况 1 存在问题与解决方案 1 2.1. 存在的主要问题 1 2.2. 解决方案与可行性研究 1 下一步计划 2 1 毕业设计的进展情况 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

FriendshipT

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值