DragGAN:简介,安装,使用!

Drag GAN 论文浅读 这是使用两种新的部分来实现的:一种是潜在代码的优化,它将多个操纵点向其目标位置递增地移动,另一种是点跟踪程序,它忠实地跟踪操纵点的轨迹。在这项工作中,我们表明,可以在不使用任何上述方法(2.2提到的方法)或额外的神经网络的情况下对GAN生成的图像进行点跟踪。在不同的数据集上进行操作,均实现了不错的效果。其中图像变形这些操作是在GAN学习的生成图像流上执行的,倾向于遵从底层的目标结构,并非简单的应用扭曲(不是“挤压像素”,而是“重新生成物体”)因此即使对于具有挑战性的场景,如遮挡内容也可以产生逼真的输出。 阅读详情
AI摘要

本文主要教大家安装DragGAN,其环境配置和Stylegan3类似,安装过程不简单。介绍了在Win11系统、RTX3060显卡环境下的安装步骤,包括获取源代码、创建虚拟环境、修改配置文件、获取模型等,还说明了使用步骤和注意事项,指出该项目虽有不足但很有趣。

下面的这个动图,相信不少人都在网上看到过!

图片

哈哈,此处并不会动,大家看过的自然可以脑补~~~ 说实话,这东西“看起来”确实碉堡了。

之前一直都只能看,而现在可以“玩了” ,官方项目依旧更新!

但是,要把它玩起来,可能并不轻松。

追根溯源,这个其实就是英伟达开源项目StyleGan的衍生项目。

图片

在StableDiffusion没出来之前,这可是最牛逼的图片生成类项目了。四年前,StyleGAN一发布就以其“超清且逼真”的效果惊艳世人。

当时,我的公x号"托尼是塔克"还在,写过一系列文章。时光飞逝,没想到这项目还能老树开花。

说回主题,今天主要是教大家安装DragGAN。

装过Stylegan第一代的人都知道,这东西是真不好装。除了要安装VS,cudnn,cuda,还得修改代码,配置路径....

DragGAN的环境配置几乎和Stylegan3一样!所以安装过程并不会太简单!

今天就来分享一下,我的安装过程,做个记录...

做记录很重要,比如四年前,安装Stylegan的事情,如果不做记录,我今天肯定是想不起来了。

环境介绍:

操作系统:Win11

显卡:RTX3060

辅助软件:CMD,Git,Conda,VS2019,cudnn,cuda

硬件环境其实主要就是显卡,GAN对显卡要求也不低的。不同尺寸模型需要的显存不一样。Rtx3060可以完美驾驭1024x1024,从任务管理的显存消耗来看,单纯运行这个项目,6G显存应该能搞定。

基础软件详细的安装过程,可以参考我之前Stylegan2和Stylegan3的教程,

复制软件全部安装完成之后,就可以进入今天的主题了。

1.获取源代码

因为这是一个开源项目,所以我们需要先获取源代码。源代码的获取方式有两种,一种是命令行,一种是直接下载压缩包。

图片

命令行方式

要先确保你安装了GIT工具。

然后就可以在CMD中执行如下命令:

E:cd DEVgit clone https://github.com/XingangPan/DragGAN.git

①切换到E 盘的意思,也可以是D盘,不建议放C盘。

②进入DEV文件夹意思,你可以直接放在某个盘的根目录,就不需要这一行了。

③获取GragGAN的源代码(大部分时候需要魔法)

压缩包获取方式

只要点击Download ZIP就可以直接下载了,一般不用魔法,可以直接下载。下载之后解压到磁盘。比如解压到到E盘下面的DEV文件夹里面。

下载完成之后大概是DragGAN-main.zip这个样子,解压后把后面的“-main” 去掉。这个main还有一个故事,以前叫master,因为不尊重某类人,就改掉了。你们考虑过程序员的感受么...

2. 创建虚拟环境

这是基于Python的项目,所以需要安装Python环境。为了让不同项目,互不影响。所以这里用到了Conda,可以通过这个工具创建独立的Python环境。

在CMD中输入以下命令:

conda create -n draggan python=3.10.6

创建成功之后,激活虚拟环境:

conda activate draggan

3. 修改配置文件

DragGAN里有一个Conda的依赖文件,可以直接用来创建虚拟环境并安装所有依赖。

conda env create -f environment.yml

但是... 这个文件很老了,至少在当前的Windows下安装,会出现一堆问题。比如第一个问题就是找不到cudatoolkit=11.1。

我尝试修改了这个东西,但是依旧会出现其他问题。所以我索性自己写了一个requirements.txt

--extra-index-url https://download.pytorch.org/whl/cu118numpy==1.23.5clickscipypillow==9.5.0requeststqdm==4.65.0ninjamatplotlibtorch==2.0.1+cu118torchvisionimageioimguiglfw==2.2.0pyopengl==3.1.5imageio-ffmpeg==0.4.3pyspnggradio

创建requirements.txt并将上面的内容黏贴到里面,将这个文件放在DragGAN 文件夹里面。

然后使用pip安装:

pip install -r requirements.txt

pip慢的,可以使用镜像加速。

4. 获取模型

项目官方提供了一个下载模型的sh脚本

sh scripts/download_model.sh

但是Windows用户没法直接使用了,最简单的解决方式是在download_model.sh上右键,用记事本打开。

里面有模型的下载地址,直接下载就好了。

下载完成之后放到DragGAN下面的checkpoint文件夹里面,默认没有这个文件夹,可以自己创建。记得把模型文件名改成stylegan2_开头,否则软件无法识别,会报错。

写文章的时候,发现已经更新了一个叫download_model.bat的文件,可以直接运行这个文件来下载模型。

5. 开始运行

按我的方式来,网络通畅的情况,应该不会出什么问题。当然,世界上的问题千千万,我也不能打包票。所以,假设你上面的步骤都完成了。

我们就可以开始激动人心的运行环节了。

项目官方提供的目前还是linux上运行的命令

sh scripts/gui.sh

Windows的用户可以按下面的方法来运行:

conda activate DragGANE:cd dev\dragganpython visualizer_drag.py checkpoints/stylegan2_dogs_1024_pytorch.pkl

①激活虚拟环境,上面已经做过了,可以不做。

②切换的E盘,上面已经执行了,就不用了。

③进入到项目文件夹

④运行命令启动GUI界面。

启动成功之后,就可以看到“软件”界面了。

图片

这个时候,只要在狗子脸上点两下,然后点击左边的Start就可以了。

图片

很快,狗子就会“正视”你了。哈哈~

用这个GUI动态效果还是挺酷的。但是菜单比较小,而且有一些BUG,点到有些地方会直接崩溃,切换模型也不是很方便。

所以,我们可以启动一下WebUI

python visualizer_drag_gradio.py

运行之后,输出如下:

图片

当看到各种done,然后看到一个http的网址之后,就说明启动正常了。

把网址复制到浏览器,打开,就可以再次见到我们的个狗子了。

图片

使用步骤:

① 选择模型,所有checkpoints下面的模型都会显示在这里。

② 选择种子,一个种子对应一条不同的狗子。大概有几十亿,没记错的话。

③ 在图片上点两下,红色会起点,蓝色为终点。

④ 开始拖拽,狗鼻子会慢慢往蓝色点靠。

⑤ 结束运行,你觉得差不多了直接点击结束就好了。网页版有点小问题,不点会运算很久很久。

⑥ 下载图片,如果有必要保存图片,可以点击下载。

注意点,WebUI默认会加一个叫stylegan_human_v2_512.pkl 的人类模型。所以需要先将这个模型放到checkpoint文件夹。当然,你懂代码话,也可以把默认的改成狗子模型,那么不用去下载另外的模型了。

另外,WebUI版,动态效果,没有本地GUI好。最终结果是一样的。

接下来,就由大家自由探索了。Stylegan的模型,都可以用在这里。这几年已经积累下很多模型。

图片

其中质量比较好的,还是得数英伟达官方的FFHQ1024x1024。

另外发现一个叫human的模型,也不错。

图片

可以生成不同的人穿着不同衣服的图片。记得用1024x1024的模型,有些图片也是有明显缺陷的,有些看起来还不错。

看别人的动态图,可能期待值拉的很满,但是,要明白一点,卖家秀和买家秀肯定不一样的。这个项目目前并没有看到太大实用性。很多时候生成和调整的效果都差强人意。

另外,我敢肯定,很多人都以为小视频中的图片是“真的图片”。以为直接选一张照片,就能开始点点P图了。其实并不是,上面的图片都是由模型直接生成的。

你可以用这个项目来生成无限多的某类图片。

但是,如果你想P现实的中的图片,可没有那么容易....你需要用到其他技术。先把这个图片投射到Stylegan宇宙中,然后再进行无法无天的摆弄。

除此这些不足和预期差异之外,这个项目还是挺好玩的!

至少,这个项目把StyleGAN的使用可视化了,而且可以快速接入各种各样的模型,有能力的也可以自己训练模型.... 如果你有这财力的话...

据说Styelgan2,整个项目花费了51个GPU年,总耗电量131.61MWh。也就是单个Tesla V100 GPU需要51年,总耗电量13万度,单电费10万块钱。(来自知乎)

其实,可以微调!哈哈~~ 给你们看看我压箱底的大宝贝!

图片

这是自己练的,你们猜猜,用了哪些人做素材!

图片

我当年默默的练了好几个颗丹,但是我的共享盘丢了.... 丹和脚本...都...

为了我丢失的丹,点个赞吧~~!!

相关链接:

GragGAN:

https://github.com/XingangPan/DragGAN

Stylegan2手把手教安装!

https://www.tonyisstark.com/103.html

Stylegan3手把手教安装!

CMD基础教程

Git基础教程

Conda基础教程

DragGAN 离线版V1.3 解压就能用-DragGAN Windows GUI DragGAN是由Max Planck研究所开发的一种新的人工智能工具,它允许用户通过几个点击和拖动来真实地修改照片。DragGAN模型本质上是给各种GAN开发的一种交互式图像操作方法,实现了通过鼠标拉伸图像即可自动生成新图像的神奇功能。用户先设置一个起始点,一个目标点,和想要改变的区域,然后模型就会迭代的执行运动监督和点跟踪这两个步骤。DragGAN 离线版什么环境都不用配置,解压直接用的dragGAN工具,内置17个模型,小白也能轻松上手,而且支持Windows和Mac,感兴趣的同学可以下载体验。 阅读详情

相关推荐

AI智能体Codex实战:外贸客户开发自动化,85家精准客户深度分析

如果你在外贸行业,特别是工业品领域,一定遇到过这样的困境:想开发海外客户,但不知道从何下手。Google搜索出来的要么是B2B平台上的老面孔,要么是信息残缺的过时黄页。手动筛选、整理、验证,一个客户信息就要花上半小时,效率低得让人抓狂。 更头疼的是,好不容易找到一些公司名称,却不知道他们的采购决策人是谁、公司规模如何、业务是否匹配。传统的客户开发就像大海捞针,投入大量时间成本,回报却充满不确定性。 今天要介绍的这个工具,可能会彻底改变你的工作流。它不是另一个CRM软件,而是一个基于AI的智能客户开发与情报分

weixin_29054399的博客 346

DragGAN图像生成原理与实现

深度生成模型,如生成对抗网络(GANs),在合成逼真图像方面取得了重大进展。然而,在实际应用中,对合成图像内容的可控性是一个关键需求。为了满足用户的多样化需求,理想的可控图像合成方法应该具备灵活性、精确性和普适性。先前的方法只能满足其中一些特性,因此我们的目标是在本研究中实现所有这些特性。先前的方法通常通过3D模型或依赖手动注释数据的监督学习来实现对GANs的可控性。然而,这些方法无法推广到新的对象类别,且在编辑过程中缺乏精确控制。

weixin_42010722的博客 4147

【VSCode Python无法格式化代码】

提示:需要Install Formatter…安装插件autopep8,点击install。出现Format Document。

AIFRZ的博客 1万+

DragGAN开源!图像编辑迎来革命性突破!

DragGAN开源,文章末尾有部署链接和整合包链接。

入门笔记 1718

C语言新手必练:10个实战小项目带你快速上手(附完整代码)

本文为C语言初学者精选10个实战项目,从基础的温度转换器到高级的迷宫求解算法,涵盖输入输出、条件判断、循环控制、数组操作等核心知识点。每个项目配有完整代码和详细解析,帮助新手通过实践掌握编程思维,特别适合刚学完语法但缺乏实战经验的学习者。

weixin_29208077的博客 744

TCP报文 Flood攻击原理与防御方式

TCP交互过程中包含SYN、SYN-ACK、ACK、FIN和RST报文,这几类报文也可能会被攻击者利用,海量的攻击报文会导致被攻击目标系统资源耗尽、网络拥塞,无法正常提供服务。接下来我们介绍几种常见的Flood攻击的原理和防御方式。

qq_32044265的博客 4219

【图像&三维编辑】DragGAN与Drag3D(原理+代码)

合成满足用户需求的视觉内容通常需要对生成对象的姿态、形状、表达和布局的灵活和精确的可控性。“拖动”图像中的任何点,精确修改图像到目标点。它由两个主要组件组成1)一种基于特征的运动监督,驱动手柄点向目标位置移动;2)一种新的点跟踪方法,利用鉴别生成器特性来保持定位手柄点的位置。DragGAN可以使图像变形,精确控制像素的位置,从而操纵不同类别的姿态、形状、表达和布局,如动物、汽车、人、景观等。

qq_45752541的博客 3024

SAP OBYC自动过账全解析:从BSX到WRX的会计科目配置指南

本文深入解析SAP OBYC自动过账功能,从BSX到WRX的会计科目配置全流程,涵盖评估分组代码、事务码和评估类等核心概念。通过实战案例展示如何实现库存变动到财务过账的自动化流转,提升企业财务数据的准确性和效率。

weixin_29239279的博客 419

DragGAN在Windows11中下载安装

DragGAN是一种颠覆性的新型图像生成和编辑技术,它实现了前所未有的用户对图像创作过程的控制能力。使用DragGAN,用户可以用鼠标拖放的方式在空白画布上概括构思图像,系统会自动生成图像细节。例如,用户可以拖拽画一个矩形作为“汽车”,拖拽一个圆作为“轮胎”,DragGAN会补全逼真的汽车图像细节。DragGAN系统由生成对抗网络(GAN)提供技术支持,可以学习正确渲染各类对象及场景的细节。用户拖放的组成部分及布局会作为条件输入,指导GAN生成符合构思的图像。本文记录在windows11中下载安装的过程。

暂时先用这个名字 3665

TC8:SOMEIPSRV_SD_MESSAGE_07-09

TTL为服务实例的生命周期。在此生命周期之后,不提供服务实例。

jasonj333 908

在Qt中集成VTK和PCL:实现数据可视化的完整指南

在现代软件开发中,数据可视化至关重要。将VTK(Visualization Toolkit)和PCL(Point Cloud Library)集成到Qt环境里,能为开发者提供强大的可视化解决方案。本文将深入讲解如何在Qt中读取PCL文件,展示VTK模型和PCL数据,适合想要在Qt项目中实现数据可视化的开发者。

轩宇的博客 917

DragGAN-colab 项目安装与配置指南

DragGAN-colab 项目安装与配置指南 1. 项目基础介绍 DragGAN-colab 是一个开源项目,基于 DragGAN 技术实现。DragGAN 是一种用于图像编辑和图像合成的先进技术,它允许用户通过简单的拖动操作来编辑图像内容。本项目主要使用 Jupyter Notebook 进行开发,提供了一个交互式的平台,让用户能够轻松地使用 DragGAN 进行图像编辑。 主要编程语言:Py...

gitblog_00040的博客 647

基于逆向工程的中国裁判文书网爬虫技术深度解析:从反爬破解到合规抓取

最近承接了一个法律大数据分析的项目,需要获取某类合同纠纷的裁判文书数据,用于分析不同地区的判决规律、法官的裁判倾向以及法条适用情况。原本以为用常规的Python爬虫就能搞定,结果刚对着中国裁判文书网发了几个请求,就遭遇了“滑铁卢”:要么请求直接返回403 Forbidden,要么触发滑块验证码,甚至连IP都被临时封禁了。普通的requests+BeautifulSoup组合在裁判文书网面前完全失效,这也让我意识到,想要获取这里的数据,必须先通过逆向工程拆解网站的请求逻辑和反爬机制。经过一周的摸索,从抓包分析

专注于Python爬虫开发,分享爬虫技巧、项目实战与反爬经验,使用Scrapy、BeautifulSoup等工具,解决数据抓取难题。 3172

DragGAN使用记录

DragGAN是一种基于人工智能的图像编辑工具,它可以根据用户的输入生成逼真的图像。与传统的图像编辑工具只能扭曲或裁剪现有的像素不同,DragGAN可以创建与用户意图匹配的新内容。DragGAN的原理是利用生成对抗网络(GAN)来学习和模拟真实数据的分布,然后根据用户在图像上拖动的点来生成新的图像。用户可以通过拖动点来改变图像的姿态、表情、风格等细节,从而实现灵活和精确的图像操纵。DragGAN是一个开源的项目,它提供了一个网页版的演示,用户可以在浏览器中体验DragGAN的功能。

CHNIM的博客 417

SIMATIC S7-1200, S7-1500 PID 控制[手册]

SIMATIC S7-1200, S7-1500 PID 控制[手册]

android 蓝牙通讯demo

android 下蓝牙通讯demo,实现了发现蓝牙,使能蓝牙,通过蓝牙发送消息。

【亲测免费】 DragGAN 使用教程

DragGAN 是一个基于生成对抗网络(GAN)的图像编辑工具,它允许用户通过交互式点操作来操纵生成图像的特定部分。该项目由 JiauZhang 开发,并在 GitHub 上开源。DragGAN 的核心功能包括图像生成、编辑和自定义操作,适用于多种图像处理场景。 ## 项目快速启动 ### 安装依赖 首先,确保你已经安装了 Python 和 pip。然后,通过以下命令安装 DragGAN: ...

gitblog_00250的博客 581

迈瑞BS系列全自动生化分析仪LIS协议接口手册(内含HL7和ASTM)

迈瑞BS系列全自动生化分析仪LIS协议接口手册,内含HL7和ASTM)

【深度学习】DragGAN

DragGAN作为一种基于StyleGAN的图像拖拽编辑方法,为用户提供了一种直观、易用的图像编辑方式。通过优化StyleGAN中的风格信息w latent Code,DragGAN能够实现对图像的精确控制,同时保持图像的整体风格和结构不变。未来,随着深度学习技术的不断发展,我们可以期待DragGAN在图像编辑领域发挥更大的作用,为用户带来更加丰富的创作体验。

richard_yuu的博客 1027

设置和使用DragGAN:搭建非官方的演示版

DragGAN的官方版还没有发布,但是已经有非官方版的实现了,我们看看如何使用。DragGAN不仅让GAN重新回到竞争轨道上,而且为GAN图像处理开辟了新的可能性。正式版本将于本月发布。但是现在已经可以在一个非官方的演示中试用这个新工具了。

deephub 4759

DragGAN在线运行,只需3分钟,快速上手体验!

默认情况下是没有太多表情的,可以通过AddPoints 来改变表情,上下加个拖拽点,就能露出牙齿了。通过地址打开Colab脚本,使用Goolge账号登录,然后,通过下面两种方式运行脚本即可。点击Start之后,两个点的距离会慢慢拉近,差不多重合了就可以点击Stop停止了。第二种,无需账号可以直接打开,但是生成图片的速度不稳定,可能使用人数有关。第一种,已经500了,可能被刷爆了,可能等等就好了,也可能一直卡着~~第三种,只要有Colab配额,可以稳定使用,玩玩绝对够了。大家用的轻松,我说的也轻松。

s_develop的博客 1046

5分钟快速上手:DragGAN点拖拽图像编辑终极指南

想要通过简单的鼠标拖拽就能精准编辑AI生成图像吗?DragGAN正是这样一款革命性的交互式图像编辑工具,它基于生成对抗网络(GAN)技术,让你无需任何编程基础,仅通过点拖拽操作就能实现对图像中物体的形状、姿态和位置的精确控制。无论是调整人像表情、改变服装风格,还是重新定位物体,DragGAN都能让创意表达变得前所未有的直观和高效。 ## 🎯 为什么选择DragGAN进行AI图像编辑? 在传统

gitblog_00473的博客 1129

DragGAN开源协议:商业使用与二次开发许可

DragGAN作为SIGGRAPH 2023会议论文的官方实现代码,采用了双重许可证模式。这一许可结构对于开发者和企业用户来说至关重要,特别是在商业应用和二次开发场景中。本文将深入解析DragGAN的开源协议细节,帮助您全面理解其使用限制和合规要求。 ## 双重许可证结构 DragGAN项目采用了独特的双重许可证模式: ### 1. NVIDIA源代碼許可證 (NVIDIA Source C...

gitblog_00188的博客 731

DragGAN 拖拽编辑图文教程:把生成图里的东西拽到想去的位置

上周有朋友让我把一张生成图里帽子的位置从头顶挪到侧边,重画太麻烦,修补又容易露痕迹。我试了 DragGAN,整个过程就是"在图上点个起点、点个终点、按 Start",它会沿着生成流形把物体缓缓拖到目标位置,出来的图看起来依然像一次生成的,不是贴上去的。这篇记录一下我从装环境到做成人像拖拽的完整路径,你照着做基本一次就能跑通。 ## 十分钟装好,把编辑界面跑起来 硬件上有一张 NVIDIA 显卡

gitblog_00091的博客 1095

DragGAN论文阅读

作者提出DragGAN,一种交互式基于点的图像编辑方法,可以依据用户输入操纵图像。这归因于两点: a. 隐向量优化模块,将处理点移动至目标点; b. 点跟踪模块准确跟踪处理点轨迹。 DragGAN超越现有基于GAN的图像操纵方法,同时开拓新方向,利用生成先验进行图像操纵。

持续关注并分享目标检测、数据生成、视频驱动、跨模态、分割、关键点等领域前沿技术 1246

告别复杂配置!5分钟上手DragGAN实现AI图像编辑

你还在为AI图像编辑工具的繁琐配置而头疼?本文将带你快速搭建DragGAN(SIGGRAPH 2023)的本地运行环境,通过简单几步即可体验拖拽式图像编辑的强大功能。读完本文后,你将能够: - 完成DragGAN的环境配置 - 下载预训练模型 - 运行图形界面和网页演示 - 了解基本的图像编辑流程 ## 项目简介 DragGAN是一款革命性的交互式图像编辑工具,通过在生成图像流形上进行基于点的...

gitblog_00759的博客 499

DragGAN-colab 项目使用说明

DragGAN-colab 项目使用说明 1. 项目目录结构及介绍 本项目DragGAN-colab的目录结构如下: DragGAN-colab/ ├── LICENSE ├── README.md ├── draggan_author_colab.ipynb ├── draggan_colab.ipynb ├── draggan_colab_inversion.ipynb ├── draggan...

gitblog_00262的博客 439

DragGAN 使用教程:三步装好环境,用鼠标拖拽改变图像中物体的姿态

DragGAN 是 SIGGRAPH 2023 的开源项目,让你不用写代码,直接在生成的图像上点两个点、拖动一下,就能改变画面里物体的位置和姿态。这篇 DragGAN 教程带你完整走一遍:5 分钟装好环境并生成第一张图,三步完成一次拖拽编辑,最后讲清楚真实照片和"效果不平滑"这两个新手常卡住的问题该怎么处理。 ## 三条命令装好 DragGAN 环境 DragGAN 构建在 StyleGAN2

gitblog_00377的博客 784

超炫酷项目来袭!DragGAN 正式开源了!

之前树先生给大家介绍过一个项目 DragGAN,现在正式开源了!那还等什么,盘它!

程序员树先生的博客 623
上一篇: DragGAN在线运行,只需3分钟,快速上手体验!
下一篇: AI绘画:Roop插件的使用详解!
AI空间
博客等级 码龄4年 33粉丝 19原创
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

AI空间

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值