这几天被谷歌新发布的多模态模型 Gemini 2.0 Flash Experimental 刷屏了,但是效果也是真的牛逼,尤其是在保持主体一致性的图像编辑上,实现了保证主体一致性前提下的一键生图,一句话改图。
不需要复杂的插件辅助,只需要上传一张原图,然后说明我们的需求,就可以一键修图,小白也能直接上手。
真的是相当不错,不过 AI 就是为了普惠普通大众,以后的 AI 也只会越来越智能,操作越来越小白。
好了,话不多说,我们直接开整。
当然我们经常用 ComfyUI 的小伙伴还是希望可以直接集成进 ComfyUI 中的,这不插件就来了嘛!
我们先看效果,然后再讲如何安装使用。
插件相对于官网的体验功能稍微简单一些,不支持连续对话,不过基本的编辑图片功能还是正常体验的:
使用很简单,只需要上传图片,然后中文描述我们的需求就可以了,比如这里只改变人物的头发颜色,这个一致性保持的就很好。
把头发改成黑色短发,理解到位,而且这就真的只修改了头发的部分,这一致性效果没得说。
嗯?夸早了?虽然的确是按听雨的要求改成黑色衬衫了,但是我项链呢,咋裤子颜色也变了。不过说到底毕竟是重绘,面积大一点的重绘编辑还是会有误伤。
如果只让闭一只眼睛也还是会把两只眼睛同时闭上。
上一点难度,我们来看下改变姿势以后的人物一致性保持如何,比如让人物拿一杯咖啡。
稍微有一点瑕疵,手环没了,但是整体的效果还是很不错的。
让人物飞起来,这一致性也还是不错的。
还可以直接进行扩图,听雨这里是直接让它上下左右进行扩图了,也可以让它只扩图某一个方向。
也可以直接替换成我们想要的背景,这些效果都还是不错的。
上传衣服,一键生成服装模型。
还可以上传一张产品,然后描述需求生成一张产品效果图。
去除图片水印也是相当不错的。
真实人像的一致性表现也不错!
给图片中人物打光。
总之, Gemini 2.0 可以干很多一致性图像编辑的事情,官网的 Gemini 2.0 还能进行多张图片融合,效果也是很不错的,插件暂时还不支持这个功能,看后续会不会支持了。
然后这个插件在使用的过程中还有一个小问题,如果图像尺寸不是 1024*1024,Gemini 2.0 返回的图片的尺寸不一定是我们节点里设置的尺寸,如果我们直接按节点中的尺寸进行出图,图片会被拉伸。
可以看到出图位置的上边这个小图有明显的拉伸的迹象,下边这个大图是尺寸修复以后的图片。
可以看到两个图片的尺寸,小图是按照我们的给的尺寸出图的:1280_768,实际出图尺寸是 1024_508。
至于怎么修复这个图像尺寸,因为插件提供了 Gemini 2.0 返回的参数,但是又没有提供获取尺寸的标准接口,所以我们可以通过稍微复杂一点的方法拿到拿到原始的图像尺寸。
通过插件 ComfyUI-Teeth 可以运行 python 脚本的能力,手写了一段正则表达式的代码,获取到原图尺寸,然后再分割为宽和高,再转换为整形然后把错误尺寸的图像进行正确尺寸的缩放就可以了。
具体的工作流听雨会放在文末的网盘里,小伙伴们直接用就行。
好了,接下来我们来介绍下具体如何使用,直接在 ComfyUI 管理器中搜索插件:ComfyUI-Gemini-API,并进行安装重启。
因为使用的是谷歌 Gemini 2.0 的 API 接口,所以我们还需要去谷歌申请 API key。
申请地址:https://aistudio.google.com/apikey?hl=zh-cn
登录以后,直接点击创建 API 密钥就可以了,创建好以后把密钥复制下来。这里需要用
到魔法哈!
API 现在是可以免费使用的哦,创建就可以用!
然后把密钥复制到节点上,就可以正常使用了,不能正常使用的话可以尝试切换一下魔法节点!
整体体验下来,效果还是很不错的,尤其是在一致性上的表现,虽然还有一些瑕疵,但是瑕不掩瑜。
不想本地体验的小伙伴,文章开头也提供了官网体验地址,记得模型要选对哦!
好了,今天的分享就到这里了,感兴趣的小伙伴快去试试吧!
网盘链接:
写在最后
常用工作流已经给各位小伙伴打包好了,可以按需自取,无偿分享。
这份完整版的AI绘画全套学习资料已经上传优快云,朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费
】
AIGC技术的未来发展前景广阔,随着人工智能技术的不断发展,AIGC技术也将不断提高。未来,AIGC技术将在游戏和计算领域得到更广泛的应用,使游戏和计算系统具有更高效、更智能、更灵活的特性。同时,AIGC技术也将与人工智能技术紧密结合,在更多的领域得到广泛应用,对程序员来说影响至关重要。未来,AIGC技术将继续得到提高,同时也将与人工智能技术紧密结合,在更多的领域得到广泛应用。
一、AIGC所有方向的学习路线
AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。
二、AIGC必备工具
工具都帮大家整理好了,安装就可直接上手!
三、最新AIGC学习笔记
当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。
四、AIGC视频教程合集
观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。
五、实战案例
纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。