字节又来给模型提速啦!这次是 FLUX.1!

FLUX.1-dev

FLUX.1-dev

图片生成
FLUX

FLUX.1-dev 是一个由 Black Forest Labs 创立的开源 AI 图像生成模型版本,它以其高质量和类似照片的真实感而闻名,并且比其他模型更有效率

字节在模型提速这条路上真的是一去不回头啊,这不,这次又把 FLUX.1 给加速了!

听雨还正愁 FLUX.1 的出图速度慢怎么提升呢!字节这个还真是瞌睡了就来送枕头,相当体贴有么有!

字节这次依旧是通过他的 Hyper-SD 模型加速技术分别提炼出了 FLUX.1 的 8 步 和 16 步的 Lora 模型。

也就是说我们使用加速 Lora 模型时,只需要把迭代步数设置成 8 步 或者 16 步就可以达到原先需要 20 步甚至更多步才能达到的效果。

步数减少了,生图速度自然就快了。

好了,话不多说,我们直接开整。


我们先来看效果,以下分别是 20 步、添加 Lora 8 步 以及 16 步模型,其他包括提示词以及种子数都是一样的,分辨率 1024*1024。

用时分别是 18.38s、14.27s、19.45s,不知道为啥 16 步的耗时反而更长了,小伙伴们测测看你们是这样的情况么。

先不管 16 步,我们看看 Lora 8 步 模型和 20 步模型,这样看可能觉得没差几秒,但是对于配置稍低,动辄要一分钟才能出图的小伙伴而言,加速效果就会很明显了。

提示词:In the style of TOK,photo of a (caucasian girl:1.2),(masterpiece, best quality, ultra-detailed, best shadow, amazing realistic picture), cinematic film still,realistic human head, (realistic head, beautiful cute face:1.3),a illustrated summer_dress,Illustrations of balloons and flying fish surrounding the area

大家可以看出明显的差别么,感觉 8 步模型的出图效果就已经很棒了。

我们再来看看真人的效果如何,放大看的话,从细节上来看差别不大,甚至相对来说 16 步的人物脸部的皮肤质感更像真人。

提示词:(professional high fashion photography:1.2),dynamic angle,a beautiful Woman portrait,caramel

再来些不一样的。

提示词:sleek silver metalic bodied robot with red wire-like hair and human eyes,styled as a geisha with traditional Japanese elements,featuring intricate designs of cherry blossoms carved in gold on her cheeks and forehead,and neon yellow highlights in her hair,holding a futuristic fan with silver,white,and green design. bground: shojiillustrator by Sougwen,sharp focus,studio photo,intricate details,highly detailed,by greg rutkowski

这个试了几组,貌似对于人物脸上的装饰细节上,20 步要更加精细和复杂一些。

提示词:4 marbles on a table each containing a a different element ,1 with soil and plants, 1 with sea waves, 1 with a raging fire, 1 with a tornado , on a old piece of wood, hyper realistic, 4k, f1.8, boketh, depth of field, refraction, reflections on wood, photograph, glowing, glowing particles exiting the marble

提示词:a professional photographic portrait view picture of a minimalist house interior, photographic filter unreal engine 5 realistic hyperdetailed 8 k ultradetail cinematic concept art volumetric lighting, fantasy artwork, very beautiful scenery, very realistic painting effect, hd, hdr, cinematic 4 k wallpaper, 8 k, ultra detailed, high resolution, artstation trending on artstation in the style of albert dros glowing rich colors powerful imagery

对比就到这里了,大多数场景下,其实没有太大差别,如果单张图片拿出来看的话,就更看不出来区别了。

工作流就使用基础的 FLUX.1 的 Lora 工作流就可以了,工作流以及模型听雨也会放在文末的网盘里,需要的小伙伴自取。

这里需要注意的一点是 Lora 权重官方推荐是 0.125 左右,Flux 引导参数推荐 3.5,顺便说一嘴,字节的加速 Lora 是可以和其他 Lora 同时使用的。

虽然这次的提速没有很夸张,只有 20% ~ 30% 的样子,但还是值得开心一下的,毕竟只需要添加一个 Lora 节点,这对 FLUX.1 的整个生态的兼容性来说还是很棒的。

好了,今天的分享就到这里了,感兴趣的小伙伴快去试试吧!

网盘链接:模型工作流

您可能感兴趣的与本文相关的镜像

FLUX.1-dev

FLUX.1-dev

图片生成
FLUX

FLUX.1-dev 是一个由 Black Forest Labs 创立的开源 AI 图像生成模型版本,它以其高质量和类似照片的真实感而闻名,并且比其他模型更有效率

在深度学习模型的训练过程中,检查点(Checkpoints)用于保存模型在训练过程中的状态,以便后续恢复或部署。对于像 `Flux.1` 这样的模型,其检查点通常包含模型参数、优化器状态以及训练时的元数据(如训练步数、损失值等),这对于继续训练、评估或推理任务至关重要。 ### 检查点文件的结构 一个典型的 Flux.1 模型检查点文件可能包括以下几个部分: - **模型权重**:这是最重要的部分,包含了神经网络中各层的参数。 - **优化器状态**:记录了优化器(如 AdamW)的内部状态,例如动量和梯度平方的累积值。 - **训练步数**:记录了当前训练到的步数,有助于在恢复训练时继续计数。 - **损失值**:保存了训练过程中的损失值历史,可用于监控训练进度。 - **配置信息**:有时也会包含模型的超参数配置,确保恢复时的一致性[^1]。 ### 如何加载检查点 在 Julia 中使用 Flux.jl 框架时,可以通过 `BSON.jl` 或 `JLD2.jl` 等库来保存和加载模型检查点。以下是一个简单的示例代码,展示如何保存和加载 Flux.1 模型的检查点: ```julia using Flux, BSON # 假设我们有一个简单的模型 model = Chain( Dense(784, 256, relu), Dense(256, 10) ) # 训练前先保存初始检查点 BSON.@save "initial_checkpoint.bson" model # 模拟训练过程 data = [(rand(784), rand(10)) for _ in 1:100] loss(x, y) = sum((model(x) .- y).^2) opt = ADAM() for (x, y) in data gs = gradient(() -> loss(x, y), params(model)) opt(gs, params(model)) end # 训练后保存检查点 BSON.@save "trained_checkpoint.bson" model ``` 加载已训练好的模型检查点也非常简单: ```julia # 加载检查点 BSON.@load "trained_checkpoint.bson" model # 现在可以使用加载后的模型进行预测或继续训练 ``` ### 检查点管理策略 为了防止磁盘空间被过多的检查点占用,通常会采用一些管理策略: - **定期保存**:每隔固定的训练步数或周期保存一次检查点。 - **最佳模型保存**:只保存验证集上表现最好的模型- **保留最近 N 个检查点**:限制最多保存的检查点数量,避免磁盘溢出。 这些策略可以通过自定义回调函数实现,或者使用第三方库(如 `ModelUtils.jl` 或 `Checkpointing.jl`)提供的工具[^1]。 ---
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值