flux 文生图bnb量化模型diffusers使用案例

已于 2024-08-31 19:33:08 修改
阅读量1.3k 收藏
点赞数 4
分类专栏： 深度学习 文章标签： 大模型 aigc flux 文生图
于 2024-08-31 10:20:17 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_42357472/article/details/141722016
版权

参考：
https://huggingface.co/black-forest-labs/FLUX.1-dev

https://github.com/lllyasviel/stable-diffusion-webui-forge/discussions/1079
https://github.com/huggingface/diffusers/issues/9149
https://huggingface.co/lllyasviel/flux1-dev-bnb-nf4/tree/main

下载单个模型：

export HF_ENDPOINT=https://hf-mirror.com
huggingface-cli download --resume-d
了解本专栏 订阅专栏 解锁全文 超级会员免费看
AIGC：Flux.1 NF4 使用 diffusers 推理
微风❤水墨
08-26 1503
Flux 参数量很大 (包括 ext encoder2, autoencoder, 以及 diffusion model) ， 使用Diffusers推理，显存占用 30GB。有大佬做了 NF4 版本，效果依旧能打。所以本文使用 diffusers 推理 NF4版本的 Flux.1。1：flux.1-dev-nf4 国内镜像加速下载。
flux bitsandbytes bnb量化；diffusers 15G显卡加载使用
weixin_42357472的博客
09-01 509
大概需要13G多，t4卡推理一张图需要3-4分左右时间。huggingface-cli login 登录。对text模块bnb量化。
【生成模型】Flux-Fill与量化
yinglang19941010的专栏
01-23 1782
打印权重类型可以看到，只有transformer的weight是量化的uint8，因为不同类型的tensor是不能计算的，因此猜测应该是设置了GGUFQuantizationConfig(compute_dtype=torch.bfloat16),后，会在计算时候将uint8转为torch.bfloat16，然后计算，计算结果转回去或者保持torch.bfloat16，因此它的推理速度应该比原版还慢。BitsAndBytes慢的更多（不知道是不是和它是面向训练的有关）如果推理的图片是噪声，参考。
消费级GPU上的量化扩散模型：在Colab上高效运行AI模型
u013818406的博客
11-01 426
为了解决这一问题，量化技术应运而生，它能够将复杂的AI模型优化，使其在消费级GPU上也能高效运行。量化技术通过减少模型的精度要求，使得模型能够在较低的硬件配置上运行，同时保持较高的性能。项目，我们可以在消费级GPU上高效地运行复杂的扩散模型，特别是在免费Colab笔记本上。这为AI模型的普及和应用提供了新的可能性。通过这个库，我们可以将模型的权重和激活从32位浮点数量化到8位整数，从而显著减少模型的大小和计算需求。是一个用于构建和运行扩散模型的库，它提供了一系列的预构建模型和调度器，可以用于各种生成任务。
【diffusers极速入门（十）】Flux-pipe 推理，完美利用任何显存大小，GPU显存节省终极方案（附代码）
weixin_44212848的博客
02-20 865
Flux-pipe 推理，完美利用任何显存大小，GPU显存节省终极方案（附代码）
【技术前沿】Flux.1部署教程入门--Stable Diffusion团队最前沿、免费的开源AI图像生成器
Lyra's DDF
08-12 2210
FLUX.1 是一种新的开源图像生成模型。它由 Stable Diffusion 背后的团队 Black Forest Labs 开发。博主碎碎念，可跳过：打算重新做做自己这个老号，高中时候开始做优快云，那会儿写的是NOIP/NOI相关的算法东西，纯粹是写给自己看的；现在时隔多年，我也在清华站稳了脚跟，在互联网开发和量化交易领域都算是小有成就了。接下来这个号（也许也不止这个号）应该会做(或者不局限于AI)的抢先浏览，会向大家说明当下热点论文、热点技术的部署等，以及做一些周报或者日报。
AIGC笔记--Diffuser的基本使用
牵一只蜗牛去散步
05-03 1114
来加载预训练模型，使用参数。来指定下载模型的存储地址；
免费替代Midjourney！FLUX.1使用方法大全，支持ComfyUI
qq_26303031的博客
08-05 5108
FLUX.1是由Black Forest Labs推出的开源AI图像生成模型，由Stable Diffusion原班人马打造，该模型拥有12B参数，包含三种版本：FLUX.1 [pro]、FLUX.1 [dev]和FLUX.1 [schnell]。还介绍了核心技术和4种使用教程。
FLUX.1 团队已将从 Pro 提取的 SFT 转成 Diffusion 架构
weixin_41446370的博客
08-17 1201
Flux.1 是由 Black Forest Labs 黑森林实验室推出的文生图模型套件，说到 Black Forest Labs 大家可能觉得陌生，它是 Stability AI 前核心成员 Robin Rombach 创立的新团队，成员也多来自 Stable Diffusion 的原始开发团队，因此具备强大的生成式模型开发能力。之前，我也第一时间分享了关于FLUX.1的相关文章。
Stable Diffusion 3「精神续作」FLUX.1 源码深度前瞻解读
weixin_55154866的博客
03-04 1038
前几个月，推出了著名文生图模型 Stable Diffusion 的 Stability AI 公司曝出了核心团队集体离职的消息。一时间，AI 从业者们议论纷纷，不知道这究竟是团队出现了矛盾，还是这些员工觉得文生图模型做下去没有前途了。而近期，该核心团队重新组建的创业团队 Black Forest Labs（黑森林实验室）带着名为 FLUX.1 的文生图模型「复仇归来」。FLUX.1 受到了用户的广泛好评，让人们期盼更强开源文生图模型的热情得以延续。
SDWebUI-Foge运行Flux1.0-DevNF4模型，低显存设备也能跑！
2401_83048197的博客
08-19 4328
Hello，大家好！0lllyasviel（敏神）ControlNet的作者刚才发布了一款flux1-dev-bnb-nf4-v2模型，这个版本最大的优势就是能让低显存的设备也能运行，这个低到底有多低呢？实测下来3070ti笔记本（8G VRAM）在跑NF4-V2模型每次迭代只需要2.15秒（这只是该笔记本计算的时间，并不代表所有8GVRAM都是这个时间，其他硬件设备不同计算结果也不一致）。
【AI绘画】FLUX：这款新的人工智能图像生成器非常善于创造人手
weixin_41446370的博客
08-04 2852
Black Forest Labs 发布了三种 FLUX.1 文本到图像模型：高端商业 "pro "版、非商业使用的中端开放权重 "dev "版和更快的开放权重 "schnell "版（"schnell "在德语中意为快速）。Black Forest Labs 声称，其模型在图像质量和文本提示的遵从性等方面优于 Midjourney 和 DALL-E 等现有选择。
BERT 获取最后一层或每一层网络的向量输出
热门推荐
weixin_42357472的博客
10-21 1万+
参考：https://zhuanlan.zhihu.com/p/422533717 https://blog.youkuaiyun.com/sunyueqinghit/article/details/105157609 transformer输出的结果 last_hidden_state：shape是(batch_size, sequence_length, hidden_size)，hidden_size=768,它是模型最后一层输出的隐藏状态 pooler_output：shape是(batch_size, hid
maskrcnn-benchmark训练自己数据集用于视觉分割
weixin_42357472的博客
06-23 1万+
1、标记数据用labelme，建议用ubuntu版本去做，因为window可能因为这个需要环境改变影响其他，自己犯过这个问题 https://github.com/wkentaro/labelme 2、labelme转化成coco数据集用于分割任务 labelme2coco.py进行转化 # -*- coding:utf-8 -*- import argparse import json im...
ollama 模型国内加速下载，制作自定义Modelfile模型文件；ollama模型导出
weixin_42357472的博客
07-16 1万+
参考： https://www.zhihu.com/question/640579563/answer/3562899008 https://github.com/ollama/ollama/blob/main/docs/modelfile.mdollama主要的模型文件格式是gguf，可以在modelscope或huggingface上下载huggingface： 2、下载gguf模型加载使用 1）查看Modelfile格式 ollama show qwen:14b --modelfile 2）创建自己
cursor AI代码编辑器IDE对接deepseek模型api；字节ai编辑器trae
weixin_42357472的博客
09-13 1万+
参考： https://www.cursor.com/ https://platform.deepseek.com/https://www.cursor.com/下载安装后，注册账号登录即可 再高级里选择设置 再模型这注册模型： 模型名称一定要填正确，url地址填好，最后填上秘钥验证
CLIP 与 SigLIP 文本图像对其算法学习理解
weixin_42357472的博客
03-12 1万+
参考： https://github.com/openai/CLIPCLIP：batch内的图文对做多分类softmax；比如下图第一行表示第一个文本与batch内哪个图片匹配（多分类）；除了行还计算列，比如第一列表示第一个图片与batch内哪个文本匹配SigLIP：batch内的图文对做二分类sigmod；比如下图第一行表示 第一个文本分别与batch内每个图片做二分类 CLIP SigLIP 2*np.eye(n) - np.ones(n) 构建了label的矩阵，-1或者1的二分类；例如下列n=3
神经网络 Embedding层理解； Embedding层中使用预训练词向量
weixin_42357472的博客
10-21 9858
Embedding：高维稀疏特征向量到低维稠密特征向量的转换；嵌入层将正整数（下标）转换为具有固定大小的向量 Embedding 字面理解是 “嵌入”，实质是一种映射，从语义空间到向量空间的映射，同时尽可能在向量空间保持原样本在语义空间的关系，如语义接近的两个词汇在向量空间中的位置也比较接近。 应用： 在深度学习推荐系统中，Embedding主要的三个应用方向： 1、在深度学习网络中作为Embedding层，完成从高维稀疏特征向量到低维稠密特征向量的转换； 2、作为预训练的Embedding特征向量，与其
flux 量化模型
最新发布
03-19
### Flux 中的量化模型与实现方法 #### 什么是机器学习模型量化？ 机器学习模型量化是指通过降低数值精度来减少模型的存储空间和计算资源消耗的一种优化技术。这种技术可以显著提高推理速度并节省内存占用，尤其是在边缘设备上部署大型模型时尤为重要。 在 Flux 的上下文中，支持多种量化方案以适应不同的应用场景。以下是关于 Flux 支持的主要量化模型和技术的具体说明： --- #### Flux 支持的量化模型类别 Flux 提供了三种主要的量化模型格式，每种都有其特定的应用场景和优势[^2]: 1. **FP (Floating Point)** 这是最常见的量化方式之一，允许将高精度浮点数（如 FP32）转换为较低精度的表示形式（如 FP16）。这种方式能够在保持较高精度的同时大幅减小模型体积。 2. **GGUF (General GPU Unoptimized Format)** GGUF 是一种通用化的非优化格式，适用于需要跨平台兼容性的场合。它不依赖于任何特定硬件架构，因此适合用于开发阶段或测试环境下的快速验证。 3. **NF4 (Normal Float 4-bit)** NF4 是一种极端压缩策略，利用仅需四个比特位即可表达单个权重的方式极大地减少了数据规模。尽管如此，在某些情况下仍可维持合理的性能水平。 --- #### 如何在 Flux 中应用这些量化技术？ 要实现在 Flux 上面加载或者创建经过量化的神经网络结构，则可以根据具体需求选择合适的工具链以及接口函数来进行操作: - 对于已经预训练完成的大规模深度学习框架所导出的标准文件格式(例如 ONNX)，可以直接借助官方提供的 API 完成导入过程之后再调用相应的方法对其进行进一步处理； ```python from flux import load_model, quantize model_path = 'path/to/model.onnx' loaded_model = load_model(model_path) quantized_model_fp16 = quantize(loaded_model, target_dtype='fp16') # 转换至半精度浮点数 ``` - 如果是从零构建自定义拓扑结构的话，则可以在设计初期就考虑加入动态固定范围整型运算单元作为替代品从而避免后期复杂的迁移工作；与此同时还可以结合自动微分引擎所提供的梯度裁剪机制共同作用以便更好地控制累积误差传播路径上的增长趋势。 --- #### 注意事项 当采用低精度算术逻辑单元(ALU)执行推断任务期间可能会引入额外噪声干扰最终预测质量，所以建议针对目标领域仔细评估不同配置组合下所产生的影响程度后再做决策。 --- ### 示例代码片段 下面给出一段简单的 Python 实现示例，演示如何使用 Flux 将一个全连接层网络转化为更紧凑的形式： ```python import jax.numpy as jnp from flux import Sequential, Dense, save_quantized_model # 构建原始未压缩模型 model = Sequential([ Dense(units=128, activation='relu', input_shape=(None, 784)), Dense(units=10, activation='softmax') ]) # 假设我们有一个训练好的权重矩阵 w 和偏置 b w = jnp.array([...]) # 替换为实际值 b = jnp.array([...]) # 替换为实际值 # 应用量化到指定层 quantized_weights = jnp.round(w * 127).astype(jnp.int8) / 127 # 简化版 INT8 表达 save_quantized_model('quantized_model.flux', {'weights': quantized_weights, 'bias': b}) ``` 上述脚本展示了基本流程：先正常搭建前向传播管道图谱，接着提取关键参数并通过适当缩放因子映射回较小区间范围内最后持久化保存下来便于后续重复利用. ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

loong_XL

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值