Qwen2VL + Flux：基于VLM的可控图片理解生成

最新推荐文章于 2025-09-17 14:02:49 发布
原创 最新推荐文章于 2025-09-17 14:02:49 发布 · 1.1k 阅读 · 22 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#学习 #人工智能 #深度学习 #计算机视觉 #microsoft

Qwen2vl-Flux 是一种先进的多模态图像生成模型，它将 Qwen2VL 的视觉语言理解能力融入到 FLUX 中。

该模型擅长基于文本提示和视觉参考生成高质量图像，提供卓越的多模态理解和控制能力。模型架构将 Qwen2VL 的视觉语言能力集成到 FLUX 框架中，实现更精确和上下文感知的图像生成。

关键组件包括：

视觉语言理解模块（Qwen2VL）、增强的 FLUX 骨干、多模式生成管道、结构控制集成。

特点包括增强的视觉语言理解：利用 Qwen2VL 实现卓越的多模态理解。

此实现使用 Qwen2VL 作为视觉语言模型，以增强多模态理解能力，它与 Flux 架构相集成。同时，它还支持 ControlNet 的功能，包括深度估计和线条检测，以便更精确地控制图像生成。

模型架构

Qwen2VL + Flux整体模型结构：

在这里插入图片描述

关键架构特性：

  • 视觉语言理解：利用Qwen2VL实现卓越的图像和文本理解

  • 增强控制：集成 ControlNet 以实现精确的结构引导

  • 灵活的工作流程：支持各种生成模式，包括变分、图像到图像以及图像修复

效果

可以看到，基于Qwen2VL的图像Embedding空间，可以实现对图像的编辑。

同时也能实现对图片的融合，使用两张图片，对风格进行融合。

支持基于GridStyle的风格转换。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

  • 大模型 AI 能干什么？
  • 大模型是怎样获得「智能」的？
  • 用好 AI 的核心心法
  • 大模型应用业务架构
  • 大模型应用技术架构
  • 代码示例：向 GPT-3.5 灌入新知识
  • 提示工程的意义和核心思想
  • Prompt 典型构成
  • 指令调优方法论
  • 思维链和思维树
  • Prompt 攻击和防范
  • …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

  • 为什么要做 RAG
  • 搭建一个简单的 ChatPDF
  • 检索的基础概念
  • 什么是向量表示（Embeddings）
  • 向量数据库与向量检索
  • 基于向量检索的 RAG
  • 搭建 RAG 系统的扩展知识
  • 混合检索与 RAG-Fusion 简介
  • 向量模型本地部署
  • …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

  • 为什么要做 RAG
  • 什么是模型
  • 什么是模型训练
  • 求解器 & 损失函数简介
  • 小实验2：手写一个简单的神经网络并训练它
  • 什么是训练/预训练/微调/轻量化微调
  • Transformer结构简介
  • 轻量化微调
  • 实验数据集的构建
  • …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

  • 硬件选型
  • 带你了解全球大模型
  • 使用国产大模型服务
  • 搭建 OpenAI 代理
  • 热身：基于阿里云 PAI 部署 Stable Diffusion
  • 在本地计算机运行大模型
  • 大模型的私有化部署
  • 基于 vLLM 部署大模型
  • 案例：如何优雅地在阿里云私有部署开源大模型
  • 部署一套开源 LLM 项目
  • 内容安全
  • 互联网信息服务算法备案
  • …

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传优快云，朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】

在这里插入图片描述

DeepSeek + Python 提效测试用例生成落地
weixin_44872675的博客
02-05 4237
通过 DeepSeek 结合自动化测试工具（如 Selenium 或 pytest），将生成的测试用例转化为自动化测试脚本。结合 DeepSeek 的语义分析功能，检查测试用例是否覆盖所有需求，并补充遗漏的测试场景。构建统一的测试用例库，支持整个团队通过 DeepSeek 查询和复用测试用例，减少重复劳动。的能力扩展到测试用例生成场景，并探讨具体的落地实践和可扩展的应用场景。将测试用例与历史缺陷关联，生成针对性用例，确保修复的缺陷不会再次出现。通过关键词提取和语义分析，解析需求文档中的重要信息。
CVPR论文速递 | DreamOmni：一个模型搞定图像生成与全能编辑，打破传统碎片化！
Tulingxueshu的博客
08-29 1321
本研究的核心在于提出并成功实现了一个名为DreamOmni的统一模型，它将图像生成与多种编辑任务集成在一个单一框架中，解决了现有模型在多任务处理上的碎片化问题。论文通过对UNet和DiT架构的深入分析，设计了一个高效且收敛速度快的混合框架。同时，通过开发一个新颖的合成拼贴数据流水线，解决了高质量编辑数据稀缺的难题，为模型的联合训练提供了坚实基础。实验结果充分证明了DreamOmni的优越性。它不仅在T2I生成任务上表现出色，还在图像修复、指令编辑、拖拽编辑和参考图像生成等一系列编辑任务上都取得了显著的性能提
TensorFlow相关组件的安装
AAI666666的博客
01-11 3016
TensorFlow相关组件的安装
主流文生图模型深度点评：Qwen-Image、FLUX.1等模型的技术突破与未来趋势
最新发布
Liudef06的博客
09-17 6005
本文深入剖析了当前主流文生图模型的技术特点与应用场景。重点介绍了阿里通义千问的Qwen-Image（擅长中文文本渲染）和Black Forest Labs的FLUX系列（采用流匹配架构），分析了它们在文本理解、图像质量、控制能力等方面的优势。文章还对比了各模型在基准测试中的表现，探讨了它们在文本渲染、图像编辑等场景的应用实例，并展望了文生图技术向多模态融合、精细控制等方向的发展趋势，同时指出版权、伦理等挑战。最后建议用户根据中文处理或通用生成等不同需求选择合适的模型。
最近，大模型岗位爆了。。。
qq_46094651的博客
02-16 573
重磅消息，国资委打响了国内AI第一枪！这意味着传统行业又迎来了一次大洗牌，现在国内头部人工智能公司已经开始用AI数字人助力各行各业，除此之外，知名大厂也都在布局AI市场。懂的程序员年薪已经翻到风口之下，与其焦虑被行业淘汰，不如先人一步掌握 AI 大模型技术。为帮助大家提升竞争力，为了帮助普通程序员享受时代红利，
揭秘未来文档处理：多模态 GraphRAG 如何融合文档智能、知识图谱与大型模型
m0_63171455的博客
04-27 729
文档智能解析技术链路与文档层级关系构建首先来整体介绍一下文档智能解析技术方案。上图中对传统RAG和微软GraphRAG的链路进行了对比，GraphRAG在知识库和知识图谱的构建方面开展了大量工作。知识库的构建是整个流程中至关重要的一个环节，所以接下来会重点介绍知识库和文档构建的技术链路。文档处理技术经历了一系列演变，从早期基于规则模板，发展到利用PDFParse等工具来进行解析，再到基于深度学习的版面分析。
23张PPT搞懂DeepSeek核心技术！
QcloudCommunity的博客
02-12 2171
DeepSeek 作为AI 大模型其中的佼佼者，各种突破与创新不断涌现，正引领着人工智能发展的新方向；本文以 PPT 式风格直观呈现技术精髓，深入揭秘 DeepSeek 核心技术。关注腾讯云开发者，一手技术干货提前解锁????今晚7:30还有腾讯云工程师还将现场演示教你 DeepSeek 丝滑部署的 N 种方式，记得预约直播！????DeepSeek 核心技术大揭秘，以 “PPT 式风格” 更好地展现核心技术...
import json import os import torch from datetime import datetime from diffusers import FluxPipeline from unit.qwenvl2_5 import QwenVL2_5Inferer, qwenvl2_5_check_image from unit.call_deepseek import CallDeepSeekPipeline def main(img_folder_path, output_dir, selected_types): # 加载模型 qwenvl2_5 = QwenVL2_5Inferer() call_deepseek = CallDeepSeekPipeline() model_path = "/mnt/videofs_offline_xuanyuan/workspace/hhr/temp/models/FLUX.1-dev/" pipe = FluxPipeline.from_pretrained(model_path, torch_dtype=torch.bfloat16) pipe.enable_model_cpu_offload() # 提示词路径 caption_prompt_path = "prompts/make_img_caption_eng_restr_length.prompt" edit_prompt_path = "prompts/edit_caption_scene_big_change.prompt" # 最终图像的输出路径 current_time = datetime.now().strftime("%m-%d-%H-%M-%S") img_save_dir = os.path.join(output_dir, current_time) os.makedirs(img_save_dir, exist_ok=True) output_json_file = os.path.join(img_save_dir, "captions.json") all_results = {} # 遍历输入图片 for root, dirs, files in os.walk(img_folder_path): for index, file in enumerate(files): image_path = os.path.join(root, file) aid, ext = os.path.splitext(file) try: ## qwen-vl打原始caption vlm_response = qwenvl2_5_check_image(qwenvl2_5, image_path, caption_prompt_path) org_caption = vlm_response["caption"] ## deepseek对caption进行修改，构造相似caption ecode, response = call_deepseek.process(org_caption, edit_prompt_path) vlm_response["new_caption"] = response["new_caption"] all_results[aid] = vlm_response except Exception as e: print(aid, " meet error") print("Error occurred while processing captioning: ", str(e)) continue print(f"finish processing {index+1}image, aid: {aid}") # print(vlm_response) # 将所有响应写入JSON文件 with open(output_json_file, 'w', encoding='utf-8') as f: json.dump(all_results, f, ensure_ascii=False, indent=2) # 以qwen和ds产出的两组caption作为prompt prompts = [] aids = [] for aid, item in all_results.items(): if item["type"] not in selected_types: continue aids.append(aid) aids.append(aid) org_caption = item["caption"] new_caption = item["new_caption"] prompts.append(org_caption) prompts.append(new_caption) # 执行生图 for index, (prompt, aid) in enumerate(zip(prompts, aids)): seed = 43 generator = torch.Generator("cuda").manual_seed(seed) image = pipe( prompt, output_type="pil", num_inference_steps=28, guidance_scale = 2.5, generator=generator, # width=1024, # height=1024, ).images[0] if index%2==0: image.save(f"{img_save_dir}/{aid}_Seed{seed}_gen1.png") else: image.save(f"{img_save_dir}/{aid}_Seed{seed}_gen2.png") if __name__ == '__main__': img_folder_path = "/mnt/videofs_offline_xuanyuan/workspace/hhr/data/wanshuang_img2img/typed_imgs_0623/汽车/" # 在输出文件夹下会创建一个当前时间的文件夹，可重复运行 output_dir = "./outputs/flux_similar_img_gen" # 所有可选种类：[Person, Anime/Game IP, Animal, Food, Building, Car, Scenery, Indoor Scene, Other] selected_types = set(["Animal", "Food", "Building", "Car", "Scenery", "Indoor Scene", "Other"]) main(img_folder_path, output_dir, selected_types) 现在已经在mobaxterm的docker容器中，现在我要运行这段代码，需要输入什么吗
07-22
if len(sys.argv) < 2: print("请提供输入参数。") sys.exit(1) input_value = sys.argv[1] print(f"接收到的输入参数是: {input_value}") ``` #### Dockerfile 示例： ```Dockerfile FROM python:3.9 ...
51c扩散模型~合集4
whaosoft~aiotの开发板商城
05-31 1457
我自己的原文哦~ https://blog.51cto.com/whaosoft/13956122生成性能提升不靠堆参数！基于掩码的扩散模型生成能力增强方法本文提出了一种名为 MaskUNet 的新方法，通过对扩散模型中的 U-Net 参数进行掩蔽，显著提升了图像生成质量。该方法利用时间步和样本依赖的掩蔽策略，动态选择有效的 U-Net 参数，从而提高生成效果，同时保持模型的泛化能力。paper title: Not All Parameters Matter: Masking Diffusion
51c自动驾驶~合集42
whaosoft~aiotの开发板商城
12-20 2538
现有激光雷达语义分割的SOTA方法通常包含专门为机械旋转激光雷达设计的归纳偏置。这限制了模型在其他类型激光雷达技术中的通用性，并使超参数调整变得更加复杂。为了解决这些问题，上海交通大学团队提出了一种通用的框架SFPNet，用稀疏焦点机制代替窗口注意力机制，以适应市场上流行的各种类型的激光雷达。SFPNet能够提取多层上下文信息，并使用门控机制动态聚合不同层次的信息。作者还提出了一种针对工业机器人应用场景的新型混合固态激光雷达语义分割数据集S.MID。
论文阅读笔记——Emerging Properties in Unified Multimodal Pretraining
Multiple_x的博客
05-24 1414
Emerging Properties in Unified Multimodal Pretraining 论文阅读笔记
阿里研究院：2024大模型训练数据白皮书.pdf
06-30
《阿里研究院：2024大模型训练数据白皮书》是一份全面分析大模型训练数据领域现状、挑战和未来发展的报告。报告深入探讨了训练数据的来源、质量、标注、安全以及隐私保护等方面，为大模型训练提供了丰富的数据洞察和策略建议。该白皮书不仅总结了当前大模型训练数据的应用现状，还预测了未来数据需求的趋势，并对数据安全和隐私保护提出了重要的思考。
23张PPT详解DeepSeek核心技术：架构创新与行业应用进展
02-21
内容概要：这篇PPT文档详细介绍并解释了中国本土大语言模型DeepSeek的关键技术和应用前景。首先，概述了DeepSeek的独特特点，如内容token化、无自我意识及上下文长度限定等。接着深入探讨了DeepSeek的核心技术架构及其创新点，例如多模态深度Transformer和支持文本、代码、数学符号的统一理解，MoE（Mixture of Experts）架构以及多层级注意力机制MLR。文档中提到DeepSeek通过架构改进和技术优化实现了低成本训练及高性能推理，在金融、医疗等多个行业中得到了成功的应用。文档同时也分析了DeepSeek的优势——相较于其他国际领先的AI模型，具有更低廉的训练费用和较高的运行效能。文档的最后一部分内容介绍了高效使用DeepSeek的方法及应用场景案例，并指出它不仅能在复杂的工业环境中运用自如。 适合人群：有兴趣深入了解人工智能领域的研究人员和工程师；需要应用深度学习技术的企业和个人。 使用场景及目标：①想要快速了解最前沿的人工智能技术趋势和发展现状；②寻找能够应用于特定领域的先进大模型方案；③希望掌握利用大模型解决问题的有效途径和实践经验。
中国信通院：智能体技术和应用研究报告（2025年）
weixin_55366265的博客
06-28 2060
任务规划：通过任务分解策略将复杂任务拆分为子任务，结合 ReAct、Reflexion 等技术实现自主规划与动态调整，利用 LLM+P、ToT 等方法解决长期规划问题，并通过 CoH 技术提升与人类价值观的对齐程度，以高效完成目标任务。多体协作架构：集中式、分布式与分层式架构适配不同场景，如中兴通讯的故障监控专家通过多智能体协同，将跨专业故障定位准确率从 70% 提升至 90% 以上。智能体是基于大模型的自主代理，具备感知、决策、执行等能力，能将模型能力转化为任务执行能力，破解大模型 “有脑无手” 困局。
AI菜鸟向前飞 — LLM简介
2401_82469710的博客
05-11 2199
AI菜鸟向前飞 — LLM简介
分享一些开源的Dify工作流，各种小工具好用又简单（带私活源码）
m0_68103752的博客
10-13 6186
Dify现在的用户量很多，只不过有时候懒，工作流不愿意自己搭。 都想用现成的，总要有为爱发电的人去开源。
2023大模型安全解决方案白皮书
12-06 1226
在当今迅速发展的数字化时代，人工智能技术正引领着科技创新的浪潮而其中的大模型技术则被视为人工智能的一大突破。大模型是指参数量巨大能力强大的人工神经网络模型，以其卓越的表现在自然语言处理、计算机视觉、语音识别等领域赢得了持续的关注和青睐。这些模型的出现，不仅在学术界引起了研究者们的广泛兴趣，也在商业应用领域带来了一系列创新和变革大模型技术的崛起，首要得益于深度学习的发展以及硬件计算能力的提升。深度学...
qwen2.5vl+unsloth适配finetune数据集
07-29
Qwen2.5-VL 在图像理解、视频分析、结构化输出和视觉推理方面取得了巨大突破[^2]。在微调过程中，确保数据集涵盖多种任务，例如图像描述生成、视觉问答（VQA）和图像分类，以充分发挥模型的多模态能力。 ### 相关...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值