shimingwang的博客

仅供参考，未经实验验证。基元类型格式用途边界框 (Box)∣ref∣TARGET∣ref∣∣box∣x1y1x2y2∣box∣∣ref∣TARGET∣/ref∣><∣box∣[[x1y1x2y2...∣/box∣精确定位物体位置和尺度点 (Point)∣point∣x1y1∣point∣∣point∣[[x1y。

仅供参考，未经实验验证。1. 核心问题当前大型视觉-语言模型（VLM）普遍存在一个根本性的二元割裂：理解与生成被视为两个独立的问题，导致架构碎片化、流水线级联、表示空间不对齐。论文认为这种割裂不仅是工程上的妥协，更是阻碍原生多模态智能涌现的结构性限制。2. 提出的方案：SenseNova-U1论文提出了，一个基于NEO-unify架构的原生统一多模态范式。无需视觉编码器（VE）和变分自编码器（VAE）：直接作用于原生像素和文本输入，实现端到端统一建模。近无损视觉接口。

仅供参考，未经实验验证。通过对图像生成模型进行轻量级指令微调，Vision Banana 在多个 2D/3D 视觉理解任务上达到或超越 SOTA 专家模型，同时保留生成能力，证明了图像生成预训练本身就是通用视觉学习的基础。问题1：通俗解释这篇论文证明：那些只会画图的 AI，其实早就"看懂"了图像。只要教它们把理解结果按标准颜色画出来，它们就能在分割、测距、3D 理解等任务上打败最专业的分析模型。这意味着未来可能不需要专门训练"看图的 AI"，训练"画图的 AI"就够了。

仅供参考，未经实验验证。论文标题： Flow-GRPO: Training Flow Matching Models via Online RL（通过在线强化学习训练流匹配模型）论文地址：https://arxiv.org/pdf/2505.05470Github地址：https://github.com/yifan123/flow_grpoWe present a detailed proof here. To compute pθ(xt−1∣xt,c)p_\theta(\mathbf{x}_{t-

仅供参考，未经实验验证。论文标题： Flow-GRPO: Training Flow Matching Models via Online RL（通过在线强化学习训练流匹配模型）作者： Jie Liu, Gongye Liu, Jiajun Liang, Yangguang Li, Jiaheng Liu, Xintao Wang, Pengfei Wan, Di Zhang, Wanli Ouyang机构： 香港中文大学、清华大学、快手科技（Kuaishou Technology）、南京大学、上海人工

仅供参考，未经实验验证。论文标题： Flow-GRPO: Training Flow Matching Models via Online RL（通过在线强化学习训练流匹配模型）作者： Jie Liu, Gongye Liu, Jiajun Liang, Yangguang Li, Jiaheng Liu, Xintao Wang, Pengfei Wan, Di Zhang, Wanli Ouyang机构： 香港中文大学、清华大学、快手科技（Kuaishou Technology）、南京大学、上海人工

我们提出了Flow-GRPO，这是第一个将在线策略梯度强化学习（RL）集成到流匹配模型中的方法。我们的方法使用了两个关键策略：（1）ODE到SDE的转换，将确定性常微分方程（ODE）转换为等效的随机微分方程（SDE），该方程在所有时间步长上与原始模型的边际分布相匹配，从而实现用于RL探索的统计抽样；以及（2）降噪减少策略，该策略减少了训练降噪步骤，同时保留了原始的推理步骤数量，从而在不牺牲性能的情况下显著提高了采样效率。从经验上看，Flow-GRPO在多个文本到图像的任务中是有效的。

仅供参考，未经实验验证。论文标题：OneReward: Unified Mask-Guided Image Generation via Multi-Task Human Preference Learning作者：Yuan Gong, Xionghui Wang, Jie Wu, Shiyin Wang, Yitong Wang, Xinglong Wu机构：字节跳动论文地址： https://arxiv.org/pdf/2508.21066Github地址：https://github.com/

INSID3是 CVPR 2026 Oral 论文，实现输入：一张参考图 + 参考图的分割 mask + 一张目标图输出：目标图中对应物体的分割 mask原理：利用冻结的 DINOv3 backbone 提取特征，通过位置去偏 + 双向匹配 + 聚类实现分割优势：无需训练、无需分割 decoder、单个 backbone 搞定我们的场景：给一张车灯标注图，自动分割其他图片中的车灯。论文：https://arxiv.org/abs/2603.28480。

仅供参考，未经实验验证。这张图描述了一个万能裁判机制：用多模态大模型（VLM）做"二选一"的对比判断，把"选第一张更好"的概率作为奖励信号，去教扩散模型怎么生成更好的图。通过换一换问题里的"任务名"和"评估维度"，同一个裁判就能同时负责多种任务、多个评分标准。问题2：不需要人类选择吗？意思是不需要人类去选择哪张好了吗？不是完全不需要人类，而是分两个阶段统一性：一个 VLM backbone 搞定所有任务和维度，不用为每个场景单独训练模型。动态性：通过文本查询qqq。

仅供参考，未经实验验证。rrrπθ\pi_\thetaπθ​DDkk1KDDk​k1K​KKKsubsets.如图 3 所示，我们引入了一个用于多任务学习的统一框架，该框架利用通过人类偏好数据训练的奖励模型rrr来对跨一系列下游任务的策略模型πθ\pi_\thetaπθ​进行微调。我们假设完整数据集DDkk1KDDk​k1K​可以划分为KKK个子集。

仅供参考，未经实验验证。论文标题：OneReward: Unified Mask-Guided Image Generation via Multi-Task Human Preference Learning作者：Yuan Gong, Xionghui Wang, Jie Wu, Shiyin Wang, Yitong Wang, Xinglong Wu机构：字节跳动论文地址： https://arxiv.org/pdf/2508.21066Github地址：https://github.com/

仅供参考，未经实验验证。通俗解释本文提出了一种统一的强化学习框架OneReward，该框架仅使用一个奖励模型即可增强模型在不同评估标准下的多任务生成能力。通过采用单一的视觉-语言模型（VLM）作为生成奖励模型，该模型能够区分给定任务和给定评估标准下的胜者和败者，因此可以有效地应用于多任务生成模型，尤其是在数据多样化和任务目标各异的场景中。我们利用OneReward进行掩码引导的图像生成，该任务可进一步细分为图像填充、图像扩展、对象移除和文本渲染等子任务，均涉及二值掩码作为编辑区域。

仅供参考，未经实验验证。ChordEdit 通过最优传输理论将"简单漂移差分"替换为"低能量弦控制场"，解决了单步生成模型在文本引导图像编辑中的不稳定问题，首次在无需训练、无需反演的情况下实现了真正的一步式实时高保真图像编辑。通俗解释这篇论文讲的是一个让AI"一步改图"既快又稳的方法。我用几个比喻给你讲清楚。特性说明一步搞定不需要像传统扩散模型那样反复迭代50步不改的地方不动背景保留极好，不会莫名其妙碎掉不用训练直接套用在现有的一步模型上，即插即用不用反演。

ComfyUI 的工作流本质上是一个有向无环图（DAG）。每个节点代表一个操作（加载模型、编码文本、采样、解码、保存等），节点之间的连线代表数据流动。工作流 JSON 就是这个图的序列化表示。

小模型 + 好算法 + 反馈闭环 + RL 进化，在 16GB 上跑通特定领域的效果，打过大模型。：OneReward (FLUX Fill) 是目前最佳路线，但 16GB 显存受限。：车灯局部重绘系统，以车灯为测试对象，研究通用局部重绘（Inpainting）。用户在 BrushNet 效果差之后，没有继续优化它，而是。用户通过 liblib 搜索"局部重绘"工作流，看到。，然后基于以上框架找到了 OneReward。车灯局部重绘的效果不理想。，不是工具使用技巧。

目标完成度说明图片→竖屏视频✅1160×2112，自动缩放填充字幕叠加✅半透黑底白字，底部居中AI 配音✅GPT-SoVITS 声音克隆声音克隆✅从原视频 15s 录音克隆背景音乐✅Demucs 分离画面按配音切换✅每张图显示时长=配音时长GPU 加速✅NVENC 硬件编码手机服务端✅清晰无杂音⚠️偶尔有极短的"诶"声零样本完美效果❌GPT-SoVITS 零样本对短句会有填充音。

仅供参考，未经实验验证。ELF选择了一条更"极简"的路径：像图像扩散一样，全程在原始连续空间里"流动"，最后一步统一解码；Cola DLM则选择了一条更"结构化"的路径：先压缩出语义指纹，再在语义层做扩散，最后翻译成文字，且明确冻结编码器以防止语义坍塌。两者一简一繁，一学术验证一工业实践，共同构成了 2026 年"连续扩散语言模型"浪潮中最重要的两篇标志性工作。如果说 ELF 是直接雕塑，Cola DLM 更像工业设计流程第一步：工程师提炼出"设计草图"（语义压缩）

仅供参考。位置改什么全局新增用替代，记录从取结果，不再重新 open + cropcollate_fn根据对掩码同步，保存调试图get_mask只加载原始掩码，不做 resize改完后运行，去：车图是否完整、比例正常、黑色填充在边缘*_mask.png：掩码是否和车灯位置对齐：掩码区域是否被正确涂黑，非掩码区域是否保留原图如果调试图没问题，就可以把那几行注释掉，避免每次训练都写磁盘。

flux的controlnet训练：https://github.com/huggingface/diffusers/blob/main/examples/controlnet/train_controlnet_flux.pyflux的controlnet_lora训练：https://github.com/huggingface/diffusers/blob/main/examples/flux-control/train_control_lora_flux.pyflux的controlnet训练有上

局部重绘有三种方式：1.基于FLUX.1-dev：传统的局部重绘，在每一时间步的去噪操作之后将掩码的上下文信息贴回去，掩码的作用并不是在模型中以直接的方式控制目标区域的去噪范围。2.FLUX-Controlnet-Inpainting：借助外挂的Controlnet来实现局部重绘3.FLUX.1-Fill-dev：重新训练了一个端到端的局部重绘模型。

参考资料：Controlnet原论文论文地址：https://arxiv.org/pdf/2302.05543ControlNet的作者团队由斯坦福大学的博士生张吕敏（Lvmin Zhang）领衔，另两位合作者分别是现香港科技大学的助理教授饶安逸（Anyi Rao）和斯坦福大学的Maneesh Agrawala教授。👤 核心作者：张吕敏（Lvmin Zhang）个人代号：昵称是 “lllyasviel” ，因其卓越贡献被网友尊称为AI界的 “赛博佛祖”。

在之前我主要是在看这篇论文：论文地址：https://arxiv.org/pdf/2507.09595看完这篇论文我现在已经有一些理解了Flux.1的架构，主要是理解了文生图是怎么实现的，但是我还有一些问题，这篇就是回答这些问题，但是回答涉及的一些维度变化，以及具体的原理还需要再看一些论文和代码才能有更清楚地理解，现在只是了解一下。你的问题答案为什么有 FLUX.1 + Inpainting ControlNet？社区尝试用组件式方案扩展 Flux，冻结主模型 + 训练旁路网络。

仅供参考，未经实验验证。参考资料：论文地址：https://arxiv.org/pdf/2507.09595潜在空间操作 (Latent Space Operation)：通过在压缩的潜在空间中进行大部分计算，显著提高了图像生成的速度和效率，同时保持了视觉质量。Transformer 作为核心骨干 (Transformer Backbone)：放弃了传统的 U-Net 结构，转而采用全 Transformer 架构进行去噪过程，这提升了模型的扩展性和上下文建模能力，尤其在处理长距离依赖方面表现更优。

仅供参考，未经实验验证。参考资料：论文地址：https://arxiv.org/pdf/2507.09595latent 流: 独立的 AdaLN → 独立的 attn* → 独立的 norm → 独立的 FF → 输出text 流: 独立的 AdaLN → 独立的 attn* → 独立的 norm → 独立的 FF → 输出唯一的交叉点：attn* 内部（Q/K/V 拼接后做注意力）注意图 (b)：latent 和 text 的 K、Q、V 被cat（拼接）在一起，然后做注意力操作。

仅供参考，未经实验验证。参考资料：论文地址：https://arxiv.org/pdf/2507.09595从输入到输出，AdaLN 层在主要数据流（即->LN-> 调制 ->）上不改变张量的维度。其维度始终保持为。关键的维度变化和计算发生在：线性层Linear它将输入的条件向量 (temb，维度) 转换为一系列调制参数 (scalemsashiftmsa等)。这些参数虽然维度看起来是，但在内部计算时，Linear层会从3072维度扩展到所有所需参数的总维度。生成的调制参数（例如shiftmsa。

仅供参考，未经实验验证。参考资料：论文地址：https://arxiv.org/pdf/2507.09595。

仅供参考，未经实验验证。参考资料：论文地址：https://arxiv.org/pdf/2507.09595公式 (4) 是 FLUX.1 迭代精炼阶段的核心，它通过可训练的 Transformer 网络vθv_{\theta}vθ​预测速度向量，并利用 Flow-Matching Euler Discrete 采样器Samp⋅Samp⋅逐步更新潜在图像表示ztz_tzt​，从而将初始噪声转化为符合文本描述的清晰图像。

仅供参考，未经实验验证。参考资料：论文地址：https://arxiv.org/pdf/2507.09595T5 逐 token 嵌入：提供精细的语义指导。它使得 FLUX.1 能够理解复杂、多元素的提示，准确生成图像中的特定对象、属性和它们之间的关系。例如，在“一辆在雪天行驶的红色跑车”这样的提示中，T5嵌入能帮助模型区分“红色”和“跑车”并准确结合。CLIP 整体嵌入：提供全局的视觉概念对齐。它确保生成的图像在整体上与文本提示的高级语义和风格保持一致，避免生成与提示主题完全偏离的图像。

仅供参考，未经实验验证。参考资料：论文地址：https://arxiv.org/pdf/2507.09595该公式是 Transformer 架构中自注意力机制的核心，通过计算查询与键的点积相似度，并经过缩放和softmaxsoftmax归一化后，得到注意力权重，再将这些权重与值向量加权求和，从而为输入序列中的每个元素生成一个融合了上下文信息的新的表示。这一机制使得模型能够捕捉序列内部的长距离依赖关系，是Transformer 模型在多种模态任务中取得成功的关键。

仅供参考，未经实验验证。参考资料：论文地址：https://arxiv.org/pdf/2507.09595LϵExtϵt∣∣ϵθxtt−ϵ∣∣2Lϵ​Ext​ϵt​∣∣ϵθ​xt​t−ϵ∣∣2是扩散模型训练的核心目标，旨在通过最小化模型预测噪声与真实噪声之间的L2距离，使模型ϵθϵθ​能够精确地从加噪图像xtx_txt​中识别并移除在时间步ttt处添加的噪声ϵ\epsilonϵ。

仅供参考，未经实验验证。总而言之，这个“生成式积木世界”最核心的创举，就是为图像创造了一个精确、可编辑的3D“积木骨架”和“纹理皮肤”，让图像编辑从平面PS，进化成了3D搭建，结果自然且符合物理直觉。它就像一个魔法师，看任何照片都能看穿其“积木本质”，然后让你可以亲手去移动那些积木，再瞬间把积木模型变回一张无懈可击的真实照片。Palette这篇论文最大的贡献，就是证明了条件扩散模型可以作为一个简单、强大且统一的“超级调色板”，优雅地解决过去需要多个专用模型才能完成的复杂图像到图像翻译任务。

LoRA 当前更像是一个「高效的外挂接口」而非「智能的压缩系统」。表格你的观察本质未来可能性与蒸馏的压缩联系参数空间压缩 vs 知识压缩融合：蒸馏出「LoRA 生成器」动态权重模块化切换，非真正动态动态路由 + 实时 LoRA 生成不学压缩提取只拟合偏移，无信息瓶颈语义化 LoRA + 解耦表示手动数据收集缺乏元学习，需要统计覆盖合成数据 + 少样本适应LoRA 最大的价值不在于它本身有多「智能」，而在于它证明了大规模预训练模型的「可编辑性」。

想象一下，你在一杯清水里滴入一滴蓝色墨水。蓝色会从浓聚的一团，逐渐扩散开来，最终让整杯水都变成均匀的淡蓝色。现在，给你一个更大的挑战：你能精准地控制和逆转这个过程，让均匀分布的蓝色粒子重新聚拢，变回最初那滴浓墨重彩的蓝吗？这听起来像魔法，但这恰恰是DDPM（Denoising Diffusion Probabilistic Models，去噪扩散概率模型）做生成任务的核心思想。

仅供参考，未经实验验证。

仅供参考。注意：此前局部重绘训练基于sdxl，显存48G可应对，此次FLUX-Fill的局部重绘训练参考项目Sebastian-Zok/FLUX-Fill-LoRa-Training，作者只在NVIDIA A100 GPU (80GB VRAM)上做过测试，代码未经优化。我尝试了一下两张A40(每张48GB VRAM)也可以，其余情况并不清楚。切勿在硬盘资源或者显存资源不足的情况下直接运行项目源代码，可能会导致服务器崩溃。可以去diffusers官方仓库中搜索"train_"，就可以看到有很多训练的代码。

仅供参考。这篇主要是阐述一下我们的最终目标以及对上一篇训练代码的理解（上一篇训练代码可能不是完全正确的，但它是一次尝试），接下来的文章中我们会考虑为了达成最终的目标，应该走怎样的方向。UNet预测那里我还是没理解，如果我要做局部重绘的训练的话，难道不是应该对目标区域进行加噪然后用UNet预测被加噪的区域是什么吗？为什么UNet输入的是 带噪图像 + 掩码 + 被掩码的图像这是一个非常好的问题！让我详细解释SDXL Inpainting的UNet输入设计原理，以及为什么不是直接对目标区域加噪。

仅供参考。尝试搞了个局部重绘训练，但是训练代码可能有点问题，最后训练出来的模型好像有问题，于是就只把训练出来的UNet替换了，然后就能推理了。后续要研究一下代码，看看是什么情况。我们不管成功还是失败，反正只要跑通代码，我们就是跑通了再说，再看看问题是什么。在下一篇中我们尝试重新明确目标、修正方向、并考虑是否需要修复训练代码。

仅供参考，未经实验验证。标题作者: Yin Xinxiang 等（香港科技大学等）arXiv代码速度: 推理时间减少44%（不用频繁"说话"描述）省资源: Token消耗减少51%更准: 抽象概念理解提升11-15%（人类直觉式思考更适合视觉任务）Condenser的输入是"画到一半的草稿"，不是"空白想象"— 画家必须先画再看，看了再调，不是凭空变出画面印象。轮廓和内部的协调靠"短期记忆记住边界位置 + Shaper调整注意力限定生成区域"，不是先画完轮廓就忘了，而是全程记得"刚才画到哪了"。

仅供参考，未经实验验证。Latent Forcing = 像素扩散模型 + 潜在表示作为"草稿纸" + 强制先画草稿再画细节这样既保留了像素模型的无损精度，又获得了潜在模型的高效语义规划能力，实现了两全其美。训练时：DINOv2 从真实图像中提取语义草图（教模型什么是好的结构）推理时：DiT自己生成语义草图（模型自己构思要画什么）就像学画画：先临摹时老师给结构图，学会后自己创作时自己打草稿。