a486259的博客

发表时间： 2026年7月14日Boogu-Image-0.1开源统一多模态理解与生成模型家族，包含Base、Turbo、Edit、Edit-Turbo四大变体，在高质量文生图、极速推理、指令驱动图像编辑、中英双语文字渲染四大任务上均具备极具竞争力的表现。。。多维度综合评测表明：Boogu-Image-0.1在主流基准测试中持续持平或超越其他开源模型，效果逼近顶尖闭源方案。

开源时间：2026.02.10FireRed-Image-Edit，小红书团队发布的一款基于qwen-image的图像编辑模型。该模型通过对数据构建、训练流程、评测体系进行系统化优化，取得业界顶尖性能。模型训练构建了16 亿样本的训练数据集，相比于原始模型的10亿数据，训练量有扩展了一倍），数据来源广泛。经过严格清洗、分层分类、自动标注与双阶段过滤，，文生图与编辑样本数量均衡，保障模型具备完备语义覆盖度与指令对齐能力。

数据层：搭建完整闭环数据管线，涵盖海量数据收集、过滤、人工标注、数据合成、样本均衡调配全流程；训练策略：采用渐进式课程学习训练训练递进顺序：无文本图像渲染 → 简单文字渲染 → 复杂文字渲染 → 段落级图文生成；价值：原生文字生成能力大幅提升；语言适配效果：英文字母类语言表现优异，对中文这类表意复杂文字渲染效果突破明显。

发布时间：2025 年 3 月 24 日经综合分析，CO-SPY对于最新一代的图片生成模型需要少量数据进行适配性微调，但泛化能力远超过其他方法，提出了自己的评测数据集。

近期研究（如GDT）尝试通过拼接注意力令牌将扩散Transformer（DiT）用于多图像生成，但面临计算资源消耗大且生成保真度低的问题。现有的文本到图像DiT模型天生具备上下文生成能力。基于此，作者提出了一套极简流程——上下文LoRA（IC-LoRA）。直接拼接图像而非令牌；对多幅图像进行联合描述；使用小数据集（如20~100个样本）进行任务专属LoRA微调，而非用大数据集做全参数微调。实验证明，该方法能以极低的算力成本生成高保真、强一致性的图像组，为通用图像生成系统提供了高效解决方案。

扩散Transformer（DiT）模型在视频生成任务中，因序列长、注意力机制二次计算复杂度，存在注意力延迟瓶颈。研究发现注意力权重可解耦为高秩大权重和低秩小权重矩阵，据此提出稀疏-线性注意力机制（SLA）。SLA将注意力权重分为核心、边缘、可忽略三类，分别采用标准注意力（$O(N^2)$）、线性注意力（$O(N)$）计算及跳过计算，整合于单个GPU核函数，支持前向与反向传播，仅需少量微调。实验表明，SLA可减少95%注意力计算量（等效降低20倍），不损失生成质量且性能优于基线；在Wan2.1-1.3

TurboDiffusion是一款视频生成加速框架，在单张RTX 5090 GPU上，对Wan2.2-I2V-A14B-720P、Wan2.1-T2V-1.3B-480P等多款视频扩散模型实现100-200倍的生成速度提升，同时保证视频质量与原模型相当。低比特SageAttention可训练稀疏线性注意力（SLA）的注意力加速方案基于rCM的高效步数蒸馏将模型参数和激活量化为8位的W8A8量化（加速线性层并压缩模型）。

当前最先进的（SOTA）音频驱动角色动画方法在简单的语音和歌唱的场景中表现出色。然而，。为了解决这一问题，Wan-S2V被提出。与现有方法相比，Wan-S2V在电影场景中实现了显著增强的表现力和保真度。与Hunyuan-Avatar和Omnihuman等前沿模型进行了基准测试，Wan-S2V显著优于这些现有解决方案。此外，Wan-S2V还支持在长视频生成和精确视频唇同步编辑中的应用。

​本博文一共介绍了wan2.1模型在图生视频（含首尾帧、视频续写）、视频编辑（VACE架构）、文生图、个性化视频（参考id生成视频，类vace架构）、摄像机运动控制、实时视频生成（世界模型）、音频生成领域的应用。关于图生视频领域，主要基于时序条件图像编码、mask控制。具体是将条件图像 I与沿时间轴填充零的帧连接起来，这些引导帧通过 Wan- VAE 压缩为条件潜在 zc，最终chanel为c；引入了一个二进制掩码 M ，其中 1 表示保留的帧，0 表示要生成的帧。最终实现基于mask 0，1标识位控

关于训练不管是VAE还是DIT都是进行了渐进式的训练，从图像到视频、从低分辨率到高分辨率；关于DIT还经过了高质量数据到后训练，这一阶段类似与LLM基模训练后的指令微调，主要是提升生成视频的视觉保真度和运动动态表现。在视频生成任务中，只有DiT模型会进行优化，而文本编码器和VAE编码器则保持冻结状态。关于性能优化训练过程中用到了全分片数据并行（FSDP）。对于激活值，通过上下文并行（CP）实现。设计了一种二维CP架构，融合了Ulysses和环形注意力的特性，类似于USP（方与赵，2024）。该设计

基于本博文可以发现wan2.1在训练数据上分为预训练数据、后训练数据、caption模型训练数据。预训练数据。预训练数据 秉持三大核心原则：确保数据质量、保持多样性、大规模。先进行了基本维度的低质量（文本、美学、NSFW、水印、黑边、过曝、模糊、模糊、AI数据滤除）过滤。然后对数据进行聚类，进行类别的平衡。最后进行运动质量的分类，筛选出自然、完整且具有显著动态的视频，同时避免静态或抖动的运动。同时为了保证模型对于文字的生成能力，额外引入了文本数据集。后训练数据 核心目标是通过高质量数据提升生成视频

根据实际应用需求，我们通常采用1帧或5帧作为时间引导，分别对应1或5帧内容。完成各段落的去噪处理后，我们会删除对应参考latent和时间引导latent的部分，最终将剩余生成内容拼接成完整的长视频。

1、Res-Tuning和Res-Tuning-Bypass在五组FGVC数据集上的少样本学习中【4.4节】，相较于其他参数高效和内存高效的调参策略均展现出显著优势。当训练样本较少时，Res-Tuning-Bypass在单样本或双样本场景下的表现与非内存高效方法相当甚至更优。2、Res-Tuning在领域偏移下展现出优异的鲁棒性【4.4节】。源域选用ImageNet-1K[11]，目标域则涵盖ImageNet的四个变体：ImageNet-V2[62]、ImageNet-Sketch[73]、ImageNe

发表时间：2024年5月24日分布匹配蒸馏（DMD）生成的一步生成器能够与教师模型在分布上保持一致，即。然而，。这些。这不仅在大规模文本到图像合成中计算成本高昂，还限制了学生模型的质量，使其与教师模型的原始采样路径过于紧密绑定。DMD2：在ImageNet-64×64数据集上FID分数达到1.28，在零样本COCO 2014数据集上FID分数为8.35。推理成本降低了500%×，超越了原始教师模型。

项目地址：https://github.com/hao-ai-lab/FastVideo模型地址：https://huggingface.co/FastVideo/FastWan2.1-T2V-1.3B-Diffusers/tree/main发表时间：2025.8.4 （v4版本）DiTs的扩展能力受限于其二次3D注意力机制，尽管大部分注意力权重集中在少量位置子集上。我们将这一发现转化为VSA，一种可训练且硬件高效的稀疏注意力机制，在训练和推理阶段均可替代全注意力机制。

论文地址：https://arxiv.org/pdf/2503.07598开源时间：2025年3月11日代码地址：https://github.com/ali-vilab/VACE项目地址：https://ali-vilab.github.io/VACE-Page/DIT在生成高质量图像和视频方面展示了强大的能力和可扩展性。进一步追求生成和编辑任务的统一，在图像内容创建领域取得了显著进展。然而，由于在时间和空间动态上保持一致性的内在需求，实现视频合成的统一方法仍然具有挑战性。

本文（Dual-Expert Consistency Model, DCM）：其中。DCM 在的同时，仍能，验证了双专家机制在视频扩散模型蒸馏中的有效性。

DMD的目的是训练一个单步生成器Gθ，但不包含时间条件，将随机噪声z映射为一张逼真的图像。其通过最小化两个损失的和来训练快速生成器：一个是分布匹配损失，其梯度更新可以表示为两个得分函数的差值；另一个是回归损失，它鼓励生成器在固定的噪声-图像对数据集上匹配基础模型输出的大尺度结构。

论文地址：https://arxiv.org/pdf/2506.08009发表时间：2025年6月9日我们提出了一种用于自回归视频扩散模型的新型训练范式——自强制（Self Forcing）。该方法解决了长期存在的“暴露偏差”问题：在进行学习，但在。与以往那些基于真实上下文帧对未来帧进行去噪的方法不同，自强制通过。这一策略使得我们能够通过视频层面的整体损失进行监督，从而直接评估整个生成序列的质量，而不仅仅依赖传统的逐帧目标函数。