AIGC Studio：分享AIGC前沿知识和好玩应用，公众号同名。

魔芯科技联合浙江大学潘云鹤院士团队推出全球首款全栈国产NPU实时交互世界模型MoWorld，突破传统GPU方案在性能和成本上的局限。该14B MoE模型通过创新数据管线、跨帧预训练和NPU专属架构，实现50FPS高速推理，成本仅为GPU方案的30%-50%，支持长时序稳定视频生成与自由相机控制。在室内重建、云游戏、影视预演等场景表现优异，为国产算力生态落地4D世界模型开辟新路径。

FaceCam是一种创新的相机控制系统，能够基于单个输入视频和目标相机轨迹生成可控的人像视频。该方法通过尺度感知相机条件化技术，利用面部特征点表示相机姿态，有效解决了传统方法中的尺度模糊问题。系统采用多视角视频和自然场景数据进行训练，引入合成相机运动和多镜头拼接策略，在推理时能泛化到连续相机轨迹而无需3D监督。实验表明，FaceCam在相机控制精度、视频质量、身份和运动保持等方面均表现优异，为人像视频生成提供了新的解决方案。相关代码和论文已在GitHub和arXiv平台开源。

京东推出首个统一多模态图像模型JoyAI-Image，突破传统碎片化编辑痛点。该模型采用8BMLLM+16BMMDiT架构，实现理解-生成-编辑闭环协同，在空间推理、长文本渲染等方面达到顶尖水平。核心创新包括：支持物体移动/旋转/视角控制三类空间操作；通过多阶段训练解决文本失真问题；采用指令分解提升编辑精度。测试显示其空间理解准确率超越同类产品，文本生成质量提升32%，多视图误差降低41%。模型已全面开源，可应用于电商设计、机器人感知等领域。

快手可灵团队提出ShotStream框架，突破AI视频生成"单镜头"限制，实现多镜头长视频自动生成。该技术采用因果多镜头架构，通过双向教师模型蒸馏和双缓存机制，解决镜头间一致性与误差累积问题，在单GPU上达到16FPS实时生成。实验显示ShotStream在视觉一致性、提示跟随等方面优于基线模型，为交互式叙事开辟新可能。这项技术将视频AI从简单工具升级为创作伙伴，标志着AI视频生成正式迈向电影制作门槛。

字节跳动推出USO模型，统一风格与主题优化生成框架。该模型支持任意场景下的风格-主题组合，保持高度一致性与自然效果。通过两阶段训练（风格对齐与解耦）及奖励学习提升性能，USO在主题/风格驱动任务中达到新SOTA。项目已开源代码、模型及三元组数据集，并建立USO-Bench评估基准。实验证明其兼具主题一致性、风格保真和文本可控优势。

UIUC团队提出Dress&Dance框架，这是一个创新的视频生成系统，支持多模态输入（文本/图像/视频）来控制虚拟试穿效果。该框架通过统一的CondNet调节网络处理不同输入模态，能生成1152×720高分辨率、24FPS的5秒试穿视频，精准保持服装细节和运动连贯性。实验表明其效果优于现有开源方案，在服装保真度和运动自然度方面媲美商业模型，并支持上下装同时试穿等复杂功能。该技术突破了传统视频试穿的局限，为虚拟时尚领域提供了高质量解决方案。

【AI图像编辑新突破】智象未来团队提出视觉自回归框架VAREdit，解决扩散模型在图像编辑中的两大痛点：通过自回归建模实现精准指令跟随（编辑准确率提升30%+），并优化推理速度（512x512图像编辑仅需1.2秒）。核心创新点包括：1）将编辑任务转化为多尺度特征预测问题；2）设计尺度对齐参考模块解决特征匹配难题。实验显示其性能超越主流扩散模型，在保持高质量的同时实现2.2倍加速。该研究为高效精准的图像编辑提供了新范式。

复旦大学与华为诺亚方舟实验室联合推出首个统一3D理解和生成框架UniUGG，支持空间级视觉问答和3D场景生成。该框架通过几何语义编码策略预训练视觉编码器，结合潜在扩散模型实现高质量3D表征生成，在参考图像基础上可创造3D变体并精准描述。实验表明，UniUGG在空间理解和生成任务上均超越基准水平，特别在捕捉细粒度空间关系和生成几何一致场景方面表现优异。未来研究将扩展其3D编辑功能，突破点云生成限制。论文及项目已公开。

WorldWeaver提出统一框架联合建模RGB与感知条件，解决长视频生成的时间一致性问题。该方法通过深度线索构建记忆库增强上下文保留，采用分段噪声调度降低漂移和计算成本。实验证明其能有效提升生成视频的稳定性和保真度，在机器人操作等多种场景展现优异性能。核心创新在于系统利用深度/光流等感知信号辅助建模，实现更稳健的长序列预测。

腾讯混元联合高校团队推出首个端到端TV2A生成框架HunyuanVideo-Foley，通过10万小时级数据流水线、双流时间融合架构和自监督表征对齐三大创新，实现高保真音视频同步生成。该模型在音频质量、视觉语义匹配等指标上表现优异，已开放代码和试用平台，为影视、VR等领域提供"声画共生"新方案。

【摘要】DETR（Detection Transformer）作为目标检测领域的突破性模型，正引领研究新方向。本文精选15篇前沿论文，涵盖实时检测、训练优化、多模态融合等关键方向。核心创新包括：RT-DETR实现实时端到端检测（108FPS/53.1%AP）；LP-DETR通过关系建模提升精度（58.0%AP）；DEIM加速50%训练时间；RT-DETRv2优化多尺度特征处理。这些成果已应用于自动驾驶、智能安防等领域，推动Transformer在视觉任务中的统一应用。研究不仅提升检测性能，更解决了收敛速度、

清华大学与IDEA研究院联合提出GUAVA框架，通过单张图片快速重建可动画3D人体化身。该框架结合EHM模型增强面部表现，采用逆纹理映射技术精准预测纹理，并实现0.1秒快速重建与实时渲染，在身份一致性、手势还原等指标上优于现有2D/3D方法。实验显示其处理极端姿势时更具鲁棒性，相关代码已开源。

2025年目标检测领域十大前沿模型研究概览：深度学习推动目标检测技术突破，重点介绍YOLOv13/YOLOv12等创新模型。YOLOv13通过超图增强机制实现高效特征融合；YOLOv12融合注意力机制保持实时性；Transformer架构的Mr.DETR采用多路线训练；CenterNet++通过关键点三元组检测提升精度；CFPT专为航空影像小目标检测设计；FCOS创新无锚点检测方法。这些模型在MSCOCO等基准测试中表现优异，显著提升检测精度和效率。研究涵盖特征融合、注意力机制、无锚检测等关键技术方向，为计

腾讯开源HunyuanWorld1.0框架突破3D世界生成技术瓶颈，融合视频与几何方法优势，实现从文本/图像生成沉浸式交互3D场景。该框架具备360°全景沉浸、网格导出兼容、解耦物体交互三大特性，通过语义分层3D网格表征技术，支持"文生世界"和"图生世界"两种模式。实验证明其生成质量与一致性优于现有方法，适用于VR、游戏开发等领域，已开源代码和模型权重。

摘要：浙江大学与斯坦福大学联合提出DiffLocks框架，通过扩散模型从单张RGB图像生成高精度的3D发束结构。该研究构建了包含4万种发型的合成数据集，采用基于图像的扩散Transformer模型，直接预测头皮纹理图并解码为三维发束，无需后处理。相比现有方法，DiffLocks首次实现了对复杂卷发（如非洲式发型）的精细重建，并通过预训练图像主干实现自然图像的泛化能力。实验表明该方法在质量和多样性上均超越现有技术，相关数据和代码已开源。

由香港科技大学、快手科技提出的UNIC（统一上下文视频编辑）是一个简单而有效的框架，它以上下文的方式统一单个模型中的各种视频编辑任务。从此，视频编辑用着一个工具就够了！

Ctrl-Crash是一个可控的视频扩散框架，它能够从单帧生成逼真的车祸场景，在基于扩散的方法中达到了最佳性能，并通过改变空间和语义控制输入实现反事实推理。为了支持训练和评估，还开发了从车祸视频中提取边界框的处理流程，并发布了 MM-AU、RussiaCrash 和 BDD100k 的精选注释版本，以促进未来车祸模拟和生成式建模的研究。

腾讯混元团队提出的 HunyuanVideo-Avatar 是一个基于多模态扩散变换器（MM-DiT）的模型，能够生成动态、情绪可控和多角色对话视频。支持仅 10GB VRAM 的单 GPU运行，支持多种下游任务和应用。例如生成会说话的虚拟形象视频，可用于电商、在线直播、社交媒体视频制作等。此外，其多角色动画功能则拓展了视频内容创作、编辑等应用场景。

《Paper2Poster：科学论文海报自动化生成方法研究》 摘要： 研究团队提出了一种面向科学论文的多模态海报自动化生成方法Paper2Poster。该方法采用PosterAgent管道，通过解析器提炼论文内容、规划器设计布局、画家-评论者循环优化细节，解决了长文本处理和多模态整合的挑战。实验表明，相比GPT-4o等现有方案，PosterAgent生成的海报在视觉质量、信息传达和成本效率（减少87% token消耗）上表现更优。研究还提出了包括PaperQuiz在内的评估体系，通过VLM模拟不同读者评估海

单目人头重建最新SOTA方法！清华与IDEA发布HRAvatar：高质量可重光照头像化身。

字节发布Seed1.5-VL视觉-语言多模态大模型，20B参数狂揽 60 项公开评测基准中38项SOTA！

字节跳动推出的DreamO是一个创新的统一图像定制框架，它基于预训练的DiT模型，通过训练少量附加参数来实现多种复杂的图像定制任务，如人物生成、ID保持、虚拟试穿和风格迁移等。DreamO通过特征路由约束和渐进式训练策略，增强了图像的一致性和保真度，并有效解决了多条件场景下的解耦问题。该框架还引入了占位符策略，以建立文本描述与条件图像之间的对应关系。实验结果显示，DreamO在多种图像定制任务中均表现出高质量和灵活性，现已支持在消费级GPU上进行试用。DreamO的设计不仅提升了图像定制的效率和质量，还降低

BLIP3-o是一个创新的多模态模型，它结合了自回归模型的推理能力和扩散模型的生成能力，通过扩散语义丰富的CLIP图像特征，实现了高效的图像理解和生成。该模型完全开源，包括训练数据、模型权重和代码，支持多种任务如文本到图像生成、图像到文本理解等。BLIP3-o在多个基准测试中表现出色，其设计采用了CLIP特征扩散和顺序预训练策略，有效提升了模型的训练效率和生成质量。此外，作者还发布了一个高质量的指令调整数据集BLIP3o-60k，进一步增强了模型的性能。BLIP3-o的推出为多模态模型的研究和应用提供了新的

SECERNAI提出的SVAD方法通过视频扩散生成合成训练数据，结合身份保留和图像恢复模块，优化数据以训练3D高斯分布（3DGS）虚拟形象。该方法在保持身份一致性和精细细节方面优于现有的单张图像方法，并具备实时渲染能力。SVAD克服了传统3DGS方法对密集训练数据的依赖，通过单幅图像输入生成高质量、可动画化的3D虚拟形象。实验表明，SVAD在多个指标上优于基线模型，但面临背景分割不准确、复杂服装纹理处理困难及高计算需求等挑战。未来工作将优化对不同服装类型的处理和计算性能。

FLOAT是一种创新的音频驱动说话肖像视频生成方法，它通过流匹配技术提高了唇形同步质量和生成速度。该方法能够处理分布外数据，生成逼真的说话肖像视频，并支持情绪转移，即使在语音传达模糊或混合情绪时也能细化情绪。FLOAT基于运动潜在自编码器构建，通过流匹配生成音频调节的说话肖像运动潜在表征，并加入语音驱动的情绪标签以增强自然度。与最先进的非扩散和基于扩散的方法相比，FLOAT在视觉质量、运动保真度和效率方面表现出色。该方法的提出解决了基于扩散的说话肖像视频生成方法在时间一致性视频生成和快速采样方面的挑战。

视频试穿将视频中的服装替换为目标服装。现有方法在处理复杂的服装图案和多样的身体姿势时难以生成高质量且时间一致的结果。论文提出了3DV-TON，这是一个基于扩散的新型框架，用于生成高保真度和时间一致的视频试穿结果。提出的方法采用生成的可动画的纹理 3D 网格作为明确的帧级指导，从而缓解模型在运动连贯性扩展时过分关注外观保真度的问题。这是通过在整个视频序列中直接参考一致的服装纹理运动来实现的。所提出的方法具有用于生成动态 3D 指导的自适应流程：选择初始 2D 图像试穿的关键帧，

🐫 CAMEL 是一个致力于寻找代理扩展规律的开源社区。我们相信，大规模研究这些代理可以深入了解它们的行为、能力和潜在风险。为了促进该领域的研究，我们实现并支持各种类型的代理、任务、提示、模型和模拟环境。

Manus 令人难以置信，但 OpenManus 可以在没有邀请码的情况下实现任何想法！OpenManus团队来自MetaGPT，团队成员只用了1个小时就完成了核心系统，整体也只用了3个小时。每个人都可以使用OpenManus享受自己的代理！目前已经8k+star了！核心作者梁新兵介绍，OpenManus的火速上线，来源于MetaGPT积累下的技术沉淀。昨天晚上作者也在Datewhale上进行了一次分享，分享了自己在OpenManus上的工作。以下是作者分享的一些截图，有没有昨晚一起看直播的小伙伴~

I2V-14B 模型的表现超越了领先的闭源模型以及所有现有的开源模型，达到了 SOTA 性能。它能够根据输入的文本和图像生成展示复杂视觉场景和运动模式的视频，包括 480P 和 720P 分辨率的模型。

分享 GitHub 上一款强大的 ComfyUI 背景移除插件：ComfyUI-RMBG。支持物体、人脸、服装和时尚元素的精准分割，整合了多种先进模型包括 RMBG-2.0、INSPYRENET、BEN、BEN2、BiRefNet 模型、SAM 和 GroundingDINO。还支持批量处理、可自由调整敏感度、分辨率、模糊度等参数。可通过 ComfyUI-Manager 搜索安装，或直接克隆到 custom_nodes 文件夹中，首次使用时会自动下载所需模型。

PhotoDoodle：从少数几个例子中学习艺术图像编辑PhotoDoodle是一种新颖的图像编辑框架，旨在通过让艺术家将装饰元素叠加到照片上来促进照片涂鸦。照片涂鸦具有挑战性，因为插入的元素必须与背景无缝集成，需要逼真的混合、透视对齐和上下文连贯性。此外，必须保留背景而不失真，并且必须从有限的训练数据中有效捕捉艺术家的独特风格。以前的方法主要侧重于全局风格转移或区域修复，无法满足这些要求。PhotoDoodle 采用两阶段训练策略。首先使用大规模数据训练通用图像编辑模型 OmniEditor。

论文出了一种无需训练的方法1Prompt1Story，通过单个连接提示实现一致的文本到图像生成。我们的方法可以应用于所有基于文本嵌入的文本到图像模型。此外，它还支持多字符生成、ControlNet 引导生成和个性化生成逼真的图像。

发型错综复杂，具有各种几何形状、纹理和结构，具有重要的文化意义。现有的文本或图像引导生成方法无法处理丰富而复杂的各种发型。我们提出了 TANGLED，这是一种用于生成 3D 发束的新方法，可适应不同风格、视点和输入视图数量的各种图像输入。TANGLED 采用三步流程： 首先，我们的 MultiHair 数据集提供了 457 种不同的发型，并标注了 74 种属性，强调复杂且具有重要文化意义的发型，以提高模型的泛化能力。

从给定的歌词生成整首歌曲音乐音频称为 lyrics2song。虽然基于文本的音乐生成模型已在非人声音乐的短片段上产生了高质量的结果，但生成包含人声和伴奏部分的长达数分钟的完整歌曲仍然是一个具有挑战性的问题，我们只从几个闭源的商业系统中看到了一些令人满意的结果。lyrics2song 的挑战主要在于:音乐的长上下文性质音乐信号与其他信号（语音、音频效果）相比的复杂性扭曲的语言内容和缺乏并行数据（歌词-音频对）。

去年 12 月，谷歌推出了 PaliGemma 2 ，这是Gemma系列中的升级版视觉语言模型。该版本包含不同大小（3B、10B 和 28B 参数）的预训练检查点，可轻松针对各种视觉语言任务和领域进行微调，例如图像分割、短视频字幕、科学问答和文本相关任务，并实现高性能。2月19日，谷歌宣布推出 PaliGemma 2 mix 检查点。PaliGemma 2 mix 是针对多种任务进行调整的模型，允许直接探索模型功能并将其开箱即用，用于常见用例。一个模型可完成多项任务：PaliGemma 2 mix 可以解决

最近基于扩散模型的角色图像动画方法（例如 Animate Everyone）在生成一致且可推广的角色动画方面取得了重大进展。然而，这些方法无法在角色和其环境之间建立合理的关联。为了解决这一限制，我们推出了 Animate Everyone 2，旨在通过环境可供性为角色制作动画。除了从源视频中提取运动信号外，我们还捕获环境表示作为条件输入。环境被表述为排除角色的区域，我们的模型生成角色来填充这些区域，同时保持与环境上下文的一致性。我们提出了一种与形状无关的掩码策略，可以更有效地描述角色与环境之间的关系。

陈斌：北京大学信息工程学院博士生，主要研究方向是图像压缩感知与超分辨率。张振宇：北京大学信息工程学院硕士生，主要研究方向是图像重建。李玮琦：北京大学信息工程学院博士生，主要研究方向是图像压缩感知与超分辨率。赵琛：沙特阿卜杜拉国王科技大学（KAUST）的研究科学家，图像与视频理解实验室（IVUL）视频分析课题组组长。她首次提出了可逆化预训练神经网络方法，实现了大型预训练模型的极低显存微调。她在这一领域的代表工作包括Re2TAL（CVPR 2023）、Dr2Net （CVPR 2024）等。

数学中的 LLM 和 LMM 广泛探索了思路链 (CoT) 推理。然而，这种策略是否可以应用于验证和强化图像生成场景仍是一个悬而未决的问题。在这个项目首次全面研究了 CoT 推理增强自回归图像生成的潜力。论文重点关注三种 CoT 推理技术：扩展测试时间计算以进行验证（ORM、PRM 以及我们提出的 PARM 和 PARM++）通过直接偏好优化 (DPO)调整模型偏好整合这些技术以达到互补效果结果表明这些方法可以有效地调整和组合，以显著提高图像生成性能。

CineMaster是一种用于 3D 感知和可控文本到视频生成的新型框架。目标是让用户拥有与专业电影导演相当的可控性：在场景中精确放置物体、在 3D 空间中灵活操纵物体和相机，以及对渲染帧进行直观的布局控制。CineMaster分两个阶段运行：第一阶段：设计了一个交互式工作流程，允许用户通过定位对象边界框和定义 3D 空间内的相机运动来直观地构建 3D 感知条件信号。第二阶段：这些控制信号（包括渲染的深度图、相机轨迹和对象类别标签）作为文本到视频扩散模型的指导，确保生成用户想要的视频内容。

2D 卡通风格是数字角色创作中一种重要的艺术形式，尤其受到年轻观众的欢迎。虽然数字人技术的进步促进了对逼真的数字人和 3D 角色的广泛研究，但交互式 2D 卡通角色受到的关注相对较少。与需要复杂构造和资源密集型渲染的 3D 卡通角色不同，广泛使用的 2D 卡通角色格式 Live2D 提供了一种更高效的替代方案，它允许以模拟 3D 运动的方式为 2D 角色制作动画，而无需构建完整的 3D 模型。此外，Live2D 采用轻量级 HTML5 (H5) 渲染，提高了可访问性和效率。