<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[DataSourceAI的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/DataSourceAI</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; DataSourceAI]]></copyright><item><title><![CDATA[微软提出DiagD！10倍加速+高保真！自回归视频生成的闪电解码！]]></title><link>https://blog.youkuaiyun.com/DataSourceAI/article/details/146769493</link><guid>https://blog.youkuaiyun.com/DataSourceAI/article/details/146769493</guid><author>DataSourceAI</author><pubDate>Sun, 30 Mar 2025 17:19:28 +0800</pubDate><description><![CDATA[自回归Transformer模型在视频生成方面表现出色，但它们逐令牌的顺序解码过程成为主要瓶颈，特别是对于由数万个令牌表示的长视频而言。在本文中，我们提出了对角解码（DiagD），这是一种针对自回归预训练模型的免训练推理加速算法，它利用了视频中的时空相关性。我们的方法沿着时空令牌网格中的对角路径生成令牌，实现了每帧内的并行解码以及连续帧之间的部分重叠解码。所提出的算法具有通用性，适用于各种生成模型和任务，同时能够灵活控制推理速度和视觉质量之间的权衡。]]></description><category></category></item><item><title><![CDATA[清华联合百度提出AudCast！高保真音频驱动人体视频生成新框架！]]></title><link>https://blog.youkuaiyun.com/DataSourceAI/article/details/146769476</link><guid>https://blog.youkuaiyun.com/DataSourceAI/article/details/146769476</guid><author>DataSourceAI</author><pubDate>Sun, 30 Mar 2025 17:18:36 +0800</pubDate><description><![CDATA[尽管音频驱动视频生成技术最近取得了进展，但现有方法大多专注于驱动面部动作，导致头部和身体动态不协调。进一步而言，生成与给定音频精确唇形同步且具有细腻伴随语音手势的整体人体视频是理想的，但也具有挑战性。在这项工作中，我们提出了AudCast，这是一个采用级联扩散变压器（DiTs）范式的通用音频驱动人体视频生成框架，它基于参考图像和给定音频合成整体人体视频。1) 首先，我们提出了一种基于音频条件的整体人体DiT架构，以直接驱动任何人体的动作，并呈现出生动的手势动态。]]></description><category></category></item><item><title><![CDATA[快手联合港中文提出FullDiT！细粒度可控视频生成！]]></title><link>https://blog.youkuaiyun.com/DataSourceAI/article/details/146769465</link><guid>https://blog.youkuaiyun.com/DataSourceAI/article/details/146769465</guid><author>DataSourceAI</author><pubDate>Sun, 30 Mar 2025 17:17:51 +0800</pubDate><description><![CDATA[当前的视频生成基础模型主要专注于文本到视频的任务，对细粒度视频内容创作的控制能力有限。尽管基于适配器的方法（如ControlNet）能够通过最少的微调实现额外的控制，但在整合多个条件时会遇到挑战，包括：独立训练的适配器之间的分支冲突、导致计算成本增加的参数冗余，以及与全量微调相比表现欠佳。为应对这些挑战，我们引入了FullDiT，这是一个用于视频生成的统一基础模型，它通过统一的全注意力机制无缝整合多个条件。]]></description><category></category></item><item><title><![CDATA[中国人民大学提出Concat-ID！3D自注意力+跨视频配对，AI解锁多主体场景新高度！]]></title><link>https://blog.youkuaiyun.com/DataSourceAI/article/details/146769448</link><guid>https://blog.youkuaiyun.com/DataSourceAI/article/details/146769448</guid><author>DataSourceAI</author><pubDate>Sun, 30 Mar 2025 17:16:51 +0800</pubDate><description><![CDATA[我们提出了Concat-ID，这是一个用于身份保留视频生成的统一框架。Concat-ID采用变分自编码器（Variational Autoencoders）提取图像特征，并将其与视频隐变量沿序列维度拼接，仅利用3D自注意力机制，无需额外的模块。我们引入了一种新颖的跨视频配对策略和多阶段训练方案，以平衡身份一致性和面部可编辑性，同时增强视频的自然度。大量实验表明，Concat-ID在单身份和多身份生成方面优于现有方法，并且能够无缝扩展到多主体场景，包括虚拟试穿和背景可控生成。]]></description><category></category></item><item><title><![CDATA[巴伊兰大学提出SISO颠覆传统！免训练单图生成新范式：质量/保真度/背景三指标全面碾压SOTA！]]></title><link>https://blog.youkuaiyun.com/DataSourceAI/article/details/146769428</link><guid>https://blog.youkuaiyun.com/DataSourceAI/article/details/146769428</guid><author>DataSourceAI</author><pubDate>Sun, 30 Mar 2025 17:16:03 +0800</pubDate><description><![CDATA[主体驱动的文本条件图像生成和编辑将提示条件的易用性与使用个性化元素创建视觉内容时提供的卓越视觉控制相结合。从广告到数字艺术，它对于创意表达至关重要，但当可用的个性化元素图像较少时，仍然是一项具有挑战性的任务。图2. 用于图像生成的SISO工作流程。SISO通过基于预训练的身份度量IR和DINO进行迭代优化来生成图像。每次迭代时更新添加的低秩自适应（LoRA，Low-Rank Adaptation）参数，而模型的其余部分保持冻结。]]></description><category></category></item><item><title><![CDATA[SaMam横空出世！全球首个Mamba风格迁移框架，线性复杂度+局部增强，双指标碾压SOTA！]]></title><link>https://blog.youkuaiyun.com/DataSourceAI/article/details/146769411</link><guid>https://blog.youkuaiyun.com/DataSourceAI/article/details/146769411</guid><author>DataSourceAI</author><pubDate>Sun, 30 Mar 2025 17:14:26 +0800</pubDate><description><![CDATA[风格迁移（ST）旨在捕捉图像风格以生成艺术图像，自开创性工作以来，它引起了越来越多的关注。随着现代深度学习技术的发展，如卷积神经网络、Transformer和扩散模型，风格迁移性能在过去几年中不断提高。我们认为这种改进部分归因于感受野的增加。首先，相对较大的感受野允许模型从更广泛的区域提取足够的图像模式，使其能够更好地捕捉风格模式。其次，有了更大的感受野，模型能够利用内容图像中的更多像素来促进锚点像素的风格迁移。图1. 不同方法在推理时间 （毫秒）和ArtFID之间的权衡。]]></description><category></category></item><item><title><![CDATA[微软提出DiagD！10倍加速+高保真！自回归视频生成的闪电解码！]]></title><link>https://blog.youkuaiyun.com/DataSourceAI/article/details/146769387</link><guid>https://blog.youkuaiyun.com/DataSourceAI/article/details/146769387</guid><author>DataSourceAI</author><pubDate>Sun, 30 Mar 2025 17:13:04 +0800</pubDate><description><![CDATA[自回归Transformer模型在视频生成方面表现出色，但它们逐令牌的顺序解码过程成为主要瓶颈，特别是对于由数万个令牌表示的长视频而言。在本文中，我们提出了对角解码（DiagD），这是一种针对自回归预训练模型的免训练推理加速算法，它利用了视频中的时空相关性。我们的方法沿着时空令牌网格中的对角路径生成令牌，实现了每帧内的并行解码以及连续帧之间的部分重叠解码。所提出的算法具有通用性，适用于各种生成模型和任务，同时能够灵活控制推理速度和视觉质量之间的权衡。]]></description><category></category></item><item><title><![CDATA[复旦联合字节提出BlockDance！DiT加速新方法！保证生成质量同时加速50%！]]></title><link>https://blog.youkuaiyun.com/DataSourceAI/article/details/146769371</link><guid>https://blog.youkuaiyun.com/DataSourceAI/article/details/146769371</guid><author>DataSourceAI</author><pubDate>Sun, 30 Mar 2025 17:12:16 +0800</pubDate><description><![CDATA[扩散模型已展现出令人印象深刻的生成能力，特别是近期借助变压器（Transformer）架构的进展，提升了视觉和艺术质量。然而，扩散变压器模型（Diffusion Transformers，DiTs）由于迭代去噪过程，仍然面临推理速度慢的挑战。为解决这一问题，我们提出了BlockDance，这是一种无需训练的方法，通过探索相邻时间步的特征相似性来加速DiTs。]]></description><category></category></item><item><title><![CDATA[商汤提出Shining Yourself！首个高保真饰品虚拟试戴新方法！]]></title><link>https://blog.youkuaiyun.com/DataSourceAI/article/details/146462448</link><guid>https://blog.youkuaiyun.com/DataSourceAI/article/details/146462448</guid><author>DataSourceAI</author><pubDate>Sun, 23 Mar 2025 21:32:05 +0800</pubDate><description><![CDATA[虽然基于扩散模型的服装和鞋子虚拟试戴已经受到关注，但手镯、戒指、耳环和项链等饰品的虚拟试戴在很大程度上仍未得到探索。由于大多数饰品中存在复杂的微小图案和重复的几何子结构，在饰品和模特之间存在较大的姿态和尺度变化时，更难保证身份和外观的一致性。本文提出了饰品虚拟试戴任务，并提出了一种改进饰品虚拟试戴的几何和外观保留的方法。具体来说，我们在去噪过程的迭代方案中估计一个准确的佩戴掩码，以改善饰品和模特之间的对齐。为了保留结构细节，我们进一步对注意力层进行正则化，以隐式方式将参考饰品掩码映射到佩戴掩码。]]></description><category></category></item><item><title><![CDATA[Adobe研究中心提出VEGGIE！指令式视频编辑的全能王者！]]></title><link>https://blog.youkuaiyun.com/DataSourceAI/article/details/146462421</link><guid>https://blog.youkuaiyun.com/DataSourceAI/article/details/146462421</guid><author>DataSourceAI</author><pubDate>Sun, 23 Mar 2025 21:30:11 +0800</pubDate><description><![CDATA[近期的视频扩散模型推动了视频编辑的发展，但在统一框架内处理指令式编辑和多样化任务（如添加、删除、更改）仍然具有挑战性。在本文中，我们介绍了VEGGIE，即基于指令基础生成的视频编辑器，这是一个简单的端到端框架，可基于不同的用户指令统一进行视频概念编辑、定位和推理。具体而言，给定一个视频和文本查询，VEGGIE首先利用多模态大语言模型（MLLM）解读用户指令中的意图，并将其与视频上下文关联起来，生成针对特定帧的基础任务查询以获得像素空间响应。然后，扩散模型根据这些计划生成符合用户意图的编辑后视频。]]></description><category></category></item><item><title><![CDATA[字节提出InfiniteYou！基于DiT的灵活且高保真IP 保持图像生成新框架！]]></title><link>https://blog.youkuaiyun.com/DataSourceAI/article/details/146462402</link><guid>https://blog.youkuaiyun.com/DataSourceAI/article/details/146462402</guid><author>DataSourceAI</author><pubDate>Sun, 23 Mar 2025 21:29:27 +0800</pubDate><description><![CDATA[实现灵活且高保真的保留身份特征的图像生成仍然极具挑战性，特别是对于像FLUX这样的先进扩散变压器（Diffusion Transformers，DiTs）而言。我们推出了InfiniteYou（InfU），它是最早利用DiTs完成此任务的强大框架之一。InfU解决了现有方法的重大问题，如身份相似度不足、文本 - 图像对齐不佳以及生成质量和美学效果较低等。InfU的核心是InfuseNet，这一组件通过残差连接将身份特征注入到DiT基础模型中，在保持生成能力的同时提高了身份相似度。]]></description><category></category></item><item><title><![CDATA[复旦联合微软提出MagicMotion！Motion可控图生视频新框架！]]></title><link>https://blog.youkuaiyun.com/DataSourceAI/article/details/146462387</link><guid>https://blog.youkuaiyun.com/DataSourceAI/article/details/146462387</guid><author>DataSourceAI</author><pubDate>Sun, 23 Mar 2025 21:28:33 +0800</pubDate><description><![CDATA[近年来，视频生成技术取得了显著进展，在视觉质量和时间连贯性方面有了显著提升。在此基础上，轨迹可控的视频生成技术应运而生，它可以通过明确定义的空间路径实现对物体运动的精确控制。然而，现有方法在处理复杂物体运动和多物体运动控制时存在困难，导致轨迹跟踪不精确、物体一致性差以及视觉质量受损。此外，这些方法仅支持单一格式的轨迹控制，限制了它们在不同场景中的适用性。另外，目前还没有专门针对轨迹可控视频生成的公开可用数据集或基准，这阻碍了模型的稳健训练和系统评估。]]></description><category></category></item><item><title><![CDATA[巴黎综合理工学院提出Di[M]O！掩码扩散模型的一步生成革命！]]></title><link>https://blog.youkuaiyun.com/DataSourceAI/article/details/146462359</link><guid>https://blog.youkuaiyun.com/DataSourceAI/article/details/146462359</guid><author>DataSourceAI</author><pubDate>Sun, 23 Mar 2025 21:27:16 +0800</pubDate><description><![CDATA[掩码扩散模型（MDMs）已成为一种强大的生成式建模技术。尽管它们取得了显著的成果，但通常存在多步推理速度慢的问题。在本文中，我们提出了Di[M]O，这是一种将掩码扩散模型蒸馏为一步生成器的新方法。Di  解决了两个关键挑战：（1）使用中间步骤信息进行一步生成的难处理性，我们通过令牌级分布匹配来解决这个问题，该方法借助辅助模型，通过“策略内框架”优化模型输出的对数几率；（2）初始分布缺乏熵，我们通过一种令牌初始化策略来解决这个问题，该策略在保持与教师训练分布相似性的同时注入随机性。]]></description><category></category></item><item><title><![CDATA[加利福尼亚大学提出TULIP！视觉-语言模型的新王者！AI性能全面碾压CLIP！]]></title><link>https://blog.youkuaiyun.com/DataSourceAI/article/details/146429673</link><guid>https://blog.youkuaiyun.com/DataSourceAI/article/details/146429673</guid><author>DataSourceAI</author><pubDate>Fri, 21 Mar 2025 21:37:30 +0800</pubDate><description><![CDATA[尽管像CLIP和SigLIP这样的图像 - 文本对比模型最近取得了成功，但这些模型在以视觉为中心、需要高保真图像理解的任务中往往表现不佳，例如计数、深度估计和细粒度目标识别。这些模型通过执行语言对齐，往往更优先考虑高级语义而非视觉理解，从而削弱了它们的图像理解能力。另一方面，专注于视觉的模型在处理视觉信息方面表现出色，但难以理解语言，限制了它们在语言驱动任务中的灵活性。在这项工作中，我们推出了TULIP，这是一种开源的、可直接替代现有类CLIP模型的方案。]]></description><category></category></item><item><title><![CDATA[北大提出MMGDreamer！可控3D场景生成新SOTA！]]></title><link>https://blog.youkuaiyun.com/DataSourceAI/article/details/146429655</link><guid>https://blog.youkuaiyun.com/DataSourceAI/article/details/146429655</guid><author>DataSourceAI</author><pubDate>Fri, 21 Mar 2025 21:36:36 +0800</pubDate><description><![CDATA[可控的3D场景生成在虚拟现实和室内设计中有着广泛的应用，生成的场景应在几何方面表现出高度的真实感和可控性。场景图提供了一种合适的数据表示方式，便于这些应用的实现。然而，当前基于图的场景生成方法局限于基于文本的输入，对灵活的用户输入适应性不足，阻碍了对物体几何形状的精确控制能力。为解决这一问题，我们提出了MMGDreamer，这是一种用于场景生成的双分支扩散模型，它结合了一种新颖的混合模态图、视觉增强模块和关系预测器。混合模态图允许物体节点整合文本和视觉模态，节点之间存在可选关系。]]></description><category></category></item><item><title><![CDATA[FLUXFLOW横空出世！视频生成时间增强新范式：无需改架构，一键提升连贯性+多样性！]]></title><link>https://blog.youkuaiyun.com/DataSourceAI/article/details/146429642</link><guid>https://blog.youkuaiyun.com/DataSourceAI/article/details/146429642</guid><author>DataSourceAI</author><pubDate>Fri, 21 Mar 2025 21:35:42 +0800</pubDate><description><![CDATA[追求逼真的视频生成面临着一个关键困境：虽然空间合成（例如，StableDiffusion系列、基于自回归（AR）的方法）已经实现了显著的保真度，但确保时间质量仍然是一个难以实现的目标。现代视频生成器，无论是扩散模型还是自回归模型，经常生成存在时间伪影的序列，例如闪烁的纹理、不连续的运动轨迹或重复的动态，这暴露了它们无法稳健地建模时间关系的问题（见图1）。图2. 使用VBench指标对VideoCrafter2和FLUXFLOW在时间质量（上）以及逐帧和整体质量（下）方面进行的比较。]]></description><category></category></item><item><title><![CDATA[浙大提出MotionStreamer：连续因果潜在空间+自回归模型，流式运动生成误差直降80%！]]></title><link>https://blog.youkuaiyun.com/DataSourceAI/article/details/146429626</link><guid>https://blog.youkuaiyun.com/DataSourceAI/article/details/146429626</guid><author>DataSourceAI</author><pubDate>Fri, 21 Mar 2025 21:34:48 +0800</pubDate><description><![CDATA[流式运动生成旨在逐步合成人体运动，同时动态适应在线文本输入并保持语义连贯性。以流式方式生成逼真且多样的人体运动对于各种实时应用（如视频游戏、动画和机器人技术）至关重要。流式运动生成由于两个基本要求而面临重大挑战。首先，该框架必须在保持在线响应的同时逐步处理顺序到达的文本输入。其次，模型应能够通过有效地将历史信息与传入的文本条件相结合，连续合成表现出上下文一致性的运动序列，确保渐进式文本语义与跨长时间轴的运动学连续性之间的对齐。图2. 运动流式生成器（MotionStreamer）概述。]]></description><category></category></item><item><title><![CDATA[Adobe提出Visual Persona！全能视觉人物形象定制基础模型！]]></title><link>https://blog.youkuaiyun.com/DataSourceAI/article/details/146429612</link><guid>https://blog.youkuaiyun.com/DataSourceAI/article/details/146429612</guid><author>DataSourceAI</author><pubDate>Fri, 21 Mar 2025 21:33:59 +0800</pubDate><description><![CDATA[我们提出了视觉人物形象（Visual Persona）模型，这是一个用于文本到图像全身人体定制的基础模型。给定一张自然场景中的单人图像，该模型能够生成由文本描述引导的多样化个人图像。与以往仅专注于保留面部特征的方法不同，我们的方法能够捕捉详细的全身外观，并与文本描述的身体结构和场景变化相匹配。训练这个模型需要大规模的配对人体数据，即每个个体有多个具有一致全身特征的图像，但这类数据极难获取。]]></description><category></category></item><item><title><![CDATA[科大讯飞EditID横空出世！全球首个DiT免训练框架，定制身份可编辑+一致性双SOTA，IBench评测登顶！]]></title><link>https://blog.youkuaiyun.com/DataSourceAI/article/details/146429594</link><guid>https://blog.youkuaiyun.com/DataSourceAI/article/details/146429594</guid><author>DataSourceAI</author><pubDate>Fri, 21 Mar 2025 21:33:00 +0800</pubDate><description><![CDATA[身份定制生成作为一种个性化的文本到图像生成类型，将身份与提示词相结合，以创建特定的外观。它在故事生成和人物创作等场景中具有重要的应用价值，并且是当今主要的文本到图像创意制作平台的核心卖点之一。本文提出了EditID，一种用于文本到图像生成的免训练身份定制方法。我们是首个在DiT架构内探索增强可编辑性的团队，在长提示下实现了最先进的性能。以PuLID模型为例，我们将其解构为字符特征分支和图像生成主分支，并进一步将字符特征分支解耦为三个主要模块：特征提取、特征融合和身份集成。]]></description><category></category></item><item><title><![CDATA[百川DualToken横空出世！双码本协同颠覆视觉框架，理解+生成双SOTA，MLLM性能飙升！]]></title><link>https://blog.youkuaiyun.com/DataSourceAI/article/details/146429581</link><guid>https://blog.youkuaiyun.com/DataSourceAI/article/details/146429581</guid><author>DataSourceAI</author><pubDate>Fri, 21 Mar 2025 21:32:15 +0800</pubDate><description><![CDATA[在大语言模型（LLM）的自回归范式内统一视觉理解和生成已成为当前的研究热点，催生了如CM3leon、变色龙（Chameleon）、鸸鹋3（Emu3）和VILA - U等代表性工作。为了实现多模态自回归生成，这些统一模型需要一个视觉分词器（visual tokenizer）来离散化视觉输入，以及一个相应的逆分词器（detokenizer）将令牌映射回像素空间。图1. 与最先进的视觉编码器的比较。]]></description><category></category></item></channel></rss>