Diffusion heads

最新推荐文章于 2025-07-25 19:11:59 发布
原创 最新推荐文章于 2025-07-25 19:11:59 发布 · 177 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#pytorch #深度学习

 

 

贡献

  • 第一个在talking face generation上应用扩散模型
  • 为了维持生成图像的连续性，引入了motion frames进行自回归的预测
  • 有很好的泛化性

方法

 

  • diffusion model采用improved diffusion model
  • 输入为Motion frames（t-2,t-1时刻图像），Identity frame随机选择的一帧，Noisy target当前时刻加噪图像
  • Audio encoder选用的是梅尔普图特征+1层卷积（pretrain), audio condition类似 label embedding采用adaptive IN方式
  • Lip sync loss，单独对嘴部区域约束

 

  • 损失函数：improve diffusion的损失函数+lip sunc loss

  • 采用DDIM加速采样，为了强制模型尽可能从身份帧中获取关于人物外貌的信息，把每个运动帧转换成黑白图像

实验

  • 数据集
    • CREMA
    • LRW
  • 实现细节
    • 128*128分辨率
    • UNet 256-512-768通道，只在middle block使用attention, 4head和64head channels
  • 主观效果

 

  • 量化结果（
    • Moreover, as explained in [20], PSNR favors blurry images and is not a perfect metric in our task,although used commonly.
    • we do not provide anything but a single frame and audio, allowing the model to generate anything itwants. For that reason, our synthesized videos are not consistent with the reference ones and get worse measures inthe standard metrics

     

  • 消融实验

  • 泛化性证明

xpc_buaa
关注
DynamiCrafter:Animating open-domain images with video diffusion priors
liguandong
08-30 667
文本嵌入通过clip构建，图像通过clip编码，主要代表语义层面的视觉内容，未能捕获图像的完整信息，为了提取更完整的信息，使用来自clip图像vit最后一层的全视觉标记，该token在条件图像生成时表现出了高保真度，为了促进与文本嵌入的对齐，即为了获得可以被去噪unet解释的上下文表征，利用一个轻量级网络P将视觉token转换为上下文表征，采用了多模态融合的Q-former架构。unet中间层与物体形状或姿态关联性更大，两端层和外观关联更大，希望图像特征将主要影响视频的外观，同时对形状施加较小的影响。
【Diffusion 视频生成】Tune-A-Video: One-Shot Tuning of Image Diffusion Models for Text-to-Video Generation
沉迷单车的追风少年
10-12 838
Tune-A-Video提出了一个新的文本-视频任务：One-Shot视频生成，能够在视频对象编辑、背景编辑、风格转换、可控生成等领域取得了非常好的效果。这篇博客详细解读Tune-A-Video的论文和代码，希望能对做扩散模型视频生成的读者们有所帮助。
improved-diffusion:发布改进的降噪扩散概率模型
05-05
改善扩散 这是的代码库。 用法 README的这一部分将逐步介绍如何训练模型并从模型中取样。 安装 克隆该存储库，然后在您的终端中导航至该存储库。 然后运行： pip install -e . 这应该安装脚本所依赖的improved_diffusion python软件包。 准备资料 训练代码从图像文件目录中读取图像。 在文件夹中，我们提供了用于为ImageNet，LSUN卧室和CIFAR-10准备这些目录的说明/脚本。 要创建自己的数据集，只需将所有图像转储到扩展名为“ .jpg”，“。jpeg”或“ .png”的目录中即可。 如果您希望训练一个类条件模型，则将文件命名为“ mylabel1_XXX.jpg”，“ mylabel2_YYY.jpg”等，以便数据加载器知道“ mylabel1”和“ mylabel2”是标签。 子目录也会自动枚举，因此可以将图像组织为递归结构（尽管目录名
探索Improved-Diffusion：新一代图像生成模型的引领者
gitblog_00401的博客
08-08 886
探索Improved-Diffusion：新一代图像生成模型的引领者 在人工智能的浪潮中，图像生成技术一直是研究的热点。今天，我们向您隆重推荐一个开源项目——Improved-Diffusion，它基于最新的研究论文Improved Denoising Diffusion Probabilistic Models，为图像生成领域带来了革命性的进步。 项目介绍 Improved-Diffusion ...
【亲测免费】 改进版去噪扩散概率模型（Improved Denoising Diffusion Probabilistic Models）
gitblog_00303的博客
08-08 831
改进版去噪扩散概率模型（Improved Denoising Diffusion Probabilistic Models） 本文档将引导您了解并使用位于https://github.com/openai/improved-diffusion.git的开源项目，该模型是用于生成高质量图像的先进方法。 1. 项目介绍 改进版去噪扩散概率模型（Improved Denoising Diffusion ...
【论文阅读】Diffused Heads: Diffusion Models Beat GANs on Talking-Face Generation
weixin_57974242的博客
03-16 1683
现有方法在创建自然面部外观、保持真实表情和动作方面仍然存在困难，同时在生成过程中仍需要额外的监督。首先，GAN 的训练困难，需要广泛的架构搜索和参数调整才能收敛。基于 GAN 的面部动画方法的训练稳定性可以通过使用额外的指导，如面具或引导帧来指导生成过程来改善。然而，这使它们局限于面部再现的应用，并降低了产生头部动作和面部表情的能力。此外，GAN 的训练通常会导致模态崩溃，即生成器无法生成覆盖整个数据分布支持的样本，而是只学习生成几个唯一的样本 [1]。
ICCV 2023 | 从14篇论文看如何 改进扩散模型diffusion ？
idol24的博客
01-10 1973
1、Discriminative Class Tokens for Text-to-Image Diffusion Models文本到图像扩散模型，使得生成多样且高质量的图像成为可能。然而，这些图像往往在描绘细节方面不够精细，并且容易出现由于输入文本的歧义导致的错误。缓解这些问题的一种方法是在带类标签的数据集上训练扩散模型。这种方法有两个缺点：（i）监督数据集通常与大规模抓取的文本-图像数据集相比...
Diffusion Model综述
jerwey的博客
04-25 1228
Diffusion（扩散）在 Stable Diffusion 中指的是“加噪-去噪”的生成过程，核心思想是通过学习如何逆转噪声的扩散过程来生成数据。使其高效，条件扩散使其可控，从而能够根据文本生成高质量的图像。生成的图像质量高，细节丰富。可以通过调节噪声步数（如 DDIM 的）平衡生成速度和质量。结合文本条件，实现高度可控的图像生成。
AI 绘画Stable Diffusion 研究（七） 一文读懂 Stable Diffusion 工作原理
w风雨无阻w的专栏
08-13 4359
大家都经常听到有人说，Stable Diffusion是一种潜在扩散模型（Diffusion Models）。那我们先弄明白什么是扩散模型？为什么叫扩散模型呢？因为它的数学公式看起来非常像物理上的扩散现象。
【2025 Stable Diffusion WebUI 初始入门】【5.Stable Diffusion的插件安装指南】
商务合作|问题讨论|交流学习 请联系作者微信，加微信请务必注明来意，博客主页有联系方式
04-25 621
生成训练数据 python -m deepdanbooru -t dataset/cats --create-dataset --from-source # 训练模型 python -m deepdanbooru -t dataset/cats --train --project-name cat_tags --save-model。
Stable Diffusion模型蒸馏技术：轻量化而不失质量
AI 原生应用开发的博客
04-26 755
Stable Diffusion作为当前最先进的文本到图像生成模型之一，其强大的生成能力伴随着巨大的计算资源需求。模型蒸馏技术为解决这一问题提供了有效途径。系统阐述Stable Diffusion蒸馏的技术原理提供可操作的实现方案和优化技巧分析不同蒸馏策略的优劣和适用场景探讨该领域的最新进展和未来方向本文涵盖从理论到实践的完整知识体系，适用于希望优化Stable Diffusion模型效率的技术人员。背景和核心概念蒸馏技术原理与架构具体实现与数学基础实战案例与优化技巧。
Diffused Heads: Diffusion Models Beat GANs on Talking-Face Generation
kebijuelun的博客
11-20 1158
WACV 2024 弗罗茨瓦夫大学的数字人工作，实际是 2023 年 1 月挂出来的，早期用 diffusion 做 talking head 的工作之一。
【文献阅读】Diffused Heads: Diffusion Models Beat GANs on Talking-Face Generation 音频驱动人脸动画生成（扩散模型）
m0_51473089的博客
11-21 949
以往的方法在没有额外参考视频指导的情况下，会说话的脸部生成一直难以产生头部运动和自然的面部表情。这项研究提出了一种自回归扩散模型，仅需要一个身份图像和音频序列即可生成逼真的说话头像的视频。我们的解决方案能够产生头部运动、面部表情（例如眨眼）的幻觉，并保留给定的背景。我们在两个不同的数据集上评估我们的模型，在表现力和流畅度上取得了最先进的结果。现有的方法很难创建保持真实表情和动作的自然面孔，同时在生成过程中仍然需要额外的监督。
【亲测免费】 Diffused Heads：用扩散模型超越GAN的说话人脸生成
gitblog_00298的博客
10-09 543
Diffused Heads：用扩散模型超越GAN的说话人脸生成 项目介绍 Diffused Heads 是一个开创性的开源项目，专注于使用扩散模型（Diffusion Models）生成高质量的说话人脸视频。该项目由一支顶尖的研究团队开发，旨在突破传统生成对抗网络（GANs）在说话人脸生成领域的局限性。通过结合先进的扩散模型技术，Diffused Heads 能够生成更加自然、逼真的说话人脸视频...
（pytorch进阶之路）IDDPM之diffusion实现
热门推荐
qq_19841133的博客
10-20 1万+
DM beat GANs作者改进了DDPM模型，提出了三个改进点，目的是提高在生成图像上的对数似然第一个改进点方差改成了可学习的，预测方差线性加权的权重第二个改进点将噪声方案的线性变化变成了非线性变换。
pytorch中的torch.compile是如何加速vLLM大模型推理的？
goodgood_UP的博客
07-22 918
torch.compile 通过将 PyTorch 代码 JIT（just in time） 编译为优化的内核，使 PyTorch 代码运行得更快，同时只需极少的代码更改。简单来说，torch.compile 利用 PyTorch 2.0 引入的动态图捕获（TorchDynamo）和图形编译（TorchInductor 等后端）技术，将模型的前向计算图转换为高度优化的低级代码（包括融合的GPU内核等），从而减少解释执行的开销。这种编译在模型第一次运行时会进行：它捕获模型的计算图并进行编译优化，因此。
pytorch学习笔记-使用DataLoader加载固有Datasets(CIFAR10)，使用tensorboard进行可视化
最新发布
qq_45437180的博客
07-25 224
说明一下下面的transforms虽然只用了一个可以直接写到datasets.CIFAR10里面完全没问题，但是我还是更加建议下面的这样写，感觉是一个更好的习惯，对于以后使用多个transform的组合时很有利~随便截了不同epoch的最后一个batch构成情况，可以看到内容组合不一样，这是因为我们进行了打乱操作，这样可以保证不同的epoch学习到的batch组合情况不一样。呃这里为什么要单独列出来一下呢是因为想提醒一下最好drop，因为博主隐约记得自己好像踩过batch_size大小不一样的报错坑（
ubuntu24.04安装CUDA、VLLM、Pytorch等并部署Qwen3-8B-AWQ【50系显卡通用】
mizhiakk的博客
07-22 430
ubuntu24.04安装CUDA、VLLM、Pytorch等并部署Qwen3-8B-AWQ【50系显卡通用】
Transformer Masked loss原理精讲及其PyTorch逐行实现
AggressiveYu的博客
07-24 1155
定义交叉熵损失函数# 关键：告诉损失函数，所有标签值为 PADDING_IDX 的位置都被忽略这个参数就是实现 Masked Loss 的方法。当我们把(这里是0) 传给它，在内部计算时，会自动跳过所有目标标签是0的位置。第三步：调整张量形状和，其中N是样本总数，C是类别数。而我们现在的logits和target都是二维的批次数据，需要调整一下。# CrossEntropyLoss 需要的输入形状是 (N, C)# N 是总的需要计算的元素数量, C是类别数 (即词汇表大小)
robotics diffusion transformer
03-18
### Robotics Diffusion Model Transformer Architecture Implementation Diffusion models have gained significant attention due to their ability to generate high-quality data samples by reversing a stochastic process that gradually adds noise to the data[^1]. In robotics, these models can be leveraged for designing manipulators or generating complex trajectories while considering physical constraints. The Dynamics-Guided Diffusion Model (DGDM) introduces an innovative approach where dynamics equations are integrated into the denoising procedure of diffusion models, ensuring physically plausible outcomes during trajectory generation. The architecture typically involves several key components: - **Encoder**: This component processes input conditions such as start and goal states along with any additional contextual information. - **Transformer-based Conditioning Network**: A multi-head self-attention mechanism is employed within this network to capture long-range dependencies between different time steps effectively. Below is an example code snippet illustrating how one might implement part of the conditioning network using PyTorch: ```python import torch from torch import nn class ConditionNetwork(nn.Module): def __init__(self, dim_model=512, num_heads=8, dropout=0.1): super(ConditionNetwork, self).__init__() self.attention = nn.MultiheadAttention(dim_model, num_heads, dropout=dropout) def forward(self, query, key, value): attn_output, _ = self.attention(query=query, key=key, value=value) return attn_output ``` In addition to generative modeling techniques like those mentioned above, understanding interactions involving humans also plays a crucial role when developing autonomous systems capable of safe operation around people[^2]. For instance, addressing potential communication failures requires careful consideration not only from linguistic perspectives but also incorporating appropriate feedback mechanisms based on observed behaviors which could involve reinforcement learning paradigms combined with natural language processing capabilities provided through large pre-trained transformers fine-tuned specifically towards conversational tasks.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值