Diffused Heads

最新推荐文章于 2025-06-24 14:35:16 发布
最新推荐文章于 2025-06-24 14:35:16 发布
阅读量219 收藏
点赞数
CC 4.0 BY-SA版权
文章标签： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/xiadimichen14908/article/details/131826680
该研究将扩散模型应用于talkingfacegeneration，通过引入运动帧进行自回归预测，增强了生成图像的连续性和泛化性。方法包括使用改进的扩散模型，结合音频编码器（梅尔谱图特征+卷积预训练）和适应性IN的Lipsyncloss，以及DDIM加速采样。实验部分展示了128*128分辨率的UNet结构和注意力机制的应用，尽管标准指标可能不完全适用，但模型能生成与音频同步的连贯人脸视频。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

贡献

  • 第一个在talking face generation上应用扩散模型
  • 为了维持生成图像的连续性，引入了motion frames进行自回归的预测
  • 有很好的泛化性

方法

  • diffusion model采用improved diffusion model
  • 输入为Motion frames（t-2,t-1时刻图像），Identity frame随机选择的一帧，Noisy target当前时刻加噪图像
  • Audio encoder选用的是梅尔普图特征+1层卷积（pretrain), audio condition类似 label embedding采用adaptive IN方式
  • Lip sync loss，单独对嘴部区域约束

  • 损失函数：improve diffusion的损失函数+lip sunc loss

  • 采用DDIM加速采样，为了强制模型尽可能从身份帧中获取关于人物外貌的信息，把每个运动帧转换成黑白图像

实验

  • 数据集
    • CREMA
    • LRW
  • 实现细节
    • 128*128分辨率
    • UNet 256-512-768通道，只在middle block使用attention, 4head和64head channels
  • 主观效果

  • 量化结果（
    • Moreover, as explained in [20], PSNR favors blurry images and is not a perfect metric in our task,although used commonly.
    • we do not provide anything but a single frame and audio, allowing the model to generate anything itwants. For that reason, our synthesized videos are not consistent with the reference ones and get worse measures inthe standard metrics

  • 消融实验

  • 泛化性证明

xpc_buaa
关注
Git管理子模块 by submodule: 添加、更新、配置、卸载删除、提交、游离分支
weixin_44821980的博客
08-30 975
如项目A和项目B都依赖项目C的c1模块， 此时可以引入pom依赖。但是项目A和项目B的成员去修改项目C时会显得步骤有些繁琐。
[每周一更]-(第103期)：GIT初始化子模块
hmx224_2014的专栏
06-28 1298
一般是因为引入了其他有.git记录的子项目引起的，删除对应的.git，并删除缓存，再添加即可；该问题的缘由是因为：在写某些代码的时候，仓库中有些文件夹，只提交了文件夹名称到git仓库中，但是发现该文件夹下的文件没有在git中记录到，才发现有此类问题；如果你在子模块中进行了更改，需要在子模块目录中提交这些更改，然后在主仓库中更新子模块的引用。这条命令会更新所有子模块及其嵌套子模块到它们各自的最新提交状态。首次克隆包含子模块的仓库后，需要初始化子模块。这条命令会递归地初始化所有子模块及其嵌套的子模块。
Git 子模块 (Submodule) 完全使用指南
最新发布
BI
06-24 1122
Git 子模块模式允许你将一个 Git 仓库作为另一个 Git 仓库的子目录。这篇文章教你用 Git 命令行和 TortoiseGit 两种方式做三件事：添加一个新的子模块；克隆与更新含有子模块的项目；修改、提交和推送子模块
Git在已有的项目中引入Submodule子模块管理：添加、更新、删除（实战示例代码）
Da_zhenzai的博客
09-12 8406
在进行Git版本控制的过程中，有时候我们需要在已有的项目中引入子模块，以便复用其他独立的Git存储库的代码或文件。本文将详细介绍如何在已有项目下添加、更新和删除Git的Submodule子模块，并提供相关的示例代码。在本文中，LZ讲解了我们如何在已有的Git项目中添加、提交、更新和删除Submodule子模块。使用示例代码演示了在已有项目中添加devices文件夹，并引入两个子模块module1和module2的过程。还介绍了如何提交这些修改到主项目中，以及其他开发人员如何初始化和更新子模块。
git 更新子模块
qq_23097791的博客
10-18 857
git submodule update --init --recursive 会更新子模块所有子模块按照提交的分支 但是子分支需要编译的；
git-github 子模块仓库更新（git submodule）/git中submodule子模块的添加、使用和删除
热门推荐
西京刀客
09-05 8万+
子模块有自己的分支和标签，与父仓库的分支和标签是分开的。**你可以在子模块中切换到不同的分支，进行开发或测试**。但是，**在父仓库中，你只能通过更新子模块的提交ID来引用子模块的不同版本**。
git初始化和更新项目中的子模块
csucoderlee的专栏
11-12 883
有一个多模块项目，某个模块下挂着submodule的子项目，这个项目刚clone下来后，需要去submodule所在的目录，执行git submodule命令，获取submodule的所有代码。其实，可以把 git submodule update --init --recursive 拆分成几个独立的命令并按照顺序依次执行。执行上述命令后，主项目的所有子模块（包括嵌套子模块）都会被初始化并更新到指定版本。废话不多说，下面一行命令解决所有问题。
GIT共享 跨仓库操作 子模块
编程之道在明明德在亲民在止于至善
03-15 1381
GIT共享 跨仓库操作 子模块
git子模块
酌沧
06-08 2556
在 Git 中使用子模块时，Git 会利用几个特殊的文件和配置来管理子模块。
Git子模块（Submodule）详解：前端项目管理的高效实践
梦想成为公务员
02-13 1775
Git子模块允许你将一个Git仓库作为另一个Git仓库的子目录。它能让你保持父子项目的独立版本控制，同时建立明确的依赖关系。Git子模块为前端项目的模块化管理提供了灵活方案，特别适合以下场景：✅ 需要严格控制依赖版本✅ 跨项目共享私有组件库✅ 维护多项目间的关联关系建议搭配可视化工具（如SourceTree、GitKraken）使用，可以更直观地管理子模块状态。
git常用操作及git submodule子模块操作和简单讲解，git源码包下载镜像网站推荐，编译安装git，配置git局域网ssh服务端免密操作
qq_41634188的博客
08-01 1154
讲解源码包编译安装git，git涉服务端操作免密以及git常用操作和git submodule子模块操作和讲解。
esp-idf git clone下载下来的全部源码和子模块，网不好的话自己下载很困难
07-05
2. **分步下载**：首先只克隆基础源码，然后逐个手动添加子模块。 3. **离线安装包**：Espressif官方有时会提供预编译的SDK包，可以下载后解压使用，避免了网络问题。 4. **使用国内镜像**：部分云存储平台可能会...
git子模块更新_用Git更新子模块
culuo8053的博客
07-27 2480
git子模块更新Git submodules seem to confuse people and I can probably count myself in that group of people that are confused. Their code is kind of part of the codebase, kind of isn't. Pulling the latest...
git创建子模块
qq_62520130的博客
06-19 995
有种情况我们经常会遇到：某个工作中的项目需要包含并使用另一个项目。也许是第三方库，或者你独立开发的，用于多个父项目的库。现在问题来了：你想要把它们当做两个独立的项目，同时又想在一个项目中使用另一个。Git 通过子模块来解决这个问题。子模块允许你将一个 Git 仓库作为另一个 Git 仓库的子目录。它能让你将另一个仓库克隆到自己的项目中，同时还保持提交的独立。
Git 添加子模块
LIsir
07-26 380
命令执行完成，会在当前工程根路径下生成一个名为“.gitmodules”的文件，其中记录了子模块的信息。添加完成以后，再将子模块所在的文件夹添加到工程中即可。注意：路径不能以 / 结尾（会造成修改不生效）、不能是现有工程已有的目录（不能順利 Clone）然后，执行“git rm –cached ”命令将子模块所在的文件从git中删除。路径指将子模块放置在当前工程下的路径。首先，在“.gitmodules”文件中删除相应配置信息。其中：仓库地址：子模块仓库地址(URL)
Git添加子模块（submodule）
阿甘兄
03-15 1万+
01 引言 有时候我们的一个项目里，需要引用别的项目。 比如： a-project.git项目 b-project.git项目 现在b-project需要引用a-project项目，那么git是如何处理的呢？ 其实可以使用submodule的方式。 02 操作步骤 操作方式： step1. 先clone a-project项目到本地： git clone https://gitlab.com/a-project step2. 进入你想添加b-project到a-project的目录： cd a-pro
【git】添加子模块(submodule)
tyustli
03-11 3480
git 添加子模块
手把手教你把 Git 子模块更新到主项目
03-14 1325
没有问题，初始化本地子模块：从子模块的远端更新修改：从子模块的远端拉取上游的修改：检查当前文件状态：发现skywalking-ui已经有更新了，可以直接将其提交到远端，也可以修改其他文件一起提交。
【GIT版本控制】--子模块
喵叔
10-08 1105
创建和管理Git子模块的总结：Git子模块允许在一个仓库中引用另一个仓库，通过添加、初始化和更新子模块，你可以将外部代码集成到你的项目中。确保文档、稳定链接、及时更新以及谨慎提交子模块更改等最佳实践，有助于高效管理和维护子模块，同时减少潜在问题。Git子模块是管理依赖关系和协作的强大工具，但需要小心使用。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值