小熊哥哥的博客

*AniTalker 在语音驱动的说话人脸生成方面显著优于现有最先进的方法，能够生成具有身份一致性、丰富表情和自然过渡的生动视频。现有的许多talking-face生成模型都**专注于精确的唇形同步，但往往忽略了面部表情的细微差别，从而导致生成结果缺乏活力和多样性。AniTalker 的通用运动表征是通过自监督度量学习得到的，无需人工标注数据，这大大降低了数据获取和标注的成本。AniTalker 的核心思想是将身份信息和面部动作解耦，从而实现更生动和多样化的说话人脸视频生成。

例如身份，而高**频特征则影响局部细节，例如表情。**ConsisiD 通过一个基于控制信号的交叉频率融合模块，从参考图像中提取低频全局身份特征和高频局部面部特征，并将它们融入到不同频率域的扩散过程中。ConsiosiD 利用这一发现，将参考图像的特征分解成低频和高频成分，分别用于控制扩散过程的不同阶段，从而实现对身份和细节的精准控制。为了增强生成视频的身份一致性，论文提出了一种新的训练策略，优先关注低频全局特征，并逐步加入高频细节，从而避免模型过度关注局部细节而丢失全局身份信息。

AIGC 012-Video LDM-Stable Video diffusion前身，将LDM扩展到视频生成任务！