【FineDance】舞蹈多样性的得来

舞蹈多样性的得来

GaussianDiffusion

• 在FineDance中，GaussianDiffusion模块还使用了DDIM等加速采样策略来提高生成效率。传统扩散需要上百甚至上千步迭代，生成较慢。而DDIM (Denoising Diffusion Implicit Models)是一种改进的采样方法，利用确定性推断过程，加快采样速度。它通过修改扩散过程的推导公式，在不需要额外训练的情况下，将采样步数从原来的例如1000步缩减到几十步（常用只需50～100步即可获得很好的结果）。简而言之，DDIM跳过了一些中间步骤：它假设在减少步数的同时调整每步去噪的幅度，使最终效果与全步采样接近。这有点像经验丰富的编舞老师加快排练进度：本来要纠正十次的动作，现在每次改动幅度更大，只排练五次也能到位。FineDance采用DDIM后，可以在保证舞蹈质量的前提下更快地产生候选舞蹈序列。例如，如果需要生成10段不同舞蹈供检索模块挑选，DDIM可以让每段舞蹈生成仅用几十步，从而在有限时间内完成多样性采样。

Genre&Coherence检索模块(GCRM)

• 值得一提的是，FineDance的第二阶段还有一个Genre&Coherence检索模块(GCRM)，会从扩散模型生成的多个舞蹈片