Stalgen 2:生成人脸的AI模型及其缺陷
这段文字介绍了名为Stalgen 2的人工智能模型,它能够生成从未存在过的真实人脸。Stalgen 2是Stalgen的第二代版本,通过学习大量真实人脸数据来实现这一功能。
视频展示了Stalgen 2在“潜在空间”中随机移动,并生成不断变化的人脸图像。这种方式可以直观地展现人脸图像合成的过程。
然而,尽管Stalgen 2能够生成令人惊叹的图像,但它也存在一些缺陷。其中一个问题是纹理粘滞现象,即在人脸变形过程中,纹理似乎粘在屏幕上,没有随着人脸的变化而改变。
这种粘滞现象不仅破坏了3D物体的错觉,还影响了运动对象的连贯性。在其他AI生成的视频中,当物体移动时,纹理和反射光也可能固定在特定位置,导致物体看起来不真实。
这种问题源于Stalgen 2的信号处理设计缺陷,导致了“混叠”现象。混叠现象会导致一些不需要的信息泄露到合成过程中,从而导致纹理固定在特定位置。
Stalgen 2的开发者已经意识到这个问题,并提出了名为“Alias Free Gen”的新模型。Alias Free Gen改进了信号处理设计,消除了混叠现象,从而解决了纹理粘滞问题。
虽然Stalgen 2在细节方面表现出色,但由于过早地固定细节,导致它在生成完整图像之前就出现了纹理粘滞问题。与之相比,Alias Free Gen虽然细节较少,但能够生成更连贯的图像。
总而言之,Stalgen 2是一个能够生成逼真人脸的AI模型,但它也存在一些缺陷,例如纹理粘滞现象。Alias Free Gen则通过改进信号处理设计,解决了这个问题,并成为了目前最先进的人脸图像合成模型。
我个人认为这是一个相当大的突破,毫不夸张地说。其他许多生成模型可能能够改善它们的物体一致性,并使视频更加清晰和准确。希望我们很快也能获得一些好的动漫生成 lol无别名 GAN[项目页面] https://nvlabs.github.io/alias-free-gan/[论文] https://nvlabs-fi-cdn.nvidia.com/alias-free-gan/alias-free-gan-paper.pdf[非官方实现] https://github.com/rosinality/alias-free-gan-pytorch!!!! 2021 年 10 月 11 日更新 !!!![StyleGAN3] https://github.com/NVlabs/stylegan3StyleGAN2[论文] https://arxiv.org/abs/1912.04958[GitHub] https://github.com/NVlabs/stylegan2