EyeGAN: Gaze-Preserving, Mask-Mediated Eye Image Synthesis

最新推荐文章于 2025-01-02 00:57:50 发布

哦啦啦啊哦哦

最新推荐文章于 2025-01-02 00:57:50 发布

阅读量700

点赞数 2

文章标签：机器学习

本文链接：https://blog.youkuaiyun.com/qq_43108660/article/details/115185609

版权

EyeGAN: Gaze-Preserving, Mask-Mediated Eye Image Synthesis

生成指定凝视方向眼球图像

文章目录

一、摘要
二、相关工作
三、EyeGAN
四.实验
总结

本文的重点就是生成凝视指定方向的眼球图像。在作者之前已有的生成性对抗网络可以说产生了很好的生成眼球的结果。然而，控制生成图像的凝视方向已被证明是难以捉摸的。因此作者提出了基于cycleGAN的EyeGAN来生成确定凝视方向的眼睛图像。

一、摘要

具有指定注视方向的真实眼睛图像的自动合成对于多个应用领域是重要的。我们引入了EyeGAN，一种以期望的目标域的样式生成眼睛图像的算法，它继承了来自源域的图像中可用的注释。EyeGAN接受输入的三值遮罩，这些遮罩用作凝视方向的独立于域的代理。我们通过测量特定的凝视一致性指数来评估EyeGAN与竞争对手的眼睛图像合成算法的对比。此外，我们从多个实验(包括眼睛区域分割、瞳孔定位和注视方向估计)中得出的结果表明，与其他域转移算法相比，使用带有继承注释的眼睛生成图像进行网络训练具有更好的性能。

二、相关工作

1.UnityEyes

一种将大量可变眼区图像快速合成为训练数据的新方法。该方法结合了人眼区域的新型生成3D模型和实时渲染框架。该模型基于高分辨率的3D人脸扫描，并使用复杂的眼球材料和结构的实时近似，以及眼睑动画的解剖启发程序几何方法。我们表明，这些合成图像可用于估计在困难的野外场景中的凝视，即使是极端的凝视角度，或在瞳孔完全被遮挡的情况下。尽管只使用轻量级的近邻算法，也可以在野生数据集上获得具有竞争力的凝视估计结果。
可在线使用 UnityEyes 合成框架。