开眼看世界(人眼NeRF)：使用人眼图像进行重建辐射场

开眼看世界(人眼NeRF)：使用人眼图像进行重建辐射场

Abstract

人眼的反射特性是一种未被充分利用的信息源，可以揭示周围世界的样貌。通过拍摄移动中的人物眼睛，我们可以通过眼睛中的反射捕捉到摄像机视线之外的场景的多个视角。在本文中，我们利用包含眼睛反射的肖像图像，重建出摄像机视线之外的辐射场。这项任务具有挑战性，因为两点：1）准确估计眼睛姿态非常困难，2）虹膜纹理与场景反射的外观相互交织。为了解决这些问题，我们的方法共同优化了角膜姿态、描述场景的辐射场以及观察者的虹膜纹理。此外，我们提出了一种针对虹膜纹理的正则化先验，以提高场景重建质量。通过在合成和真实世界的捕捉实验中，测试不同眼睛颜色和光照条件下的人物，我们展示了通过角膜反射恢复辐射场的可行性。

代码地址：https://world-from-eyes.github.io/

Instrodution

人眼是一种了不起的器官，不仅能够实现视觉，还包含了关于周围世界的宝贵信息。尽管我们通常利用自己的眼睛作为透镜，将光聚焦在视网膜上的感光细胞上，但如果我们观察其他人的眼睛，我们也可以捕捉到从角膜反射的光。当我们使用相机拍摄他人的眼睛时，我们实际上将他们的眼睛转变成整个成像系统中的一对镜子。由于从观察者眼睛反射的光源与到达其视网膜的光源相同，我们的相机可以形成包含观察者所见世界信息的图像。
之前的研究探索了从单个图像中手动指定的两只眼睛的对应关系中恢复观察者所见世界的全景图像和简单的3D结构，如盒子。后续工作进一步探索了个人识别、检测抓握姿势、聚焦物体估计、光照估计和重新照明等应用。鉴于最近3D视觉和图形学的进展，我们不禁想知道：我们是否可以不仅仅重建一个单一的全景环境图，简单的3D结构或识别模式？是否可