瞳孔反射重建3D，试验场景人人可构建！网友：我焯，黑科技我喜欢

转载 于 2023-06-20 12:14:08 发布 · 314 阅读 · 0 ·
CC 4.0 BY-SA版权
原文链接：https://mp.weixin.qq.com/s?__biz=MzIzNjc1NzUzMw==&mid=2247682652&idx=5&sn=360d1cd2b62002fde025a53f8d2092ed&chksm=e8debd2edfa93438696021ce98262bed983cceba4ab9f2ecd65eca45ca82fd2e74963840b9c6&scene=126&sessionid=0
文章标签：

#3d #科技 #计算机视觉 #人工智能

部署运行你感兴趣的模型镜像
尚恩 发自 凹非寺
量子位 | 公众号 QbitAI

你的眼睛已经暴露了一切！

现在，通过眼睛瞳孔反射的图像，就能直接实现3D全景重建。

这不是电影中的高科技情节，而是已被验证的真实实验结果。

5120d08968a46054fd7176da1b2a3058.gif

当我们看着别人的眼睛，我们也会捕捉到从角膜反射的光。就比如使用相机来拍摄别人眼睛，实际上我们也可以将他们的眼睛视为一组镜子。

通过在合成场景中放置眼睛模型，利用眼睛的反射就能实现全景重建。

d431b458eff590161e155da29ebe37cf.gif

对此网友惊呼：我焯！

a8ebf928fb38ceacd4d7bc74e2d70bcf.png

太牛了！蝙蝠侠的黑科技，我喜欢。

a57b52913755b352e841a9a3d6e459c3.png

也一些网友开始担忧，觉得这项技术会让自己的隐私暴露。

af0cc9b9a239e99b7cdd841dfc521e65.png

瞳孔反射重建3D，实验场景人人可构建

人类眼睛的反射性，本质就是一个被低估的信息来源。

最近，几个美国马里兰大学的学生搞了个实验，通过对移动人物的眼睛进行成像，发现可以利用眼睛反射恢复三维场景。并将实验结果发布论文，标题为Seeing the World through Your Eyes。

d9c62fa86d1e81ecc2f257682d4f3643.png

因为我们的眼睛在头部自然移动时会捕捉到多个视角的信息。

所以，实验团队基于这点，将经典的成像方法（比如照相机）和NeRF（神经辐射场）技术结合，通过使用静止相机，从头部移动下的眼睛图像中提取多视角线索。

但仅仅是通过这种方式，不足以直接进行建模。而且根据人体眼睛构造，在眼睛图像中的重建过程中还需要处理“眼球的球面形状、虹膜的反射性质以及角膜的折射效应”等因素。

为了解决这些个问题，实验团队大胆提出一种基于深度学习的方法。

3cf5f87e098fec712448ddf93ff8f1a2.png

首先，我们训练了一种神经网络，用来预测眼睛图像中的视角。然后，我们利用这些预测结果来建立眼球的形状模型，并通过反射和折射原理来提取眼球表面的反射信息。

接着，我们使用多个不同视角的眼睛图像，来还原场景的三维结构，并通过NeRF技术(神经辐射场)估计每个点在场景中的亮度。

通过上面方法，就能够从眼睛图像中恢复出观察者所见的全三维世界。

ff1916de91cb22f46d2500520a8ed3e8.gif

看过实验结果，是不是有一种wtf的感觉？

先别惊讶，实际上这场实验的训练结果，都是基于这样的场景得出的。

一位坐的笔直的试验对象，面前是一个专业相机、一个大型卡比玩偶，还有两个巨亮的聚光灯。

9abba0d1520c24390f1d690be0acf800.png

研究团队通过“精心”布置，基于上面这种场景来做实验，然后得出结论：可以用瞳孔反射实现三维建模。

为了证明技术理论具备普适性，研究团队也随机从互联网挑选了实验对象。比如，他们曾试图通过Miley Cyrus的MV来识别其眼神中的图像。

结果就是，因为视频质量，无法重建。

23dd12d645b222f6ec89d1fa397e0f00.gif

整个技术是基于这种“特定”场景下实现的。看完实验过程的网友表示：试验不错，但实验结果与实际结果从来都是两回事。

090ffc5c1a6133b0c62163257706c98f.png

并直言看到这个骚操作，就和用Wifi信号来建模3D人形一样（脑洞大开）。

598ef8a023e7dcd62b8292a2b2213531.png

震惊之余也有部分网友理性表示，不用大惊小怪，这种试验操作很多研究团队早就开始搞了。

cb3bcc96dbc3c58b6ccf9c94b6be0d9c.png

并非第一次

从瞳孔反射重建图像在计算机视觉领域一直属于热门话题，类似的试验其实早在20年前就已开始。

2004年哥伦比亚大学就发布了一篇论文The World in an Eye。

探讨了通过分析角膜的几何模型，可以从眼睛图像中获取人物周围的广角视图和注视点，并计算物体的三维结构，用于恢复眼球里的图像。

e0baeb4c0aa0d9f728421ee837e2e67f.png

纽约大学心理学系教授Rob Jenkins也曾在2013年发布论文，表明从照片中人物的瞳孔可以获取更多信息，比如照片拍摄者和旁观者的影像，可以用于案件侦破锁定嫌疑人。

25f7be89098bf05a6ad2d3848bf42e33.png

虽然已有不少类似的研究，不过以往的研究更多关注如何从眼睛图像中恢复整个全景图像。

这次试验的创新点在于，通过一些方法可以很好地恢复观察者所见的全景三维世界，不局限于重建单个全景环境。

网友：CSI重现

无论过程怎样，结果才是最重要的，尤其对一众吃瓜网友来讲。

看过瞳孔3D建模后，大量网友表示，CSI犯罪调查现场的场景得以实现了！

6fecc4c4c50ddd09fa549302c46ebe28.png
459a5289fb6732f9b5b1b65eec281cd5.png
da953293cecc9bfbeb98cb8221634061.png

而剧情里，探员正是通过放大和增强模糊的监控视频，看到受害者角膜有凶手的倒影，案件找到突破口。

事实上这种骚操作一直备受犯罪类题材影视剧青睐，最早可以追溯到1948年的“反案记”(Call Northside 777)，而真正引入计算机分析瞳孔视图技术的电影，当属1982年雷德利·斯科特执导的经典电影《银翼杀手》。

想象力推动着科技的发展，而科技的进步又为我们的想象力提供了更广阔的空间。

以前电影中的黑科技，现在也不仅仅局限于理论层面。

回到论文本身，即使研究也有一些瓶颈，但不可否认，这些实验在恢复场景的几何形状、表面细节方面都取得了很好的效果，而且在人脸识别和VR等应用中也有不少价值。

你觉得这个实验如何呢？

论文传送门：
https://arxiv.org/abs//2306.09348

参考链接：
[1]https://twitter.com/sterlingcrispin/status/1669781912758648832
[2]https://world-from-eyes.github.io/

— 完 —

「AIGC+垂直领域社群」

招募中！

欢迎关注AIGC的伙伴们加入AIGC+垂直领域社群，一起学习、探索、创新AIGC！

请备注您想加入的垂直领域「教育」或「电商零售」，加入AIGC人才社群请备注「人才」&「姓名-公司-职位」。

0ec3138bcbf887c9876ac3af500e2a1a.png

点这里👇关注我，记得标星哦～

您可能感兴趣的与本文相关的镜像

LobeChat

LobeChat

AI应用

LobeChat 是一个开源、高性能的聊天机器人框架。支持语音合成、多模态和可扩展插件系统。支持一键式免费部署私人ChatGPT/LLM 网络应用程序。

QbitAl
关注
博客
打工15年，被大厂裁4次了
12-07 55
的确比在微软有挑战性了很多，但好像有点太有挑战性了：刚进Meta的大门，工牌还没戴习惯，部门的产品规划就出了大纰漏，把整个团队折腾得鸡飞狗跳。然而随着AI的出现，同行开始疯狂抬package挖墙角，「消失术」每天都在老李身边上演——昨天同事还在对面喝咖啡，今天工位就干干净净了。，直接线下复用「公域获客→私域转化」的打法，还卖起了「可能提升牌运」的麻将周边，搞麻将比赛、做社群，生生把实体生意做成了互联网产品。，也能玩得很互联网——除了包子本身，还卖酒、做包子文创，把店铺打造成年轻人的「线下社交广场」。
博客
实测完豆包Seedream 4.5，替我设计师朋友哭了
12-07 53
清晨的微光穿过树林洒落其上，行人、骑行者与遛狗的居民沿栈道悠然前行，呈现出一幅静谧而富有生命力的画面。栈道两侧是一间间典型的北欧木屋，温暖的橡木墙面与暗蓝屋顶相互映衬。将几张图中元素融合到一张图中生成一张圣诞海报，画面主体是一颗大圣诞树，圣诞树下面摆放着礼物，海报上方写着“Merry Christmas”，字上要挂上小星星、气球装饰。画面上方，一轮淡金色的晨曦从云层背后升起，柔光照亮雾气，使光线在树林间散射出梦幻般的光晕。整体场景以木色、雾白与森林绿为主色调，辅以细腻的光影纹理，打造清新又富空间感的氛围。
博客
他们让万亿参数RL学会了「省着跑」，顺便砍掉九成算力
12-07 66
心智不只是存储的知识——它是能通过交互不断更新的世界模型、能从反馈中学习的内部机制、能动态感知任务的记忆系统。DeepSeek V3.2的技术报告里有个细节很值得玩味——RL训练的算力投入已经超过预训练的10%，而且性能曲线还在往上走。Mind Lab给出的解法是：用LoRA做参数高效适配，配合专门为万亿参数MoE模型设计的混合并行引擎，把RL的计算量砍到只剩十分之一，同时性能不打折。它持续生成接地的reward信号——编辑、使用模式、任务完成率、留存率，甚至用户的流失，都在告诉你系统到底有没有在帮忙。
博客
苹果芯片主管也要跑路！库克被曝出现健康问题
12-07 21
随着苹果从移动端的A系列芯片，到桌面级的M系列芯片，全面实现了旗下产品的芯片自研，斯鲁吉的职位也一路升至硬件技术副总裁、苹果高级副总裁、苹果硬件技术高级副总裁。Alan Dye离职的消息传出后，苹果就宣布挖走了Meta的首席法务官Jennifer Newstead，以接替已担任苹果总法律顾问8年的Kate Adams。而加入之初，他的职责就是领导A4的开发，即苹果第一颗自研系统芯片。最新爆料称，这位苹果自研芯片项目架构师，已经向库克表达了去意，并透露如果离开苹果，他将加入其他公司。
博客
Agent微调复活？英伟达开源8B新模型带飞GPT-5：在HLE狂卷37分，还把成本打下来
12-07 25
最近，来自英伟达和香港大学的研究员提出一种新范式：用一个8B小模型当指挥家，把代码解释器、网络搜索、数学模型、甚至更强的大模型当作乐手，按需编排、分工合作，用强化学习把“正确、便宜、合你心意”三件事同时做到。指挥家不会一味狂点GPT-5，而是平衡调用：本地/网页检索、代码执行、专长模型（如数学/编程）与通用LLM各司其职，用最省的刀切最对的菜。听你的：偏好对齐，对“更私的本地检索/更快/更省”等偏好，指挥家比强基座更能遵命行事，把“合你心意”从口号变成指标。他增强偏见：无脑调用“最强模型”，成本爆表。
博客
英伟达巧用8B模型秒掉GPT-5，开源了
12-06 55
MIT和CMU联合团队的ToolRL，提出以奖励为核心的工具学习框架，训练小模型通过强化学习动态选择工具，主要是解决“传统工具学习过度依赖人工标注数据” 的问题，通过自动生成工具交互轨迹训练模型。最明显的原因就是实用。大模型虽强，但太贵、太慢，而Orchestrator-8B参数量小，还能实现「强+省钱」，直接解决了落地时的成本难题。虽然也是奖励机制，但ToolRL的奖励函数更侧重于任务的正确性和工具调用效率，并没有明确纳入用户偏好，且工具库以基础工具和专业API为主。
博客
SpaceX估值8000亿美元超OpenAI，IPO就在明年
12-06 181
2008年，猎鹰1号在历经三次失败后终于成功入轨，这让SpaceX证明了自己——虽然是一家私营公司，但同样具备入轨能力。再到2025年，依靠猎鹰9号的高频复用，SpaceX实现了全球最高的发射能力，为大规模卫星星座的建设彻底铺平道路。比如，据彭博在内的另外几家媒体透露，SpaceX也可能以300美元左右/股进行交易，届时公司估值可能为5600亿美元，而非当前正在传的8000亿美元。到目前为止，SpaceX已经在火箭发射市场占据主导地位，除了帮一些商业卫星公司执行发射计划，也和NASA等官方机构多有合作。
博客
14岁华人小孩，折个纸成美国天才少年
12-06 48
而就是这些日常生活随处可见的普通纸张，让迈尔斯在一众背靠专业实验室设备的选手中脱颖而出，一举成为纽约名声大噪的天才少年。而就是这张看似平平无奇的折纸，却在此后成为了日本卫星太阳能板的关键结构，甚至NASA的可折叠太阳能阵列也曾受其启发。为了找出最优解，迈尔斯的研究囊括了4项变量：包括三种不同的平行四边形宽度、三种角度、两种高度，再加上三类纸张。神奇的是：在这54套方案中优胜的，并非尺寸较小、角度较小的板材，反倒是看似普普通通的复印纸。我完全是在没有任何专业设备的情况下完成的研究。
博客
智能体A2A落地华为新旗舰，鸿蒙开发者新机遇来了
12-06 646
当你沉浸在小红书的旅行攻略时，只需双指长按即可召唤分屏导航，左侧点击攻略里的景点，右侧的百度或高德地图瞬间就能响应定位，甚至能依据文中提到的多个地点自动规划出最佳路线，让导航出行一目了然。总之，A2A协作把人找服务的旧模式，变成了一声令下服务就主动找人的新形态，它让设备具备了组织能力，这不仅是效率的提升，更是消费电子设备进入主动智能协作阶段的里程碑。现在，只需对小艺下令，小艺就会作为主Agent，点个名就能自动调度并指挥第三方应用的子Agent，无需界面跳转，在小艺的对话框内就能完成任务。
博客
《三体》“宇宙闪烁”成真！免佩戴裸眼3D屏登Nature
12-06 72
长相上，它的大小和普通的24寸桌面显示器相当，但别小看这个尺寸，它的有效3D成像面积达到了0.1到0.2平方米，跟以前那种只能显示指甲盖大小的全息技术比起来，足足大了1000倍。它的思路不再是试图在整个空荡荡的空间里重建光场，而是利用传感器实时锁定观察者的眼球位置，通过精密计算，将有限的光学信息“聚拢”起来，只精准地投射到你双眼注视的那个小范围内。在实现这么多复杂效果的同时，它的画质一点没缩水，依然保持了1920×1080的高清分辨率，刷新率也超过了50Hz，画面非常流畅，完全能撑得起实时的动态内容。
博客
知名数学家辞职投身AI创业：老板是00后华人女生
12-06 115
是一个30年前的加法数论问题，涉及将整数表示为多个进制下的幂之和，在Axiom发布的前两天，Harmonic同样宣称解决了该问题，但只完成了简化版问题的证明，以及Lean形式化验证。在此期间还发表了9篇论文，涉及领域相当广泛，包括模椭圆曲线与K3曲面的L函数、月光猜想、theta与划分函数同余方程、堆栈排序算法，和二部图边染色的马尔可夫链。他主要的工作是推动内部AI模型达到性能极限，通过设计出只有深度理解数学原理才能够解决的数学问题，以及制定衡量系统性能的基准，指导模型优化。几周前，OpenAI曾声称。
博客
谷歌新架构突破Transformer超长上下文瓶颈！Hinton灵魂拷问：后悔Open吗？
12-05 89
现在AI领域已经达成共识的是，Transformer虽好，但自注意力机制的效率问题正在日益凸显：每个token都要“关注”其他所有token，导致计算量和内存消耗与序列长度的平方成正比。它把从长期记忆中提取的信息，当作是历史信息的“摘要”，与当前的短期输入一起进行处理。其中的关窍是“意外”。本质上，可以说这个新架构的重点，是重新定义Transformer的“记忆模式”，将其进化为一种更强大的混合架构。是Titans架构的一种主要变体，设计思路是，将长期记忆作为一种额外的上下文信息，直接“喂”给注意力机制。
博客
Office危！阿里千问这回把“办公全家桶”打包进了对话框
12-05 118
更实用的一点是，生成完还能改，我觉得这是这次升级最最最实用的功能点，毕竟我们平时让AI帮我们生成的PPT都不支持修改，最后还是要挪到office里搞，很麻烦。除了生成、编辑、格式调整外，在这次升级中，千问还支持Word/PPT/PDF/Excel等各类格式转换，确保用户相关操作在一个APP里就能完成。从排版格式上来看，文字行间距、字间距、大小标题的位置都没乱，内容也被分成了清晰的序号区块，整体观感还是比较舒服的。此外，PPT美观程度也是我们很care的点，现在我们在千问中可以直接更换PPT。
博客
优理奇机器人完成两轮合计3亿元天使++++轮及天使+++++轮融资，“算法-硬件-场景”三位一体加速具身智能应用落地
12-05 55
优理奇构建了涵盖感知、决策、控制的完整技术栈，并通过UniTouch多模态感知模型、UniFlex、UniCortex等行业领先的“大小脑”模型组合，以及行业首款量产的8自由度仿生机械臂和开放工具链，显著提升了机器人在非结构化环境中的适应性与可靠性。深度参与产品定义，以“可教学、可编程、可复现”为特点，配备完整ROS2接口，为科研与教育提供高效基础设施，进一步巩固公司在技术生态中的影响力。顶尖的技术与工程团队、经过严苛验证的产品、清晰的商业化路径、强大的产业资本联盟以及政府层面的全力支持。
博客
视频模型也能推理，Sora2推理能力超过GPT-5
12-05 76
这种通过视频来“预知未来”的能力，让模型不仅能理解当下的物理规则，更能推演未来的连锁反应，这或许才是通往World Simulator那把关键的钥匙。反观视频模型，它们通过构建时空连贯的Chain-of-Frame进行推理，这种“视觉动力学”机制保证了无论场景多么复杂，每帧的视觉 Token 密度都保持稳定，从而天然地维持了空间连续性。值得注意的是，团队进行了一项严苛的对比实验：在完全相同的训练数据和接近的训练设置下，同时微调了Wan2.2-TI2V-5B 和 Qwen2.5-VL-7B。
博客
GPT-5从零提出量子物理新想法，物理学家写成论文已登Physics Letters B
12-05 115
通俗地说，我们熟悉的量子力学是 “线性” 的，那如果给它加一些 “非线性” 的修改（让量子状态的变化不仅和自身有关，还和整个系统的状态挂钩），能不能依然符合相对论的要求（比如信息不能超光速传播、物理规律不随观测角度变）。他指出，这是大模型在物理学中的常见问题：模型的专业知识覆盖整个文献领域，因此完全有能力引入来自遥远子领域的、听起来很合理的技术应用，而这些往往是最难发现的虚构内容。与大模型一起做研究，可能类似于与一位才华横溢但不可靠的人类天才合作，他能够产生深刻的洞见，但也会犯下简单和深刻的错误。
博客
北航领衔发布300页代码智能综述：从基础模型到智能体，一次读懂Code LLM全景图
12-05 70
From Code Foundation Models to Agents and Applications》一文是对过去几年代码智能领域的一次系统梳理：模型、任务、训练、智能体、安全与应用都被串联成了一条完整、连贯的技术链路。论文将风险拆分为数据安全、模型安全和执行安全三个层面：包括训练数据的许可证风险、模型生成的潜在漏洞、提示攻击、环境操控、以及代码执行带来的系统级风险。论文从需求理解、代码定位、跨文件生成、自动测试、APR（自动修复）、日志分析等任务切入，为每一步构建了对应的Agent框架和案例。
博客
谷歌最强大模型付费上线，在DeepSeek开源后被吐槽太贵
12-05 79
具体来说，在「深度思考」模式下，Gemini会开启迭代推理，能多轮打磨代码，生成更精细的程序，从而在可视化、原型设计和实验方面给出细节更丰富的交付结果。不给对手任何喘息的机会，Gemini 3 Pro刚给OpenAI按在地上锤完，谷歌转手又扔出一重磅炸弹——Gemini 3 Deep Think。这或许也能解释，为什么本该是谷歌又一大招的Gemini 3 Deep Think，最终却出乎意料的反响平平，评论区几乎清一色都在吐槽定价。该模型的底层技术衍生于Gemini 2.5 Deep Think——没错，
博客
Ilya刚预言完，世界首个原生多模态架构NEO就来了：视觉和语言彻底被焊死
12-05 659
而过去几年，行业陷入了“唯规模论”的路径依赖，直到今天，以Ilya为代表的一批顶尖研究者才集体发出警示：Transformer架构的固有局限已日益凸显，仅靠堆叠算力和数据，无法通往真正的通用智能。它不仅重新定义了多模态模型的构建方式，更向世界宣告：AI的下一站，是回归到对智能本质的探索，通过根本性的架构创新，去构建能真正理解并融通多维信息的通用大脑。注意力机制是大模型的思考方式，在传统模块化模型里，语言模型的注意力是因果的（只能看到前面的词），而视觉编码器的注意力是双向的（能看到所有像素）。
博客
2025年的冬天，上海凭什么被称为“世界具身智能第一战场”？
12-05 71
真正的里程碑在于，在中国，以上海为代表的世界具身智能产业排头兵们，已经建立了一个让硅基生命能够“出生、成长、学习、就业”的完整生态系统。坐镇，她考核的不仅是摆放位置，更是机器人能否理解“留白”的意境，能否通过花材的疏密布局，表达出“孤独”或“热烈”的。行业的“定海神针” 发布的“青龙”全尺寸通用人形机器人开源公版机，通过开源图纸和架构，将全行业的起跑线向前推进了。2025年的冬天，黄浦江畔的风带着些许湿冷，但张江科学会堂周边的空气，却因高密度的算力运转而近乎沸腾。具身智能的大脑训练需要极高的算力支持。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值