平板摄像头+算力搞定3D空间实时重建和理解，清华和禾多科技新成果入选CVPR 2022 Oral...

于 2022-08-16 13:53:48 发布
阅读量770 收藏 18
点赞数 1
CC 4.0 BY-SA版权
文章标签： 算法 网络 人工智能 机器学习 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/QbitAI/article/details/126376781
清华大学和禾多科技合作提出增量式稀疏卷积网络（INS-Conv），利用平板电脑即可实现3D空间的高效实时重建和理解，解决算法复杂度高、推理速度慢的问题。该成果被CVPR 2022收录，有望应用于自动驾驶等领域。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

明敏 发自 凹非寺
量子位 | 公众号 QbitAI

仅仅需要一个平板电脑，就能实现3D空间的实时重建和理解了！

682098f9058fb38370249f2a7bfb742e.gif

看，只要拿着平板电脑走一走，房间内的物体就能被实时重建、分割和识别出来，整个过程行云流水。

要知道，3D重建和语义理解，是机器人、自动驾驶、AR/VR等领域的关键共性技术，长期以来面临算法复杂度高，难以实时处理的挑战。

现在，只用一个小小的平板就搞定了。

bd253fd04a95471cc5e21cfc2cce9836.gif

这就是清华大学联合禾多科技提出的增量式稀疏卷积网络（INcremental Sparse Convolution，INS-Conv）。

在不损失性能的同时，极大地降低了算法的复杂度。

目前，该论文已被CVPR 2022（Oral）收录。

最低0.47元/天 解锁文章

200万优质内容无限畅学
QbitAl
关注
博客
o1核心贡献者离职后首发声：AI是史上最强杠杆，超越人力、资本和代码
07-17 31
但在现代社会，推动科学进步变得越来越复杂，前沿技术的复杂程度可能远远超出任何单个人的能力，而人类的智力增长相对停滞，跟不上科学复杂性的增长速度。与传统杠杆不同的是，AI不仅能够复制和扩展人类的某项具体能力，更重要的是它能够学习、推理和创造，这使得它既可以作为独立的杠杆发挥作用，也可以与其他杠杆形式相结合，产生更强大的复合效应。如果你写了一个应用程序，第一个用户从中获得了价值n，那么当你睡觉时，第二个用户下载使用这个程序，同样获得价值n——你的输出翻倍了，而你并没有做任何额外的工作。媒体杠杆的原理类似。
博客
Transformer危！谷歌MoR架构发布：内存减半推理速度还翻倍
07-17 23
在三种策略共同作用下，MoR通过在解码每个token时直接进行潜在思考，路由机制让模型能进行自适应推理，突破了先前固定思考深度的限制，实现了参数效率与自适应计算的统一。首先采用的递归Transformer，相比通过多个独特层构建token的标准Transformer，其直接将模型划分为递归块，复用一组共享参数池。：将每个递归步骤视作 “专家”，基于隐藏状态计算分数，通过阈值选择合适的token继续计算，采用层级过滤，优先为复杂token分配计算。
博客
人类击败OpenAI守住编程冠军！10小时激战两次反超，AI最后关头功亏一篑
07-17 12
10小时激战！人类最后关头实现超越，获得编程总决赛冠军~而原本始终保持领先优势的OpenAI，最终屈居第二。在刚刚落幕的AtCoder世界巡回总决赛上，12名决赛选手两天时间里展开角逐。结果过程还挺紧张刺激，尤其前两名的争夺上。OpenAI 在大部分比赛中都排名第一，本以为就这样了。人类开始反超，结果还剩1小时20分钟的时候，OpenAI又重新领先。不过还是没有坚持到最后。OpenAI总裁Greg Brockman发来贺电，中间还夹带私货：OpenAI位居第二。此时获得冠军的人类表示要累死了。网友：你看，模
博客
Claude Code出逃的主创又回来了！Anthropic：过去俩月我收入暴涨5.5倍，别走
07-17 21
以及，即便有重要角色在Anthropic和Cursor之间横跳，但不可否认的一个事实，那就是由于Cursor的AI功能在很大程度上由Claude系列提供支持，因此其收入增长也惠及Anthropic。官方表示，今年2月Claude Code正式发布，并在发布后的几个月里逐渐融入主流开发工作流程，包括与GitHub、GitLab、VS Code和JetBrains等IDE的集成。当时，Boris表示，他俩去了新公司以后，将致力于开发“类智能体”功能，即自动执行涉及多个步骤的复杂编程任务，以及其它产品。
博客
教程 | 如何做出 X 上爆火的 AI 蓝图动画
07-17 8
我们希望能给每个恐龙的背景加上自定义的大色块以及对应的点缀色，赋予恐龙不同的性格。使用风格代码来控制生成的最大好处是： 如果你想画一系列风格完全一样的图（比如一本绘本），用同一个代码就行了，非常方便省事。X 和 INS 上有很多优秀的创作者会经常分享自己发现的 sref code, 这是我们喜欢的三位，基本都是日更选手。一些小经验：Prompt 部分可以详细一些，出来的效果会更好，毕竟风格代码只控制其中风格的部分。接下来，我们只需要替换恐龙的品种以及想要的配色即可，剩余图片的prompt 如下。
博客
500美元刷新SOTA！训练成本砍到1/200，华人团队重构视频生成范式
07-17 8
与此同时，Pusa V1.0所需的参数更新数比Wan-I2V少10倍以上，这表明Pusa仅仅关注与时间相关的模块，从而保留了基础模型的先验知识。与其他会破坏基础模型架构的微调模型不同，Pusa采用VTA机制，从而实现最小、非破坏性的优化，将时间步长从标量扩大到矢量。这样就允许模型能对每帧的去噪进度和时间位置进行精细控制，从而更好地模拟现实中帧的时序演化，使生成的视频在动态表现上更连贯、自然。模型更小，意味着它能更快地进入每个人的电脑，而只有当技术真正服务于每一个创作者的时候，它才成为了真正的“菩萨”。
博客
苹果向英伟达生态妥协了！MLX框架主动适配CUDA
07-17 16
到了2019年，开发者社区又开始集体表达不满，甚至有大批请愿者发起签名，呼吁Tim Cook与英伟达和解，但至今苹果依然未恢复对新款英伟达GPU的macOS支持。：英伟达硬件在学术研究和大规模计算中应用广泛，支持CUDA能让开发者在Mac上本地开发测试，随后无缝部署到配备英伟达GPU的服务器或超级计算机上。彼时，苹果已先后发布M1、M2、M3系列芯片，MLX的出现，正是为了借助自研芯片的算力优势，填补苹果端侧AI生态的空白。为了满足开发者的需求，一直以“圈地自萌”著称的苹果，如今也不得已拥抱CUDA。
博客
深谋科技独家发布真正为人类服务的新一代人形机器人核心技术「声波传感 · 意念控制 · 高精视觉 · 类脑智能」
07-17 12
整套系统可根据不同SAW频率扰动，实现温度、湿度、气体、压力、磁、生物信息、六轴IMU等不同物理量的智能传感，结合神经网络人工智能分类识别算法，具备MHz级高频响应、强抗干扰、无线无源结构与生物兼容性，在提升感知灵敏度的同时显著降低功耗，不止是“看见”动态，更能在“看见中控制”，在变化中持续修正跟踪路径。认为，当前依赖海量数据与无限参数的大模型，虽在语言、文本和视觉方面取得成功，也展现出一定的推理能力，但其高能耗、低效率的学习特性，与人类所具备的高效、可泛化的高级智能仍存在很大差距。
博客
云计算一哥，刚刚重新定义了AI Agent的玩法
07-17 708
提供低延迟的无服务器环境，支持会话隔离，兼容任何代理框架（包括开源框架），能够处理多模态工作负载和长期运行的Agent。从技术角度来看，S3 Vectors推出了一种叫“向量桶”（vector buckets）的新存储类型，它有专门的API接口，让我们可以存储、访问和查询向量数据，而且不需要自己搭建任何基础设施。以上便是此次发布的主要内容了，整体来看，亚马逊云科技再一次从基础设施、模型框架以及应用三个层面来了个“大焕新”，而这一次的主角，毫无疑问就是AI Agent。
博客
1万tokens是检验长文本的新基准，超过后18款大模型集体失智
07-17 11
实验选取了保罗・格雷厄姆散文(PG essay)和arXiv论文作为背景数据（干草堆），针对其核心主题设计问题，并为每个问题生成8个与主题匹配且未出现在干草堆中的 “针”，通过5种嵌入模型计算“针-问题”余弦相似度，分为高、低相似度两组。实验设置了三种条件：基线（仅含“针”，无干扰项）、单一干扰项（“针”+1条随机位置的干扰项）、多重干扰项（“针”+4条随机分布的干扰项）。结果显示，针-干草堆相似度对模型性能的影响不统一，不同模型敏感度存在差异，但整体上随着输入长度增加，各相似度条件下的模型性能普遍下降。
博客
小哥硬核手搓AI桌宠！接入GPT-4o，听得懂人话还能互动，方案可复现
07-16 22
具体来说，就是分别确定三个肌腱在2D平面上的主拉力方向，形成一个总和为零的三角形，然后控制向量投影到每个肌腱的主轴上，计算调整每个肌腱的长度，并与目标方向对齐。此外关于触手的移动控制，为了简化控制过程，触手的三个肌腱，也就是一个3D空间被缩小到两个维度，这样就能直接使用电脑触控板作为输入。，通过模仿章鱼的抓取策略，能自动适应目标物体的尺寸和形状，并抓取尺寸相差超过两个数量级、重量达自身体重260倍的物体。另外配备的摄像头，可以有效听取用户对话，实现人工交互，也能更好地传递“宠物”的陪伴感。
博客
马斯克造了个AI女友
07-16 23
以星野和猫箱为例，和年初相比，其单日新增下载已不足当时的50%，几乎倒退回一年前的水平。数据显示，带火AI情感陪伴的鼻祖，Character.ai，表面上坐拥令人羡艳的2.33亿月活，但是用户付费率并不高，ARPU（每用户平均收入）低至0.72美元。这就像是，未来会有个虚拟平台，其中的NPC具有真正的智慧并且完全不可预测，他们可以不断的进化。这么看来，即便是xAI，即便是马斯克治下的工程师团队，也是知道怎么向上管理的（手动狗头）～现在马斯克推出的这个新产品，已经有网友表示，很像Character.AI。
博客
Jason Wei也被小扎带走：思维链开创者、o1系列奠基人！这次真挖到OpenAI大动脉了
07-16 16
但更多的是对OpenAI的工作模式进行了反思，肯定了其工作模式中很少有繁文缛节的务实精神，但也从人员到技术细数了OpenAI内部的诸多不足。在此之前，面对Meta的挖人攻势，OpenAI CEO还在内部PUA，说真正TOP的都还在，只不过有些“名单靠后”的人，“唯利是图”。在去年o1的“网友见面会”中，坐第一排C位的就是Jason Wei，他的旁边是o1的另一名关键人物赵盛佳，现在也被小扎“收入囊中”。Meta超级智能实验室为顶尖AI人才提供超乎想象的强大支持——直接向小扎汇报，并且最强GPU无上限随！
博客
OpenAI谷歌Anthropic罕见联手发研究！Ilya/Hinton/Bengio带头支持，共推CoT监测方案
07-16 11
此次文章的合著者之一Bowen Baker分享了他们OpenAI 3月份的一篇研究，展示了如何通过 CoT 监测捕获代码中的奖励攻击。CoT监测为前沿人工智能的安全措施提供了宝贵的补充，同时也了解到AI Agent如何做出决策的。然而，我们无法保证当前的可视程度会持续下去。另外，他们建议不要直接对前沿推理模型的CoT施加强大的优化压力，而应该对CoT进行不受限制的监测，不然该作弊的还是会作弊。在受控实验中，他们模型提供了关于正确答案的微妙提示，并测量了模型在推理过程中承认使用这些提示的频率。
博客
老黄投了个120亿美元最贵种子轮！但小钱：H20中国开卖，市值一夜暴涨1600亿美元
07-16 17
有一说一，产品方面，Thinking Machines Lab还是画大饼的状态，“接下来几个月我们将发布首款产品”。更恐怖的是这可能才只是开始，因为一些机构还在看多，看更多。Thinking Machines Lab的创立愿景，是“致力于构建一个让每个人都能获得知识和工具，让AI满足他们独特需求和目标的未来”。各种采访者都替他热了，但老黄的解释是“因为西装没来得及干洗，我只有一套西装，还有点被穿坏了。其中最瞩目的自然是英伟达，毕竟作为AI时代最大的受益者，再大的种子轮在4万亿美元市值的池子里，毛毛雨而已。
博客
完全透明开源的共情语音大模型，三阶段训练，四大模块实现端到端对话 | 紫东太初联合长城汽车开源OpenS2S
07-16 30
更重要的是，该技术实现了对语音情感表达的精准控制，能够以极低的人力成本，构建出内容丰富、高质量的训练数据集，为共情语音系统的发展注入强大动力。最为重要的是，团队开源了构建OpenS2S所需的所有资源，包括：训练与微调数据集、数据构建代码、模型权重以及预训练和微调代码，致力于赋能更广泛的研究社区，推动共情语音系统领域的创新与发展。在GitHub页面上还展示了若干语音到语音的共情对话样例。端到端语音到语音共情交互相对难以评测，按照两阶段的方式，先进行语音到文本的评测，再展示语音到语音的共情交互样例。
博客
首篇潜空间推理综述！模型思考不必依赖Token，带宽暴增2700+倍
07-16 14
混合AR-扩散（Hybrid AR-Diffusion）模型：结合扩散和自回归范式的优势，使用自回归前缀缓存机制，将已生成的稳定文本部分固定，只对不确定部分使用扩散优化。更多研究表明，这种信息流动并非单向的线性传递，还包含跨层信息流，甚至“反向注意力”机制表明，隐藏信息可以有效地从较高层传输到较低层，增强模型的推理能力。每次迭代都能访问完整的双向上下文，优化步数可在推理时调整。深层则负责输出优化和决策制定，接收来自中间层的表示信息，执行针对特定下游任务的语义转换，进行更复杂的逻辑整合并确定最终答案。
博客
7个月翻一番！AI agent能力飙升，METR报告揭示指数级进化规律
07-16 21
为了证明上面的问题，报告选取了9个benchmark，包括软件开发（METR‑HRS、SWE‑bench）、计算机使用（OSWorld、WebArena）、数学竞赛（Mock AIME、MATH）、编程竞赛（LiveCode-Bench)、科学问答（GPQADiamond）、视频理解（Video‑MME）、自动驾驶（Tesla FSD）和机器人仿真（RLBench）。在此前的测试中，METR将评估范围聚焦于软件开发和研究类任务，并发现AI agent的能力呈现出一种“摩尔定律”式的增长趋势——
博客
看遍奥斯卡后，VLM达到电影摄影理解新SOTA｜上海AI Lab开源
07-16 13
此外，尽管ShotVL只有3B参数，但它超越了GPT-4o和最强的开源模型Qwen2.5-VL-72B-Instruct，刷新SOTA，在电影语言理解方面设立了新的技术标准，同时提供了显著更低的部署和使用成本。在所有ShotBench维度上均实现了持续且显著的提升（增益达19.0%），确立了新的顶尖性能，并明确超越了最佳开源模型（Qwen2.5-VL-72B-Instruct）和专有模型（GPT-4o）。在所有配置中，SFT→GRPO的设置实现了最佳整体性能，证实了其在增强电影语言理解方面的有效性。
博客
只因一个“:”，大模型全军覆没
07-15 20
首先从原始的16万条训练数据中随机采样2万条，用GPT-4o-mini生成带推理开头语句的响应，但仅保留无实质内容的第一句话，并标记为“错误”。之前在上海科技大学就读本科，先学习了1.5年化学，后才转为计算机科学，主要研究以强化学习为中心，致力于推进RL在LLM后训练中的应用。作者本人也现身评论区，他认为，生成式奖励模型容易受到虚假奖励攻击，如何更好地避免类似情况发生，将是未来的研究方向。因此有网友表示，该发现揭示了模型稳健的重要性，而RLHF也需要严格对抗评估，构建更为可靠的LLM工作流程。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值