qq_50267787的博客

我们提出了 VISPROG，这是一种神经符号方法，用于根据自然语言指令解决复杂且组合的视觉任务。VISPROG 避免了任何特定于任务的训练（无需训练）。相反，它使用大型语言模型的上下文学习能力来生成类似 Python 的模块化程序，然后执行这些程序以获得解决方案以及全面且可解释的基本原理。生成的程序的每一行都可以调用几个现成的计算机视觉模型、图像处理子程序或 Python 函数之一来产生中间输出，这些输出可能会被程序的后续部分使用。

摘要三维形状重建对于手术环境间接而狭窄的微创手术和自动机器人引导手术的导航至关重要。 然而，术中突发事件（如出血）和风险控制条件造成的信息缺乏和不完整问题尚未得到考虑。本文提出了一种新颖的分层形状感知网络（HSPN），以较低的延迟从单个不完整图像重建特定大脑的三维点云（PC）。我们构建了一个分支预测器和多个分层注意力管道，以生成能准确描述不完整图像的点云，然后高质量地完成这些点云。同时，设计了注意力门块 (AGB)，以有效聚合分层注意力管道传输的不完整 PC 的几何局部特征和重建点云的内部特征。利用所提

摘要语义标记与几何和辐射重建高度相关，因为具有相似形状和外观的场景实体更有可能来自相似的类。最近的隐式神经重建技术很有吸引力，因为它们不需要事先的训练数据，但同样的完全自监督方法对于语义来说是不可能的，因为标签是人类定义的属性。我们扩展神经辐射场（NeRF）来联合编码语义与外观和几何形状，以便使用少量特定于场景的就地注释来实现完整且准确的2D语义标签。 NeRF 内在的多视图一致性和平滑性通过使稀疏标签能够有效传播而有益于语义。当房间规模场景中标签稀疏或非常嘈杂时，我们展示了这种方法的好处。我们在各种

摘要NeRF [34] 等体积神经渲染方法可生成高质量的视图合成结果，但针对每个场景进行优化，导致重建时间过长。另一方面，深度多视图立体方法可以通过直接网络进行推理快速重建场景几何。 Point-NeRF 通过使用神经 3D 点云以及相关的神经特征来对辐射场进行建模，从而结合了这两种方法的优点。 Point-NeRF 可以通过在基于光线行进的渲染管道中聚合场景表面附近的神经点特征来高效渲染。此外，Point-NeRF可以通过预先训练的深度网络的直接推理来初始化，以产生神经点云；该点云可以进行微调，以超越