CV每日论文--2024.7.11

1、V-VIPE: Variational View Invariant Pose Embedding

中文标题：V-VIPE：变分视图不变姿势嵌入

简介：学习从二维人物图像中表示三维人体姿势是一个具有挑战性的问题。为了使问题更加明确,常见做法是在相机坐标空间中估计三维姿势。但这使得比较两个三维姿势的任务变得困难。

本文提出了一种新的解决方法,将从二维图像中估计三维姿势的问题分为两个步骤。我们使用变分自编码器(VAE)在规范坐标空间中找到表示三维姿势的嵌入,称之为变分视角不变姿势嵌入(V-VIPE)。

使用V-VIPE,我们可以编码二维和三维姿势,并将嵌入用于下游任务,如检索和分类。我们可以使用解码器从这些嵌入中估计三维姿势,也可以生成看不见的三维姿势。V-VIPE编码的可变性使它能够很好地推广到从二维空间映射到看不见的相机视角。

据我们所知,V-VIPE是唯一提供这种应用多样性的表示。感兴趣的读者可以访问 https://v-vipe.github.io/ 获取更多信息和代码。

2、3D Gaussian Ray Tracing: Fast Tracing of Particle Scenes

中文标题：3D 高斯光线追踪：粒子场景的快速追踪

简介：本文介绍了一种基于粒子表示的辐射场重建和重新渲染方法,采用光线追踪技术来渲染复杂场景中的粒子。相比传统的光栅化方法,该方法具有以下优势:

1. 通过建立边界体层次结构,并使用高性能GPU光线追踪硬件为每个像素投射一条光线,能够有效处理大量半透明粒子。

2. 利用边界网格封装粒子,可以利用快速的光线-三角形相交,并按深度顺序对相交批次进行着色,提高了渲染效率。

3. 光线追踪技术能够处理不连贯的光线,实现诸如阴影和反射之类的二次光照效果,并支持从高度扭曲的相机进行渲染,以及随机采样光线等。

4. 相比光栅化方法,该方法在计算机图形学和视觉领域中提供了更高的灵活性,几乎无额外成本。

实验结果证明了该方法在速度和准确性方面的优势。此外,作者还提出了基本高斯表示的相关改进,包括使用广义核函数的方法,可以显著减少粒子命中数。

3、ConceptExpress: Harnessing Diffusion Models for Single-image Unsupervised Concept Extraction

中文标题：ConceptExpress：利用扩散模型进行单图像无监督概念提取

简介：个性化的文本到图像生成技术的进步,使得从多个图像中学习单个概念成为可能。然而,一个更实际且具有挑战性的场景是从单个图像中学习多个概念,这种情况下现有的方法严重依赖于广泛的人工标注。

在本文中,我们提出了一项名为无监督概念提取(UCE)的全新任务,它考虑了一个没有任何人类概念知识的无监督设置。给定一个包含多个概念的图像,该任务旨在仅依靠预训练扩散模型的现有知识,提取和重新创建各个概念。

为了实现这一目标,我们提出了ConceptExpress,它从两个方面发挥了预训练扩散模型的内在能力。具体来说,一种概念定位方法利用扩散自注意力的空间对应关系,自动定位和分离显著的概念;基于概念和概念令牌之间的关联,一种概念优化过程学习代表每个单独概念的判别令牌。

最后,我们建立了一个针对UCE任务量身定制的评估协议。大量实验表明,ConceptExpress是UCE任务的一个有前景的解决方案。我们的代码和数据可在以下链接中找到:https://github.com/haoosz/ConceptExpress