canmengw的博客

北京大学2023年文献，在scannetv2数据集语义分割赛道上目前排名第二且不需要预训练模型 对于3D点云理解等任务，目前Point Cloud Transformers已经开始引起广泛关注，但是Point Cloud Transformers的效率仍然比CNN要低，特别是在处理像ScanNet这样的大规模数据集时。尽管Transformers的表达能力至少与CNN相当，但在点云上应用Transformers的主要挑战在于克服变换器的巨大计算复杂性，它与涉及的元素数量成二次关系。 为此本文提出

相比于传统的最大池化或平均池化，基于划分的池化将小块划分成多个子块，然后对每个子块进行独立计算，最后将它们组合起来得到整个小块的特征表达。在PCT的基础上进一步改进的点云处理方法，通过分组向量注意力(Grouped Vector Attention)和基于划分的池化机制，提高了对点云特征的提取和聚合能力，并在轻量级上有了新的突破。相比于传统的向量注意力，分组向量注意力将向量拆分成多个小块，然后对每个小块进行独立计算，从而降低了计算复杂度。4.点云解码:对整个点云的特征进行解码，得到点云的分类或分割结果。

其中Lseg为语义分割，Lctr为质心监督，Lmask和Ldice是实例分割的两个损失向，权重都设置为1.0，推理过程中采用对实例二进制掩码进行NMS，IoU阈值为0.3。与传统方法不同，传统方法直接将聚类视为单独的实例提议，会严重对提议质量产生依赖，这里通过探索点空间分布并集成上下文来生成用于实例解码的过滤器。2，将质心预测以及语义分割作为输入的权重生成，对质心共享类别预测的同质点来输出实例感知位置嵌入特定类别掩码和卷积。Pi是第i个点坐标，Ooff是第I项，ctr是相应实例几何质心，pi为指示函数。

通过引入一个实例内核，由一维向量表示，来对实例对象的语义，位置以及形状信息进行编码 首先在潜在的实例质心定位候选，之后设计一种候选合并方案来聚合重复候选并通过收集候选周围的上下文形成实例内核， 一旦实例内核可用就可以通过动态卷积重建，其权重是以实例内核为条件动态调整。 如何防止重复候选：通过局部归一化的非最大抑制算子提取质心，观察到重复啧被预测用于单个实例，设计一种迭代聚合机制在预测和合并分数图的指导下合并重复候选点。 主要贡献，创新： 1，将动态卷积思想扩展到实例内核中 2