点云检测之Point Transformer V2: Grouped Vector Attention and Partition-based Pooling

Point Transformer V2是港大、因特尔实验室和马克斯·普朗克研究所在2022年发表在NeurIPS的一篇论文
论文地址 ： Point Transformer V2

---

前言

  在2021年发表了一篇名为Point Transformer的论文，在这篇论文中，分析了 Point Transformer 的局限性，并提出了强大而高效的 Point Transformer V2 模型。

---

一、Grouped Vector Attention

  在向量注意力中，随着网络的深入和特征通道的增加，权重编码层的参数会急剧增加，会限制模型的效率和泛化能力。具体来说在标量注意力中，矩阵Value中每一个向量的所有通道的权重值是相同的，在向量注意力中，矩阵Value中每一个向量的所有通道的权重值是不同的，这样就导致了参数的增加。标量注意力的方法虽然参数少，但是可能无法获得向量中通道之间的关系，向量注意力的方法却可以关注到向量中通道之间的关系，调整每个通道的权重，但随之而来的问题就是参数数量的大量增加。

Attention groups

  为了避免上述问题，作者采用了分组的方法，将Value矩阵中每个向量的通道均匀的分成 g 组(1 ≤ g ≤ c)，并且在每组内共享同一个权重参数，用于解决模型性