An Efficient PointLSTM for Point Clouds Based Gesture Recognition[CVPR2020]

最新推荐文章于 2024-09-12 08:39:32 发布

原创

最新推荐文章于 2024-09-12 08:39:32 发布 · 1.4k 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#深度学习 #点云 #手势识别

本文提出PointLSTM，一种结合LSTM处理点云序列的新方法，用于手势和动作识别。通过权值共享的LSTM层，PointLSTM能保留空间结构并传播历史信息。论文中探讨了两种处理点云序列的方式，包括点独立状态和点共享状态，并对邻近点的寻找策略进行了优化。实验表明，PointLSTM在点云序列学习中表现出优越的性能。

在这里插入图片描述 [论文链接]
$\qquad$ 本文提出了一种在保留空间结构的前提下实现信息从过去帧传播到未来帧的PointLSTM方法来对序列点云数据做手势识别和动作识别。PointLSTM通过权值共享的LSTM层，将过去帧邻近点的状态信息与当前特征相结合，更新当前状态。这种方法可以集成到许多其他的序列学习方法中。

$\qquad$ 近年来RNN和LSTM在序列建模上取得了成功，利用LSTM可以从时空的一致性捕捉到运动和外观随时间的变化。论文中所使用的长短期记忆网络为一般的LSTM：
$\pmb{h}^{(t)},\pmb{c}^{(t)}=\mathbf{LSTM}(\pmb{y}^{(t)},\pmb{h}^{(t-1)},\pmb{c}^{(t-1)}).$
$\qquad\pmb{h}^{(t)}$ 为隐状态， $\pmb{c}^{(t)}$ 为细胞状态。
在这里插入图片描述
$\qquad$ 接下来，作者提出了使用LSTM处理点云序列的两种方式：

$\qquad$ $(a)$ Point-independent states：考虑序列中的每个点 $p_i^{(t)}$ 拥有独立的隐状态和细胞状态。由于输入的点云通常为无序的集合，因此邻近的两帧点云之间没有精确的对应关系。这里作者放松了限制，使用当前帧中点在先前帧中的邻近点来代替。首先将先前帧中的临近点的特征传递给下一阵，然后在统一进行处理。对每个点对 $p_i^{(t)},p_j^{(t-1)})$ ， $p_j^{(t-1)}\in N_{-1}(\pmb{x}_i^t)$ 进行如下操作：
$\pmb{y}_{i,j}^{(t)}=[\pmb{x}_i^{(t)}-\pmb{x}_j^{(t-1)};\pmb{f}_i^{(t)}] \\ \tilde{\pmb{h}}_{i,j}^{(t)},\tilde{\pmb{c}}_{i,j}^{(t)}=\mathbf{LSTM}(\pmb{y}_{i,j}^{(t)},\pmb{h}_j^{(t-1)},\pmb{c}_j^{(t-1)})$