16、Tacformer：用于触觉物体识别的自注意力脉冲神经网络

Tacformer：用于触觉物体识别的自注意力脉冲神经网络

1. 引言

触觉是人类和机器人感知物体属性的重要信息来源。人类可以通过触觉轻松判断物体的类型和进行操作分类。例如，当我们用手握住物体时，皮肤变形的空间变化为精细物体识别提供了重要线索。在探索过程中，人类会更关注那些能带来更多刺激的点，而不是平等对待整个接触区域。以区分乐高积木和普通砖块为例，乐高积木的凸起比普通砖块的光滑表面能提供更多信息。这些受刺激的点可以通过实际物理空间位置构建一个触觉图，图中的信息会被发送到大脑以识别物体类型。因此，使用图形机制和注意力机制来描述物体是有意义的。

为了让机器人在日常生活中提供帮助，如物体分类，提供物体的触觉信息至关重要。受人类皮肤的启发，事件驱动的触觉阵列传感器被用于赋予机器人触觉。当这些传感器的点与物体相互作用时，它们会异步感知变化并提供基于事件的脉冲序列。事件驱动阵列传感器中点的空间结构以及它们的传感器值对于解释物体至关重要。因此，需要算法来提取触觉感知的空间和时间信息。

在此，我们提出了一种用于触觉物体识别的残差图自注意力脉冲神经网络（Tacformer）。我们使用图卷积网络（GCN）来获取空间信息，并将注意力机制应用于脉冲神经网络（SNN）模型，以研究基于事件驱动阵列传感器的每个点的重要性。Tacformer有两个关键优势：一是该模型可以更好地利用阵列传感器的空间特性；二是SNN是事件驱动的，可以直接处理基于脉冲的数据，从而绕过了将离散事件转换为实值帧的潜在转换过程。实验表明，Tacformer在很大程度上提高了物体识别的准确性。

2. 相关工作

2.1 触觉传感与识别方法

触觉信息在物体识别中起着关键作用，