22、社交机器人 Haru 的多模态数据融合用于人员感知

社交机器人 Haru 的多模态数据融合用于人员感知

在当今科技飞速发展的时代，社交机器人的应用越来越广泛。为了让社交机器人更好地感知周围的人员，多模态数据融合技术成为了关键。本文将详细介绍社交机器人 Haru 的传感器配置、社交功能模块以及人员数据融合模块，探讨如何通过多模态数据融合实现对人员的精准感知。

1. 机器人传感器

为了检测人员并获取周围环境的信息，桌面社交机器人 Haru 配备了多种传感器，这些传感器可以分为内部传感器和外部传感器。

1.1 内部传感器

• RGB 相机 ：每个机器人眼睛上方各有一个 RGB 相机，用于扫描二维码、拍照、识别人脸特征和近距离手势。
• 麦克风阵列 ：机器人底部分布着 6 个单向麦克风，用于检测声音及其来源位置。
• Orbbec RGBD 相机 ：位于机器人底部，可提供 RGB 图像和深度场，能识别相机前方 1.6 米内的人体部位。

1.2 外部传感器

• Azure Kinect 相机 ：目前最常用的外部传感器，可提供 RGB 图像、深度图像和麦克风功能，能扫描二维码、拍照、识别人脸和人体部位（最多 6 人）、检测声音及其来源位置。
• Kinect v2 相机 ：较旧版本的 Kinect，可输出 RGB 图像和深度图像，用于识别人体部位。
• Lea