HOH: Markerless Multimodal Human-Object-Human Handover Dataset with Large Object Count

HOH数据集文章总结与翻译

一、主要内容

本文提出了HOH（Human-Object-Human）交接数据集，这是一个大规模、无标记的多模态3D数据集，旨在推动人机交接、人工智能交接参数估计等相关研究。

核心数据构成

• 规模参数：涵盖136个物体（含116个市售品和20个3D打印品，分8个日常使用类别、17个形态/功能子类）、40名参与者组成20个交接对（含角色互换后共40组角色组合），累计2720次交接交互。
• 数据模态：包含多视角RGB和深度视频、骨骼数据、融合点云、抓取类型与用手习惯标签、2D/3D分割掩码、舒适度评分、物体元数据及对齐3D模型等。
• 采集方式：采用4台Kinect RGB-D传感器和4台FLIR Point Grey高速相机，实现360°无标记采集，记录坐姿交接场景以保证自然性和减少疲劳。

数据处理与标注

• 预处理：完成数据同步、点云融合、骨骼估计（基于OpenPose）、颜色映射等。
• 人工标注：借助Segment Anything Model（SAM）辅助标注关键事件帧（首次抓取、交接中、末次接触）、分割掩码，并按Cini等人的分类法标注抓取类型和用手习惯。
• 后处理：通过Track Anything跟踪掩码，利用迭代最近点（ICP）算法实现3D模型与帧的对齐，获取6DOF物体姿态。
</