仅通过在照片上训练模型,机器学习就已在许多计算机视觉任务中达到了不错的准确性,基于这些不断发展的如3D对象理解在增强现实,机器人技术,自主性和图像检索等广泛应用方面具有巨大潜力。例如,今年早些时候,Google发布了MediaPipe Objectron(一套针对移动设备设计的实时3D对象检测模型),它们在完全注释的真实3D数据集上进行了训练,可以预测对象的3D边界框。
Objectron数据集是一个精简的,以对象为中心的视频剪辑的集合,其中随附有AR session元数据,其中包括相机姿势,稀疏点云以及周围环境中平面的特征。在每个视频中,相机都会在物体周围移动,从不同角度捕获物体。数据还包含每个对象的手动注释3D边界框,这些边界框描述了对象的位置,方向和尺寸。数据集包括15K带注释的视频剪辑,并补充了以下类别中的4M带注释的图像:bikes, books, bottles, cameras, cereal boxes, chairs, cups, laptops和shoes。此外,为了确保地理多样性,数据集来自五大洲的10个国家/地区。与数据集一起,Google还将共享3D对象检测解决方案用于四类物体:鞋子,椅子,杯子和照相机。这些模型是使用此数据集进行训练的,并在MediaPipe中发布。