数据集Nuscence

数据集

数据集地址:Nuscence

论文

论文地址:nuScenes: A multimodal dataset for autonomous driving

论文解读

摘要

Robust detection and tracking of objects is crucial for the deployment of autonomous vehicle technology. Image based benchmark datasets have driven development in computer vision tasks such as object detection, tracking and segmentation of agents in the environment. Most autonomous vehicles, however, carry a combination of cameras and range sensors such as lidar and radar. As machine learning based methods for detection and tracking become more prevalent, there is a need to train and evaluate such methods on datasets containing range sensor data along with images.
稳健的物体检测和跟踪对于自动驾驶车辆技术的部署至关重要。基于图像的基准数据集推动了计算机视觉任务的发展,如环境中物体的检测、跟踪和分割。然而,大多数自动驾驶车辆配备了摄像头和距离传感器的组合,例如激光雷达和雷达。随着基于机器学习的检测和跟踪方法变得越来越普遍,迫切需要在包含距离传感器数据和图像的多模态数据集上训练和评估这些方法。

In this work we present nuTonomy scenes (nuScenes), the first dataset to carry the full autonomous vehicle sensor suite: 6 cameras, 5 radars and 1 lidar, all with full 360 degree field of view. nuScenes comprises 1000 scenes, each 20s long and fully annotated with 3D bounding boxes for 23 classes and 8 attributes. It has 7x as many annotations and 100x as many images as the pioneering KITTI dataset. We define novel 3D detection and tracking metrics. We also provide careful dataset analysis as well as baselines for lidar and image based detection and tracking. Data, development kit and more information are available online.
在这项工作中,我们提出了nuTonomy scenes (nuScenes),这是第一个包含全套自动驾驶车辆传感器的数据集:6个摄像头、5个雷达和1个激光雷达,全部具有360度视野。nuScenes包含1000个场景,每个场景时长20秒,全部用3D边界框为23类和8种属性进行了完整标注。它的标注数量是开创性的KITTI数据集的7倍,图像数量是KITTI的100倍。我们定义了新的3D检测和跟踪评估指标。我们还提供了对数据集的仔细分析,并为基于激光雷达和图像的检测和跟踪提供了基线模型。数据、开发工具包及更多信息均可在线获取。

### Nuscenes 数据集可视化实现方法 Nuscenes 是一个广泛应用于自动驾驶领域的大规模传感器数据集,其包含了丰富的多模态数据(如摄像头图像、激光雷达点云和毫米波雷达信号)。为了更好地理解和分析这些数据,通常需要对其进行可视化处理。 以下是基于 Python 的一种常见实现方式来完成 Nuscenes 数据集的可视化: #### 使用官方 API 进行可视化 Nuscenes 提供了一个功能强大的官方 API 来加载和渲染数据。通过该 API,可以直接访问并绘制点云或其他传感器数据[^1]。 下面是一个简单的代码示例,展示如何使用 `nusc.render_sample_data` 函数对 RADAR 前向数据进行可视化[^2]: ```python from nuscenes.nuscenes import NuScenes from nuscenes.utils.data_classes import RadarPointCloud, Box import numpy as np # 初始化NuScenes对象 nusc = NuScenes(version='v1.0-mini', dataroot='/path/to/nuscenes', verbose=True) # 获取特定样本 my_sample = nusc.sample[0] # 加载RADAR_FRONT的数据 radar_front_data_token = my_sample['data']['RADAR_FRONT'] radar_front_data = nusc.get('sample_data', radar_front_data_token) # 渲染RADAR_FRONT数据 nusc.render_sample_data(radar_front_data['token']) ``` 上述代码片段展示了如何利用 Nuscenes 官方库中的函数快速渲染指定的雷达数据帧。其中,`render_sample_data` 方法会自动调用 Matplotlib 或其他绘图工具生成二维或三维图形表示。 #### 自定义点云可视化 如果希望进一步自定义视觉效果,则可以通过提取原始点云数据来进行更精细的操作。例如,可以借助 Open3D 库创建交互式的 3D 场景。 以下是一段演示如何读取 LIDAR 点云并将它们显示在一个独立窗口内的脚本: ```python import open3d as o3d from nuscenes.utils.data_classes import LidarPointCloud lidar_top_data_token = my_sample['data']['LIDAR_TOP'] lidar_top_data = nusc.get('sample_data', lidar_top_data_token) # 载入LiDAR顶部扫描文件路径下的实际二进制内容 pc_lidar = LidarPointCloud.from_file(nusc.get_sample_data_path(lidar_top_data_token)) # 将numpy数组转换成Open3D PointCloud结构体形式 pc_o3d = o3d.geometry.PointCloud() pc_o3d.points = o3d.utility.Vector3dVector(pc_lidar.points.T[:, :3]) # 启动可视化界面 o3d.visualization.draw_geometries([pc_o3d]) ``` 此部分实现了从 Nuscenes 中导出 LiDAR 扫描记录,并将其作为输入传递给 Open3D 工具包以构建更加灵活可控的画面布局。 --- ### 总结 无论是采用内置的方法还是外部依赖项扩展功能,都可以有效地达成针对不同需求下对于复杂交通环境感知任务的支持目标。以上两种途径分别代表了简便快捷以及高度定制两个方向的选择方案[^3]。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

WeHarry

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值