KITTI Tracking dataset whose format is letf_top_right_bottom to JDE normalied xc_yc_w_h

本文介绍如何将KITTI_tracking数据集转换为适应JDE跟踪模型的格式,包括处理Van和Car作为Vehicles,生成train文件用于训练,并详细解释了文件结构和关键步骤。

Transform KITTI tracking to normalized format which is adapt to JDE

  • Tracking 比 Detection 多一级子目录,稍微显得复杂
  • 此处认为 Van 和 car 都视为 Vehicles
  • 同时还生成了 .train个使得文件,直接用于训练
from glob import glob
import numpy as np
import os


class ConvertTxt(object):
    def __init__(self):
        self.label = r"E:\8_DataSet\KITTI_tracking\label_02" # 原始标签文件
        self.label_ids = r"E:\8_DataSet\KITTI_tracking\labels_with_ids" # 目标标签文件目录
        self.folder = "0000"
        self.file = "0000.txt"
        self.label_subdir = None

    @staticmethod
    def generate_kitti_train():
        # 注意本处生成的是以image为基准的train文件,包含所有图片,而通常情况下筛选后的lebels_with_ids则不行,会偏少
        # 修改就是使用 lebels_with_ids 为基准,然后将txt 使用replace 方法改为png
        path = os.walk(r"E:\8_DataSet\KITTI_tracking\image_02")
        for root, directories, files in path:
            for _dir in directories:
                line = "KITTI/image_02/{}/".format(_dir)
                _dir = os.path.join(r"E:\8_DataSet\KITTI_tracking\image_02", _dir)
                # dir_list.append(_dir)
                txt_list = os.listdir(_dir)
                with open("kitti-img.train", 'a') as f:
                    for item in txt_list:
                        line1 = line + item
                        f.writelines(line1)
                        f.writelines("\n")

    '''
    type--Describes the type of object:'Car', 'Van', 'Truck', 'Pedestrian', 'Pedestrian', 'Person_sitting', 'Cyclist', 'Tram', 'Misc', 'DontCare'
    bbox:
        bbox            2D bounding box of object in the image (0-based index):  contains `left, top, right, bottom` pixel coordinate
    '''

    def convert_label_with_id(self):
        label_txt = os.path.join(self.label, self.file)
        self.label_subdir = os.path.join(self.label_ids, self.folder)
        frame_array = []
        save_lines = []
        if not os.path.exists(self.label_subdir):
            os.mkdir(self.label_subdir)
        with open(label_txt) as f:
            lines = f.readlines()
            for line in lines:
                temp_list = line.strip("\n").split(" ")
                _frame, _id, _type, l, t, r, b = temp_list[0], temp_list[1], temp_list[2], temp_list[6], temp_list[7], \
                                                 temp_list[8], temp_list[9]
                if _type == 'Car' or _type == 'Van':
                    frame_array.append(_frame)
                    # TODO 是否将id赋值为 -1

                    xc, yc, w, h = self.lrtb2cxcywh(l, t, r, b)
                    l, t, r, b = xc, yc, w, h  # 正则化后的坐标,yolo格式
                    # save_line = "{} {} {} {} {} {}".format(0, -1, l, t, r, b)
                    save_line = "{} {} {} {} {} {}".format(0, _id, l, t, r, b)
                    save_lines.append(save_line)
        return frame_array, save_lines

    def write_one_file(self, frame_array, save_lines):
        number_list, value_list = self.clasify_frames(frame_array)
        line_count = 0
        for i in range(len(value_list)):
            _th, _hu, _ten, _n = self.transfer_int2txt(value_list[i])
            val_txt = "00{}{}{}{}.txt".format(_th, _hu, _ten, _n)
            txt_path = os.path.join(self.label_subdir, val_txt)
            with open(txt_path, 'w') as f:
                for j in range(int(number_list[i])):
                    f.writelines(str(save_lines[line_count]))
                    f.writelines("\n")
                    line_count += 1

    def write_files(self):
        file_list = []
        path = os.walk(self.label)
        for root, directories, files in path:
            for file in files:
                # dir = os.path.join(path,directory)
                file_list.append(file)

        for file in file_list:
            self.file = file
            self.folder = file.split(".")[0]

            frame_array, save_lines = self.convert_label_with_id()
            self.write_one_file(frame_array, save_lines)

    def clasify_frames(self, vec):

        '''
        input a sorted list or a array
        return a list whose element is tuple type, (value, number)
        '''
        length = len(vec)
        left = 0
        frame_list = []
        name_list = []
        for i in range(length):
            if vec[left] != vec[i]:
                frame_num = i - left
                frame_list.append(frame_num)
                name_list.append(vec[left])
                left = i
            if i == length - 1:
                frame_list.append(i - left + 1)
                name_list.append(vec[left])
        return frame_list, name_list

    @staticmethod
    def transfer_int2txt(frme):
        frme = int(frme)
        if frme == 0:
            _n = 0
        else:
            _n = frme % 10
        if frme >= 10:
            _ten = int(frme / 10) % 10
        else:
            _ten = 0
        if frme >= 100:
            _hu = int(frme / 100) % 10
        else:
            _hu = 0
        if frme >= 1000:
            _th = int(frme / 1000) % 10
        else:
            _th = 0
        return _th, _hu, _ten, _n

    def lrtb2cxcywh(self, l, t, r, b):
        l, t, r, b = float(l), float(t), float(r), float(b)
        image_w, image_h = 1242, 375
        xc, yc, w, h = self.pascal_voc_to_yolo(l, t, r, b, image_w, image_h)
        return xc, yc, w, h

    # KITTI tracking 2D 的高宽通道数分别为 375 1242 3
    # Convert Pascal_Voc bb to Yolo
    # [x_min, y_min, x_max, y_max] ---> [x_center, y_center, width, height]
    def pascal_voc_to_yolo(self, x1, y1, x2, y2, image_w, image_h):
        return [((x2 + x1) / (2 * image_w)), ((y2 + y1) / (2 * image_h)), (x2 - x1) / image_w, (y2 - y1) / image_h]


covert_test = ConvertTxt()
covert_test.write_files()

<think>好的,我需要回答用户关于运行`python -m pcdet.datasets.kitti.kitti_dataset create_kini_infos tools/cfgs/dataset_configs/kitti_dataset.yaml`这个命令所涉及的文件的问题。首先,我得分解这个命令的各个部分,理解每个部分的作用,然后确定相关的文件。 首先,用户运行的是一个Python模块,路径是`pcdet.datasets.kitti.kitti_dataset`,调用了`create_kitti_infos`函数,并传入了一个配置文件`kitti_dataset.yaml`。这说明该命令主要用于生成KITTI数据集的信息文件,可能用于3D目标检测任务,比如PointPillars或SECOND等模型的数据预处理。 接下来,我需要考虑这个命令执行过程中会涉及哪些文件。首先,配置文件`kitti_dataset.yaml`肯定是关键,因为它通常包含数据集的路径、类别、训练验证拆分等信息。然后,KITTI数据集本身的原始数据文件,比如图像、点云、标签等,这些通常在配置文件中指定的路径下。 然后,生成的infos文件,比如`kitti_infos_train.pkl`、`kitti_infos_val.pkl`和`kitti_infos_test.pkl`,这些文件保存了数据集的元信息,比如每个样本的路径、标注、校准参数等。此外,可能还有`kitti_dbinfos_train.pkl`,用于数据库增强的数据。 还有,`kitti_dataset.py`这个Python文件本身,里面定义了数据集类以及`create_kitti_infos`函数,负责处理原始数据并生成infos文件。可能还有相关的工具函数或类,比如数据预处理、数据增强的代码,或者与点云处理相关的模块。 另外,可能需要检查数据集目录结构是否正确,比如KITTI的标准目录结构是否包含`training`和`testing`子目录,里面分别有`image_2`、`velodyne`、`label_2`等文件夹。配置文件中的路径是否正确指向这些目录,否则会导致程序无法找到数据文件。 还可能涉及一些工具脚本或工具函数,比如数据预处理中的点云转换、标注解析等代码,这些可能在`pcdet.datasets`的其他模块中,比如`common_utils.py`或者`kitti_utils.py`等。 另外,生成infos的过程中可能需要读取校准文件(calib),比如每个帧的校准参数,这些通常位于`calib`文件夹中。标签文件(label)中的标注信息也需要被正确解析。 总结一下,涉及的文件主要包括: 1. 配置文件`kitti_dataset.yaml`:指定数据集路径、参数等。 2. KITTI原始数据集文件:图像、点云、标签、校准文件。 3. 生成的infos文件:保存处理后的元信息。 4. 数据集处理代码`kitti_dataset.py`中的`create_kitti_infos`函数。 5. 可能的工具脚本或辅助函数。 需要验证这些文件的存在和正确性,特别是配置文件中路径是否正确,原始数据是否按KITTI结构存放,是否有权限访问这些文件,以及Python代码是否正确安装或导入。 如果用户遇到问题,比如命令运行失败,可能的原因包括配置文件路径错误、数据集路径配置错误、缺少必要的依赖库或数据文件,或者代码中存在bug。需要根据错误提示具体分析,比如文件未找到、解析错误等,逐步排查。</think>运行命令 `python -m pcdet.datasets.kitti.kitti_dataset create_kitti_infos tools/cfgs/dataset_configs/kitti_dataset.yaml` 主要用于生成 KITTI 数据集的信息文件(如训练/验证/测试集的元数据),其执行过程依赖以下关键文件: --- ### **1. 配置文件** - **`kitti_dataset.yaml`** - **路径**: `tools/cfgs/dataset_configs/kitti_dataset.yaml` - **作用**: 定义数据集路径、类别名称、训练/验证/测试集划分规则等参数。 - **关键配置项**: ```yaml DATA_PATH: 'data/kitti' # KITTI数据集根目录 CLASS_NAMES: ['Car', 'Pedestrian', 'Cyclist'] # 目标类别 SPLIT: { # 数据划分规则 train: 'train', val: 'val', test: 'test' } ``` --- ### **2. KITTI 原始数据集文件** 需确保 KITTI 数据集按标准结构存放,路径需与 `kitti_dataset.yaml` 中的 `DATA_PATH` 一致: ``` data/kitti/ ├── training/ │ ├── image_2/ # 左视图RGB图像(.png) │ ├── velodyne/ # 点云数据(.bin) │ ├── label_2/ # 标注文件(.txt) │ └── calib/ # 标定参数(.txt) └── testing/ # 测试集(结构类似training) ``` --- ### **3. 生成的 Infos 文件** 命令执行后会在 `DATA_PATH` 下生成以下文件: - **`kitti_infos_train.pkl`**: 训练集的元数据(样本路径、标注、标定参数等) - **`kitti_infos_val.pkl`**: 验证集的元数据 - **`kitti_infos_test.pkl`**: 测试集的元数据(若测试集存在) - **`kitti_dbinfos_train.pkl`**: 用于数据增强的数据库信息(如目标物体的点云片段) --- ### **4. 代码文件** - **`kitti_dataset.py`** - **路径**: `pcdet/datasets/kitti/kitti_dataset.py` - **作用**: 包含 `create_kitti_infos` 函数,负责解析原始数据并生成 `.pkl` 文件。 - **关键流程**: 1. 按 `SPLIT` 配置读取训练/验证/测试集的文件列表。 2. 解析每帧的点云、图像、标注和标定参数。 3. 将元数据序列化保存为 `.pkl` 文件。 --- ### **5. 依赖工具函数** - **`data_utils.py`** 或 **`kitti_utils.py`** - **路径**: 通常位于 `pcdet/datasets/kitti/` 或 `pcdet/utils/` - **作用**: 提供点云读取、标注解析、坐标转换等底层函数,供 `kitti_dataset.py` 调用。 --- ### **执行流程总结** 1. **读取配置**: 从 `kitti_dataset.yaml` 加载数据集路径和参数。 2. **遍历数据**: 根据 `DATA_PATH` 和 `SPLIT` 配置找到所有训练/验证/测试样本。 3. **解析数据**: 对每个样本解析点云、标注、标定参数,生成结构化元数据。 4. **保存信息**: 将元数据序列化为 `.pkl` 文件,供后续训练/测试直接加载。 --- ### **常见问题排查** - **报错 `DATA_PATH not found`**: 检查 `kitti_dataset.yaml` 中的路径是否与实际数据集路径一致。 - **标注解析失败**: 确认 `label_2/` 文件格式符合 KITTI 标准(每行包含类别、位置、尺寸等)。 - **依赖缺失**: 确保已安装 `pypcd`(点云处理)和 `pickle5`(序列化)等库。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值