小技巧(5):将TT100K数据集转成VOC格式,并且用Python脚本选出45类超过100张的图片和XML

本文详细介绍了如何将TT100K数据集转换为符合VOC标准的格式,包括创建VOC文件夹结构、生成XML文件、删除不符合条件的图片及XML、以及生成train和val txt文件,以便于后续的图像分类任务。

上一篇:小技巧(4):将txt中的某两列数据写入csv文件中,制作图像分类标签

一、相关准备

1.1 下载数据集

http://cg.cs.tsinghua.edu.cn/traffic-sign/data_model_code/data.zip
TT100K数据集下载下来大概19.2G,解压后的文件夹如图
在这里插入图片描述

1.2 下载代码文件

https://github.com/cqfdch/TT100K_to_VOC

1.3 将相关文件移入代码文件

在这里插入图片描述

讲TT100K中的train文件、test文件夹、annotations.json文件移入代码文件夹。

二、创建标准的VOC文件夹

import os

# 建立相关文件夹
# build voc2007 folder structure
def make_voc_dir():
    root_dir = os.getcwd()
    os.makedirs(root_dir+'/VOC2007')
    os.makedirs("VOC2007"+'/Annotations')
    os.makedirs("VOC2007" + '/JPEGImages/ ')
    os.makedirs("VOC2007"+'/ImageSets')
    os.makedirs("VOC2007"+'/ImageSets/Main')

if __name__ == '__main__':
    make_voc_dir()

在这里插入图片描述

三、生成整个数据集的XML文件

import os
import json
from lxml import etree as ET
from xml.dom import minidom
#找出训练集和测试集中的不在45类的标注图片的id
def edit_xml(objects, id, dir):
    save_xml_path = os.path.join(dir, "%s.xml" % id)  # xml

    root = ET.Element("annotation")
    # root.set("version", "1.0")  
    folder = ET.SubElement(root, "folder")
    folder.text = "none"
    filename = ET.SubElement(root, "filename")
    filename.text = id + ".jpg"
    source = ET.SubElement(root, "source")
    source.text = "none"
    owner = ET.SubElement(root, "owner")
    owner.text = "halftop"
    size = ET.SubElement(root, "size")
    width = ET.SubElement(size, "width")
    width.text = str(2048)
    height = ET.SubElement(size, "height")
    height.text = str(2048)
    depth = ET.SubElement(size, "depth")
    depth.text = "3"
    segmented = ET.SubElement(root, "segmented")
    segmented.text = "0"
    for obj in objects:  #  
        object = ET.SubElement
### TT100K 数据集格式换方法 TT100K 数据集是一种广泛应用于交通标志检测识别任务的公开数据集[^1]。该数据集通常以特定的标注格式提供,例如 JSON 或 XML 格式。为了将其换为其他格式(如 COCO、Pascal VOC 或 YOLO 格式),需要对数据集的结构标注内容进行解析重构。 以下是一个通用的换流程及代码示例: #### 1. 理解 TT100K 数据集的原始格式 TT100K 数据集的标注文件通常以 JSON 格式存储,包含图像路径、别标签以及边界框信息。例如,一个典型的 JSON 文件可能具有以下结构: ```json { "images": [ { "filename": "image_0001.jpg", "width": 1920, "height": 1080, "regions": [ { "category": "speedlimit_50", "bbox": [100, 200, 300, 400] }, { "category": "stop", "bbox": [400, 500, 600, 700] } ] } ] } ``` 上述结构中,`regions` 列表包含了每个目标的边界框坐标。 #### 2. 换为目标格式 ##### (1) 换为 COCO 格式 COCO 格式要求将标注信息组织为 `annotations` `categories` 等字段。以下是一个 Python 示例代码,展示如何将 TT100K 数据集换为 COCO 格式: ```python import json def convert_to_coco(tt100k_json_path, output_path): with open(tt100k_json_path, 'r') as f: tt100k_data = json.load(f) images = [] annotations = [] categories = {} annotation_id = 1 for image_info in tt100k_data['images']: image_id = len(images) + 1 images.append({ "id": image_id, "file_name": image_info["filename"], "width": image_info["width"], "height": image_info["height"] }) for region in image_info["regions"]: category = region["category"] if category not in categories: categories[category] = len(categories) + 1 bbox = region["bbox"] x, y, w, h = bbox[0], bbox[1], bbox[2] - bbox[0], bbox[3] - bbox[1] annotations.append({ "id": annotation_id, "image_id": image_id, "category_id": categories[category], "bbox": [x, y, w, h], "area": w * h, "iscrowd": 0 }) annotation_id += 1 coco_data = { "images": images, "annotations": annotations, "categories": [{"id": v, "name": k} for k, v in categories.items()] } with open(output_path, 'w') as f: json.dump(coco_data, f, indent=4) convert_to_coco("tt100k.json", "coco_output.json") ``` ##### (2) 换为 Pascal VOC 格式 Pascal VOC 格式使用 XML 文件存储标注信息。以下是一个 Python 示例代码,展示如何将 TT100K 数据集换为 Pascal VOC 格式: ```python import xml.etree.ElementTree as ET def create_voc_xml(image_info, output_dir): root = ET.Element("annotation") folder = ET.SubElement(root, "folder") folder.text = "TT100K" filename = ET.SubElement(root, "filename") filename.text = image_info["filename"] size = ET.SubElement(root, "size") width = ET.SubElement(size, "width") width.text = str(image_info["width"]) height = ET.SubElement(size, "height") height.text = str(image_info["height"]) depth = ET.SubElement(size, "depth") depth.text = "3" for region in image_info["regions"]: obj = ET.SubElement(root, "object") name = ET.SubElement(obj, "name") name.text = region["category"] bndbox = ET.SubElement(obj, "bndbox") xmin = ET.SubElement(bndbox, "xmin") xmin.text = str(region["bbox"][0]) ymin = ET.SubElement(bndbox, "ymin") ymin.text = str(region["bbox"][1]) xmax = ET.SubElement(bndbox, "xmax") xmax.text = str(region["bbox"][2]) ymax = ET.SubElement(bndbox, "ymax") ymax.text = str(region["bbox"][3]) tree = ET.ElementTree(root) output_file = f"{output_dir}/{image_info['filename'].split('.')[0]}.xml" tree.write(output_file) # 假设 tt100k_data 是加载的 TT100K 数据 for image_info in tt100k_data['images']: create_voc_xml(image_info, "voc_output") ``` ##### (3) 换为 YOLO 格式 YOLO 格式要求将标注信息存储为 `.txt` 文件,每行表示一个目标的归一化后的边界框坐标。以下是一个 Python 示例代码,展示如何将 TT100K 数据集换为 YOLO 格式: ```python def convert_to_yolo(tt100k_json_path, output_dir, class_mapping): with open(tt100k_json_path, 'r') as f: tt100k_data = json.load(f) for image_info in tt100k_data['images']: output_file = f"{output_dir}/{image_info['filename'].split('.')[0]}.txt" with open(output_file, 'w') as f: for region in image_info["regions"]: category = region["category"] if category not in class_mapping: continue class_id = class_mapping[category] bbox = region["bbox"] x_center = (bbox[0] + bbox[2]) / (2 * image_info["width"]) y_center = (bbox[1] + bbox[3]) / (2 * image_info["height"]) width = (bbox[2] - bbox[0]) / image_info["width"] height = (bbox[3] - bbox[1]) / image_info["height"] f.write(f"{class_id} {x_center} {y_center} {width} {height}\n") class_mapping = {"speedlimit_50": 0, "stop": 1} convert_to_yolo("tt100k.json", "yolo_output", class_mapping) ``` ### 注意事项 在执行格式换时,请确保以下几点: - 检查原始数据集中是否有缺失或错误的标注信息。 - 确保别映射正确无误,尤其是在涉及多别的场景下。 - 在换过程中,注意边界框坐标的单位一致性(如像素值与归一化值之间的换)。
评论 63
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值