将自己的数据集格式(xml)转化成通义千问的微调格式(json)

本文介绍了如何使用Python解析XML文件,提取图像对象信息(包括名称和边界框),并将这些信息转换为JSON格式,模拟用户和助手之间的对话,存储在output.json文件中。
部署运行你感兴趣的模型镜像
import json
import os
import xml.etree.ElementTree as ET

# 初始化JSON数据结构

all_data=[]


# 指定XML文件所在的目录
xml_directory = '/Data/dfc/chengdeyancao'
i=0
# 遍历目录下的所有XML文件
for filename in os.listdir(xml_directory):

    if filename.endswith('.xml'):
        # 构建完整的文件路径
        file_path = os.path.join(xml_directory, filename)
        i=i+1
        # 解析XML文件
        tree = ET.parse(file_path)
        root = tree.getroot()
        file_name = root.find('filename').text
        json_data = {
            "id": f"identity_{i}",
            "conversations": []
        }
        for obj_elem in root.findall('object'):
            # 提取必要的数据
            object_name = obj_elem.find('name').text
            bbox = obj_elem.find('bndbox')
            if bbox is not None:  # 确保bndbox元素存在
                xmin = int(bbox.find('xmin').text)
                ymin = int(bbox.find('ymin').text)
                xmax = int(bbox.find('xmax').text)
                ymax = int(bbox.find('ymax').text)
            else:
                # 处理bndbox不存在的情况
                print(f"Warning: No bounding box found in {filename}")
                continue

            # 创建单个conversation对象并添加到JSON数组中
            conversation1 = {
                "from": "user",
                "value": f"Picture 1: <img>{file_name}</img>"
            }
            json_data['conversations'].append(conversation1)

            conversation = {
                "from": "assistant",
                "value": f"<ref>{object_name}</ref><box>({xmin},{ymin}),({xmax},{ymax})</box>。"
            }
            json_data['conversations'].append(conversation)

        all_data.append(json_data)


# 将JSON对象转换为字符串并保存到文件中
with open('output.json', 'w', encoding='utf-8') as f:
        json.dump(all_data, f, ensure_ascii=False, indent=2)

print("转换完成,所有XML文件的数据已整合到output.json文件中。")

根据自己的xml文件进行相应修改里头的属性

您可能感兴趣的与本文相关的镜像

Python3.9

Python3.9

Conda
Python

Python 是一种高级、解释型、通用的编程语言,以其简洁易读的语法而闻名,适用于广泛的应用,包括Web开发、数据分析、人工智能和自动化脚本

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值