如何利用python将NWPU VHR-10目标检测遥感数据集的格式转换成VOC目标检测数据集的格式

【记录】如何配置NWPU-CROWD数据集 如何预处理NWPU-CROWD数据集 阅读详情

VOC目标检测数据集的格式

其中图片存放在JPEGImages文件夹中,标注是xml文件,存储在Annotations文件中

关于train集和val集的txt划分存放在ImageSets文件夹下面的Main文件夹下

在这里插入图片描述
在这里插入图片描述

如下是VOC2012某张图片的标注信息xml文件
<annotation>
	<folder>VOC2012</folder>
	<filename>2008_006604.jpg</filename>
	<source>
		<database>The VOC2008 Database</database>
		<annotation>PASCAL VOC2008</annotation>
		<image>flickr</image>
	</source>
	<size>
		<width>500</width>
		<height>375</height>
		<depth>3</depth>
	</size>
	<segmented>0</segmented>
	<object>
		<name>aeroplane</name>
		<pose>Frontal</pose>
		<truncated>1</truncated>
		<occluded>0</occluded>
		<bndbox>
			<xmin>1</xmin>
			<ymin>97</ymin>
			<xmax>500</xmax>
			<ymax>375</ymax>
		</bndbox>
		<difficult>0</difficult>
	</object>
</annotation>

关于xml文件,python中有一条语句可以直接读取xml文件转换成python内置的字典格式。
对于运行测试,非常友好

这里是一篇关于VOC数据集标注格式的介绍

https://blog.youkuaiyun.com/m0_37970224/article/details/89212906

NWPU VHR-10数据集的格式

在这里插入图片描述
打开NWPU数据集的格式,只有简单的几个文件夹,标注信息是txt文件,存放在ground truth中。
在这里插入图片描述

采用的是字符串的标注信息。每个目标的标注信息为(x1,y1),(x2,y2),class_number五个数字表示。

只有positive image set中的图片有标注信息txt文件,每个txt文件的行数不固定,取决于该正样本图片中存在的目标个数。

negative image set中的图片没有标注信息txt文件。

在negative image set文件夹中有150张图片,这些图片中没有检测目标。

在这里插入图片描述

在positive image set文件夹中有650张图片,某一张正样本图片,有很多飞机模板目标在这里插入图片描述

所以说NWPU数据集的格式非常不规范,不利于数据预处理和运行,格式划分的非常随意,标注信息也不利于读取。将NWPU数据集的格式转换成VOC数据集的格式尤为重要。

总结一些坑

  • NWPU数据集负样本图片在negative image set中,也是从001.jpg开始的,非常不友好。需要将正样本图片重命名为000001 - 000650.jpg,需要将负样本图片重命名为000651 - 000800.jpg。同时输出图片的路径为/JPEGImages/
  • NWPU数据集负样本没有标注信息txt文件,这里也需要对负样本图片生成VOC标注格式的xml文件,里面包括图片的size信息,不含object对象的包围框信息。负样本输出的标注xml文件命名范围为000651 - 000800.xml,输出路径为/Annotations/
  • 正样本输出标注信息xml文件命名范围为000001 - 000650.xml,输出路径为/Annotations/

转换代码

"""
code  by lyf0801 in 2021.03.14
"""
import shutil
from lxml.etree import Element,SubElement,tostring
from xml.dom.minidom import parseString
import xml.dom.minidom
import os
import sys
from PIL import Image



# 处理NWPU VHR-10数据集中的txt标注信息转换成 xml文件
# 此处的path应该传入的是NWPU VHR-10数据集文件夹下面的ground truth文件夹的目录
# 即 path = "D:/pytorch_code/NWPUintoVOC/NWPU VHR-10 dataset/ground truth"
def deal(path):
    files=os.listdir(path)  # files获取所有标注txt文件的文件名
    # 此处可以自行设置输出路径  按照VOC数据集的格式,xml文件应该输出在数据集文件下面的Annotations文件夹下面
    outpath = "D:/pytorch_code/NWPUintoVOC/NWPU VHR-10 dataset/Annotations/"
    # 如果输出文件夹不存在,就创建它
    if os.path.exists(outpath) == False:
        os.mkdir(outpath)
    # 遍历所有的txt标注文件,一共650个txt文件
    for file in files:
        
        filename=os.path.splitext(file)[0] # 获取ground truth文件夹中标注txt文件的文件名,比如如果文件名为001.txt,那么filename = '001'
        print(filename)
        sufix=os.path.splitext(file)[1]#  获取标注txt文件的后缀名 判断是否为txt
        if sufix=='.txt':   # 标注txt文件中每一行代表一个目标,(x1,y1),(x2,y2),class_number来表示
            xmins=[]    
            ymins=[]
            xmaxs=[]
            ymaxs=[]
            names=[]
            
            # num,xmins,ymins,xmaxs,ymaxs,names=readtxt(path + '/' + file)    # 调用readtxt文件获取信息,转到readtxt函数
            path_txt = path + '/' + file     # 获取txt标注文件的路径信息
            # 打开txt标注文件
            with open(path_txt, 'r') as f:
                contents = f.read()    # 将txt文件的信息按行读取到contents列表中
                print("contents:")
                print(contents)
                """一个输出例子:
                contents:
                (563,478),(630,573),1
                """
                objects=contents.split('\n') # 以换行划分每一个目标的标注信息,因为每一个目标的标注信息在txt文件中为一行
                print("objects:")
                print(objects)
                """
                objects:
                ['(563,478),(630,573),1 ', '']
                """
                for i in range(objects.count('')): 
                    objects.remove('')    # 将objects中的空格移除
                print("objects:")
                print(objects)
                """
                objects:
                ['(563,478),(630,573),1 ']
                """
                num=len(objects) # 获取一个标注文件的目标个数,objects中一个元素代表的信息就是一个检测目标      
                #print(num)
                # 遍历 objects列表,获取每一个检测目标的五维信息
                for objecto in objects:    
                    print("objecto:")
                    print(objecto)	
                    xmin=objecto.split(',')[0]   # xmin = '(563'
                    xmin=xmin.split('(')[1]   # xmin = '563' 可能存在空格
                    xmin=xmin.strip()  # strip函数去掉字符串开头结尾的空格符

                    ymin=objecto.split(',')[1]  # ymin = '478)'
                    print("ymin:")
                    print(ymin)
                    ymin=ymin.split(')')[0]   # ymin = '478'  可能存在空格
                    ymin=ymin.strip()    # strip函数去掉字符串开头结尾的空格符

                    xmax=objecto.split(',')[2]  # xmax同理
                    xmax=xmax.split('(')[1]
                    xmax=xmax.strip()

                    ymax=objecto.split(',')[3]   # ymax同理
                    ymax=ymax.split(')')[0]
                    ymax=ymax.strip()

                    name=objecto.split(',')[4]  # 与上 同理
                    name=name.strip()

                    if name=="1 " or name=="1":  # 将数字信息转换成label字符串信息
                        name='airplane'
                    elif name=="2 "or name=="2":
                        name='ship'
                    elif name== "3 "or name=="3":
                        name='storage tank'
                    elif name=="4 "or name=="4":
                        name='baseball diamond'
                    elif name=="5 "or name=="5":
                        name='tennis court'
                    elif name=="6 "or name=="6":
                        name='basketball court'
                    elif name=="7 "or name=="7":
                        name='ground track field'
                    elif name=="8 "or name=="8":
                        name='harbor'
                    elif name=="9 "or name=="9":
                        name='bridge'
                    elif name=="10 "or name=="10":
                        name='vehicle'	
                    else:
                        print(path)			
                    # print(xmin,ymin,xmax,ymax,name)
                    xmins.append(xmin)
                    ymins.append(ymin)
                    xmaxs.append(xmax)
                    ymaxs.append(ymax)
                    names.append(name)
                print("num,xmins,ymins,xmaxs,ymaxs,names")
                print(num,xmins,ymins,xmaxs,ymaxs,names)
                """
                num,xmins,ymins,xmaxs,ymaxs,names
                1 ['563'] ['478'] ['630'] ['573'] ['airplane']
                """
            print("num,xmins,ymins,xmaxs,ymaxs,names")
            print(num,xmins,ymins,xmaxs,ymaxs,names)
            filename_fill = str(int(filename)).zfill(6)   # 将xml的文件名填充为6位数。比如1.xml就改为00001.xml
            
            filename_jpg = filename_fill + ".jpg"    # 由于xml中存储的文件名为000001.jpg 所以还得对所有的NWPU数据集中的图片进行重命名

            dealpath = outpath + filename_fill +".xml"

            # 注意,经过重命名转换之后,图片都存放在D:/pytorch_code/NWPUintoVOC/NWPU VHR-10 dataset/JPEGImages/中
            imagepath = "D:/pytorch_code/NWPUintoVOC/NWPU VHR-10 dataset/JPEGImages/" + filename_fill + ".jpg"
            with open(dealpath, 'w') as f:
                img=Image.open(imagepath) # 根据图片的地址打开图片并获取图片的宽 和 高
                width=img.size[0]
                height=img.size[1]
                # 将图片的宽和高以及其他和VOC数据集向对应的信息
                writexml(dealpath,filename_jpg,num,xmins,ymins,xmaxs,ymaxs,names, height, width)
    
    #  同时也得给negatiive image set文件夹下面的所有负样本图片生成xml标注
    negative_path = "D:/pytorch_code/NWPUintoVOC/NWPU VHR-10 dataset/negative image set/"
    negative_images = os.listdir(negative_path)
    for file in negative_images:
        filename = file.split('.')[0]  # 获取文件名,不包括后缀名
        filename_fill = str(int(filename) + 650).zfill(6)   # 将xml的文件名填充为6位数。同时加上650,比如1.xml就改为00001.xml
        filename_jpg = filename_fill + '.jpg'   # 比如第一个负样本001.jpg的filename_jpg 为000651.jpg
        ## 重命名为6位数
        print(filename_fill)
        ## 生成不含目标的xml文件
        dealpath = outpath + filename_fill +".xml"
        # 注意,经过重命名转换之后,图片都存放在D:/pytorch_code/NWPUintoVOC/NWPU VHR-10 dataset/JPEGImages/中
        imagepath = "D:/pytorch_code/NWPUintoVOC/NWPU VHR-10 dataset/JPEGImages/" + filename_fill + ".jpg"
        with open(dealpath, 'w') as f:
            img = Image.open(imagepath)
            width = img.size[0]
            height = img.size[1]
            # 将宽高和空的目标标注信息写入xml标注
            writexml(dealpath,filename_jpg,num = 0,xmins = [],ymins = [],xmaxs = [],ymaxs = [],names = [],width=width,height=height)

    # with open()


# NWPU数据集中标注的五维信息 (x1,y1) denotes the top-left coordinate of the bounding box,
#  (x2,y2) denotes the right-bottom coordinate of the bounding box
# 所以 xmin = x1  ymin = y1,  xmax = x2, ymax = y2  同时要注意这里的相对坐标是以图片左上角为坐标原点计算的
# VOC数据集对于包围框标注的格式是bounding-box(包含左下角和右上角xy坐标

# 将从txt读取的标注信息写入到xml文件中
def writexml(path,filename,num,xmins,ymins,xmaxs,ymaxs,names,height, width):# Nwpu-vhr-10 < 1000*600
    node_root=Element('annotation')

    node_folder=SubElement(node_root,'folder')
    node_folder.text="VOC2012"

    node_filename=SubElement(node_root,'filename')
    node_filename.text="%s" % filename

    node_size=SubElement(node_root,"size")
    node_width = SubElement(node_size, 'width')
    node_width.text = '%s' % width

    node_height = SubElement(node_size, 'height')
    node_height.text = '%s' % height

    node_depth = SubElement(node_size, 'depth')
    node_depth.text = '3'
    for i in range(num):
        node_object = SubElement(node_root, 'object')
        node_name = SubElement(node_object, 'name')
        node_name.text = '%s' % names[i]
        node_name = SubElement(node_object, 'pose')
        node_name.text = '%s' % "unspecified"
        node_name = SubElement(node_object, 'truncated')
        node_name.text = '%s' % "0"
        node_difficult = SubElement(node_object, 'difficult')
        node_difficult.text = '0'
        node_bndbox = SubElement(node_object, 'bndbox')
        node_xmin = SubElement(node_bndbox, 'xmin')
        node_xmin.text = '%s'% xmins[i]
        node_ymin = SubElement(node_bndbox, 'ymin')
        node_ymin.text = '%s' % ymins[i]
        node_xmax = SubElement(node_bndbox, 'xmax')
        node_xmax.text = '%s' % xmaxs[i]
        node_ymax = SubElement(node_bndbox, 'ymax')
        node_ymax.text = '%s' % ymaxs[i]

    xml = tostring(node_root, pretty_print=True)  
    dom = parseString(xml)
    with open(path, 'wb') as f:
        f.write(xml)
    return
# 该代码主要解决的是图片的重命名问题,因为voc的图片是从000001.jpg开始,而且是6位数
def imag_rename(old_path, new_path,start_number = 0):
    filelist = os.listdir(old_path)  # 该文件夹下所有的文件(包括文件夹)
    if os.path.exists(new_path) == False:
        os.mkdir(new_path)
    for file in filelist:  # 遍历所有文件
        Olddir = os.path.join(old_path, file)  # 原来的文件路径
        if os.path.isdir(Olddir):  # 如果是文件夹则跳过
            continue
        filename = os.path.splitext(file)[0]  # 文件名
        filetype = os.path.splitext(file)[1]  # 文件扩展名
        if filetype == '.jpg':
            Newdir = os.path.join(new_path, str(int(filename) + start_number).zfill(6) + filetype)  
            # 用字符串函数zfill 以0补全所需位数
            shutil.copyfile(Olddir, Newdir)

if __name__ == "__main__":
    
    # # 由于xml中存储的文件名为000001.jpg 所以还得对所有的NWPU数据集中的图片进行重命名处理
    # 解决positive image set文件夹中的重命名问题,start_number = 0
    old_path = "D:/pytorch_code/NWPUintoVOC/NWPU VHR-10 dataset/positive image set/"
    new_path = "D:/pytorch_code/NWPUintoVOC/NWPU VHR-10 dataset/JPEGImages/"
    imag_rename(old_path, new_path)
    # 解决negative image set文件夹中的重命名问题,start_number = 650
    old_path = "D:/pytorch_code/NWPUintoVOC/NWPU VHR-10 dataset/negative image set/"
    new_path = "D:/pytorch_code/NWPUintoVOC/NWPU VHR-10 dataset/JPEGImages/"
    imag_rename(old_path,new_path,start_number = 650)

    # path指定的是标注txt文件所在的路径
    path = "D:/pytorch_code/NWPUintoVOC/NWPU VHR-10 dataset/ground truth"
    deal(path)

    # VOC 数据集中的负样本是如何标注的,关于NWPU中的负样本图片也没有得到解决?

    # 如何划分NWPU的train集合和 val集合也是一个问题???
    # 随机划分吗?

经过核对,生成的xml文件和image文件信息完全和VOC2012数据集的格式完美匹配

在这里插入图片描述

在这里插入图片描述
可以看到生成的xml文件 和 NWPU标注的txt文件完全匹配。
在这里插入图片描述

最后的问题NWPU数据集压根就没有划分训练集和测试集的txt文件,这里必须手动划分,只能写一个split_data的脚本了

"""
this code was inspired by https://github.com/WZMIAOMIAO/deep-learning-for-image-processing/blob/master/pytorch_object_detection/faster_rcnn/split_data.py

recode by lyf0801 in 2021.03.14
"""
import os
import random

files_path = "./NWPU VHR-10 dataset/Annotations/"
if not os.path.exists(files_path):
    print("文件夹不存在")
    exit(1)
val_rate = 0.2  # 设置train数据集占80%,测试占20%

files_name = sorted([file.split(".")[0] for file in os.listdir(files_path)])
files_num = len(files_name)
print(files_num)
val_index = random.sample(range(0, files_num), k=int(files_num*val_rate))
train_files = []
val_files = []
for index, file_name in enumerate(files_name):
    if index in val_index:
        val_files.append(file_name)
    else:
        train_files.append(file_name)

try:
    train_f = open("train.txt", "x")
    eval_f = open("val.txt", "x")
    train_f.write("\n".join(train_files))
    eval_f.write("\n".join(val_files))
except FileExistsError as e:
    print(e)
    exit(1)

得到划分后的train.txt和val.txt

在这里插入图片描述
在这里插入图片描述

由于 是均匀随机划分的。

train.txt中包含 520个正样本,占总正样本数目的80%,120个负样本,占总负样本数目的80%;
val.txt中包含 130个正样本,占总正样本数目的20%, 30个负样本,占总负样本数目的20%。

然后自己手动改一个json类别信息对应文件

在这里插入图片描述

至此,NWPU数据集的格式完全转换成了VOC2012数据集的标注格式。

在这里插入图片描述

在pytorch中,还得给数据集写一个脚本用于定义Dataset class

"""
this code was inspired by https://github.com/WZMIAOMIAO/deep-learning-for-image-processing/blob/master/pytorch_object_detection/faster_rcnn/mydataset.py

recode by lyf0801 in 2021.03.14
"""
from torch.utils.data import Dataset
import os
import torch
import json
from PIL import Image
from lxml import etree


class NWPUVHR10DataSet(Dataset):
    """读取解析NWPU VHR-10数据集"""

    def __init__(self, nwpu_root, transforms,txt_name: str = "train.txt"):
        self.root = os.path.join(nwpu_root, "NWPU VHR-10 dataset")
        self.img_root = os.path.join(self.root, "JPEGImages")
        self.annotations_root = os.path.join(self.root, "Annotations")

        # read train.txt or val.txt file
        txt_path = os.path.join(self.root, "ImageSets", "Main", txt_name)
        assert os.path.exists(txt_path), "not found {} file.".format(txt_name)

        with open(txt_path) as read:
            self.xml_list = [os.path.join(self.annotations_root, line.strip() + ".xml")
                             for line in read.readlines()]

        # check file
        assert len(self.xml_list) > 0, "in '{}' file does not find any information.".format(txt_path)
        for xml_path in self.xml_list:
            assert os.path.exists(xml_path), "not found '{}' file.".format(xml_path)

        # read class_indict
        json_file = './NWPU VHR-10 dataset/nwpu_classes.json'
        assert os.path.exists(json_file), "{} file not exist.".format(json_file)
        json_file = open(json_file, 'r')
        self.class_dict = json.load(json_file)

        self.transforms = transforms

    def __len__(self):
        return len(self.xml_list)

    def __getitem__(self, idx):
        # read xml
        xml_path = self.xml_list[idx]
        with open(xml_path) as fid:
            xml_str = fid.read()
        xml = etree.fromstring(xml_str)
        data = self.parse_xml_to_dict(xml)["annotation"]
        img_path = os.path.join(self.img_root, data["filename"])
        image = Image.open(img_path)
        if image.format != "JPEG":
            raise ValueError("Image '{}' format not JPEG".format(img_path))

        boxes = []
        labels = []
        iscrowd = []
        assert "object" in data, "{} lack of object information.".format(xml_path)
        for obj in data["object"]:
            xmin = float(obj["bndbox"]["xmin"])
            xmax = float(obj["bndbox"]["xmax"])
            ymin = float(obj["bndbox"]["ymin"])
            ymax = float(obj["bndbox"]["ymax"])
            boxes.append([xmin, ymin, xmax, ymax])
            labels.append(self.class_dict[obj["name"]])
            if "difficult" in obj:
                iscrowd.append(int(obj["difficult"]))
            else:
                iscrowd.append(0)

        # convert everything into a torch.Tensor
        boxes = torch.as_tensor(boxes, dtype=torch.float32)
        labels = torch.as_tensor(labels, dtype=torch.int64)
        iscrowd = torch.as_tensor(iscrowd, dtype=torch.int64)
        image_id = torch.tensor([idx])
        area = (boxes[:, 3] - boxes[:, 1]) * (boxes[:, 2] - boxes[:, 0])

        target = {}
        target["boxes"] = boxes
        target["labels"] = labels
        target["image_id"] = image_id
        target["area"] = area
        target["iscrowd"] = iscrowd
        if self.transforms is not None:
            image, target = self.transforms(image, target)
        
        return image, target

    def get_height_and_width(self, idx):
        # read xml
        xml_path = self.xml_list[idx]
        with open(xml_path) as fid:
            xml_str = fid.read()
        xml = etree.fromstring(xml_str)
        data = self.parse_xml_to_dict(xml)["annotation"]
        data_height = int(data["size"]["height"])
        data_width = int(data["size"]["width"])
        return data_height, data_width

    def parse_xml_to_dict(self, xml):
        """
        将xml文件解析成字典形式,参考tensorflow的recursive_parse_xml_to_dict
        Args:
            xml: xml tree obtained by parsing XML file contents using lxml.etree
        Returns:
            Python dictionary holding XML contents.
        """

        if len(xml) == 0:  # 遍历到底层,直接返回tag对应的信息
            return {xml.tag: xml.text}

        result = {}
        for child in xml:
            child_result = self.parse_xml_to_dict(child)  # 递归遍历标签信息
            if child.tag != 'object':
                result[child.tag] = child_result[child.tag]
            else:
                if child.tag not in result:  # 因为object可能有多个,所以需要放入列表里
                    result[child.tag] = []
                result[child.tag].append(child_result[child.tag])
        return {xml.tag: result}

    def coco_index(self, idx):
        """
        该方法是专门为pycocotools统计标签信息准备,不对图像和标签作任何处理
        由于不用去读取图片,可大幅缩减统计时间
        Args:
            idx: 输入需要获取图像的索引
        """
        # read xml
        xml_path = self.xml_list[idx]
        with open(xml_path) as fid:
            xml_str = fid.read()
        xml = etree.fromstring(xml_str)
        data = self.parse_xml_to_dict(xml)["annotation"]
        data_height = int(data["size"]["height"])
        data_width = int(data["size"]["width"])
        # img_path = os.path.join(self.img_root, data["filename"])
        # image = Image.open(img_path)
        # if image.format != "JPEG":
        #     raise ValueError("Image format not JPEG")
        boxes = []
        labels = []
        iscrowd = []
        for obj in data["object"]:
            xmin = float(obj["bndbox"]["xmin"])
            xmax = float(obj["bndbox"]["xmax"])
            ymin = float(obj["bndbox"]["ymin"])
            ymax = float(obj["bndbox"]["ymax"])
            boxes.append([xmin, ymin, xmax, ymax])
            labels.append(self.class_dict[obj["name"]])
            iscrowd.append(int(obj["difficult"]))

        # convert everything into a torch.Tensor
        boxes = torch.as_tensor(boxes, dtype=torch.float32)
        labels = torch.as_tensor(labels, dtype=torch.int64)
        iscrowd = torch.as_tensor(iscrowd, dtype=torch.int64)
        image_id = torch.tensor([idx])
        area = (boxes[:, 3] - boxes[:, 1]) * (boxes[:, 2] - boxes[:, 0])

        target = {}
        target["boxes"] = boxes
        target["labels"] = labels
        target["image_id"] = image_id
        target["area"] = area
        target["iscrowd"] = iscrowd

        return (data_height, data_width), target

    @staticmethod
    def collate_fn(batch):
        return tuple(zip(*batch))
"""
import transforms
from draw_box_utils import draw_box
from PIL import Image
import json
import matplotlib.pyplot as plt
import torchvision.transforms as ts
import random

# read class_indict
category_index = {}
try:
    json_file = open('./NWPU VHR-10 dataset/nwpu_classes.json', 'r')
    class_dict = json.load(json_file)
    category_index = {v: k for k, v in class_dict.items()}
except Exception as e:
    print(e)
    exit(-1)


data_transform = {
    "train": transforms.Compose([transforms.ToTensor(),
                                 transforms.RandomHorizontalFlip(0.5)]),
    "val": transforms.Compose([transforms.ToTensor()])
}


# load train data set
train_data_set = NWPUVHR10DataSet(os.getcwd(), data_transform["train"],"train.txt")
print(len(train_data_set))
for index in random.sample(range(0, len(train_data_set)), k=5):
    img, target = train_data_set[index]
    img = ts.ToPILImage()(img)
    draw_box(img,
             target["boxes"].numpy(),
             target["labels"].numpy(),
             [1 for i in range(len(target["labels"].numpy()))],
             category_index,
             thresh=0.5,
             line_thickness=5)
    plt.imshow(img)
    plt.show()
"""

通过脚本打印出来的标注信息图片可视化结果为:
在这里插入图片描述

最后,如果这篇博客对大家有帮助,有困惑的,可以给我留言。

卫星图像目标检测实战:数据检查、YOLO训练参数与避坑全指南 在计算机视觉工程中,目标检测模型的精度不仅取决于网络结构,更取决于数据质量与训练策略。对于遥感图像这类特殊场景,目标尺寸小、背景复杂、类别不均衡,使得模型训练面临更多隐性挑战。高质量标注数据集的检查、格式转换、坐标归一化以及训练参数调优,是构建可靠检测系统的关键步骤。本文从基础概念出发,讲解卫星图像目标检测的数据准备流程,包括标注格式识别、类别分布统计、YOLO标签转换与回读验证;随后分析迁移学习、输入分辨率、数据增强等核心训练参数对模型性能的影响。通过工程化思维解决数据集不均衡与小目标漏检问题,帮助开发者 阅读详情

相关推荐

卫星图像YOLO目标检测:800张标注数据从解压到训练全流程

目标检测是计算机视觉领域的核心技术之一,YOLO作为一类主流的目标检测模型,以速度快、精度高著称,被广泛应用于工业质检、安防监控和遥感图像分析等场景。在处理卫星图像这类特殊数据时,模型训练面临小目标密集、背景复杂、标注格式不统一等难题,数据预处理环节往往比模型本身更决定最终效果。本文面向YOLO目标检测的工程实践,以一份800张已标注的卫星图像数据集为例,系统讲解了从RAR压缩包解压、VOC标注格式探测与转换、训练集划分、标注质量检查,到data.yaml配置、迁移学习参数调整以及小目标检测推理调优的完整流

weixin_31458015的博客 277

【目标检测实验系列】使用yolov3 spp训练西工大遥感数据集NWPU VHR-10(包括如何将NWPU VHR-10转为VOC格式和yolov3 spp实验调试的详细步骤,且附上训练完的权重文件)

将西工大遥感数据集NWPU VHR-10的格式转为VOC通用的数据集,再次将转换后的VOC格式的数据集转变成yolov3 spp所需要格式的数据集

弗兰-随风小欢的博客 4364

NWPU-RESISC45.7z

NWPU-RESISC45数据集 包含45种土地利用类型的遥感影像 提取自Google Earth 由西北工业大学于2016年发布 标注信息: 45类: airplane, airport, baseball diamond, basketball court, beach, bridge, chaparral, church, circular farmland, cloud, commercial area, dense residential, desert, forest, freeway, golf course, ground track field, harbor, industrial area, intersection, island, lake, meadow, medium residential, mobile home park, mountain, overpass, palace, parking lot, railway, railway station, rectangular farmland, river, roundabout, runwa

python:将 NWPU_VHR-10 遥感目标检测数据集转换成 YOLO 格式

本文将介绍将 NWPU_VHR-10 遥感目标检测数据集转换成 YOLO 格式的 python 脚本。

养乐多的博客 3952

目标检测+NWPU VHR-10遥感检测+800张数据集+10个类别检测

1.遥感数据集,方便入门学习。 2.NWPU VHR-10数据集分成10类(飞机,轮船,储罐,棒球场,网球场,篮球场,地面跑道,港口,桥梁和车辆)。 3.数据库的亮点是,各个类别之间样本量较均衡。 4.对于一般的目标检测而言,数据集至少应该是千位数甚至上万,可能效果会比较少的数据集更好。 5.上传的是800张数据集,有图片和标签,全部一一对应。 6.可以对任意数据集进行扩充,如果需要定做,私信我,或者私信找我要扩充之后的数据集,付费咨询。 7.扩充增强方法可以采用数据模糊,亮度,裁剪,旋转,平移,镜像等变化,或者基于深度学习SRGAN增强等方式。

NWPU VHR-10卫星图像数据集(800张高分辨率的卫星图像)

NWPU VHR-10数据集包含800个高分辨率的卫星图像,这些图像是从Google Earth和Vaihingen数据集裁剪而来的,然后由专家手动注释。数据集分成10类(飞机,轮船,储罐,棒球场,网球场,篮球场,地面跑道,港口,桥梁和车辆)。

NWPU VHR-10数据集:遥感目标检测领域的10类地理空间图像宝库

NWPU VHR-10数据集是西北工业大学发布的10类别遥感图像目标检测数据集,专为地理空间目标检测研究设计。这个数据集包含了800张高分辨率遥感图像,涵盖飞机、船舶、储油罐等10类常见地理空间目标,是计算机视觉和遥感领域研究者的重要资源宝库。🎯 ## 📊 数据集概览与核心价值 NWPU VHR-10数据集的核心价值在于其专业性和实用性。作为遥感目标检测领域的经典数据集,它提供了: -

gitblog_00313的博客 483

NWPU-RESISC45遥感影像数据集

NWPU数据集是一个遥感影像数据集。NWPU-RESISC45数据集是由西北工业大学(NWPU)创建的REmote传感图像场景分类(RESISC)的公开可用基准。该数据集包含像素大小为256*256的31,500个图像,涵盖45个场景类,每个类有700个图像。这45个场景类包括飞机,机场,棒球场,篮球场,海滩,桥梁,丛林,教堂,圆形农田,云,商业区,密集住宅,沙漠,森林,高速公路,高尔夫球场,地面田径,港口,工业地区,交叉口,岛,湖,草地,中型住宅,移动房屋公园,山,立交桥,宫,停车场,铁路,火车站,矩形农田,河,环形交通枢纽,跑道,海,船舶,雪山,稀疏住宅,体育场,储水箱,网球场,露台,火力发电站和湿地。该数据集由西北工业大学发布,相关论文为Remote Sensing Image Scene Classification: Benchmark and State of the Art。

航拍遥感数据集

本数据集是从无人机拍摄的西班牙环形交叉口航空图像数据集,使用PASCAL VOC XML文件进行注释,指出车辆在其中的位置。此外,还附带一个CSV文件,其中包含与捕获的环形交叉口的位置和特征有关的信息。这项工作详细描述了获取它们的过程:图像捕获、处理和标记。数据集包含985,260个实例:947,400辆汽车,19,596辆自行车,2,262辆卡车,7,008辆公共汽车和2208个空环形路,61,896张1920x1080px JPG图像。

qq_52302919的博客 5088

【ORB-SLAM3】使用安卓手机的摄像头运行ORB3

使用安卓手机的摄像头运行ORB-SLAM3单目

caiqidong321的博客 4999

EPS+ArcGIS+CASS三剑客:等高线裁剪的完整工作流与避坑指南

本文详细介绍了EPS、ArcGIS和CASS三款软件在等高线裁剪中的协同工作流程与避坑指南。通过发挥各软件优势,解决数据完整性、拓扑准确性和流程可靠性等核心挑战,提升40%以上的工作效率。特别适合大型测绘项目中复杂地形的处理,涵盖数据准备、核心处理到后期优化的全流程。

weixin_30352645的博客 620

python:基于YOLO框架和遥感图像的目标检测

本文将介绍如何通过YOLO框架和遥感图像进行目标检测的代码。

养乐多的博客 1730

从OAuth到DID:Web4.0身份验证协议的技术演进图谱

在数字身份体系从Web2.0向Web4.0跨越的进程中,身份验证协议正经历着从中心化授权到自主主权的范式转移。本文通过对比OAuth 2.0、OpenID Connect等传统方案与W3C DID、ION等去中心化协议的技术架构,揭示身份验证技术在性能、安全、隐私三大维度的代际差异。基于对GitHub、欧盟数字身份钱包等典型系统的实测数据分析,量化评估中心化授权服务器的单点故障风险与DID链上验证的吞吐量瓶颈。结合零知识证明、分布式密钥管理等前沿技术,为开发者提供面向Web4.0的渐进式身份架构迁移策略。

水务人 836

基于yolov5的遥感图像目标检测(NWPU VHR-10)

最近在做毕设,感觉网上信息不是很全,把自己的训练过程写下来供做这个方向的友友学习。

weixin_51467037的博客 1万+

【LOGO动态替换】记录一次关于LOGO动态替换引发的uboot代码分析及其实现

文章目录1.前言2.实现2.1 新增logo分区2.2 制作logo分区镜像2.2.1 查看logo.bmp和logo_kernel.bmp的文件大小。2.2.2 按规则将bmp写入logo.img3.分析3.1 uboot的启动分析3.2 uboot bmp load 显示部分3.2.1 rockchip_show_logo3.2.2 load_bmp_logo3.2.3 load_bmp_logo3.3 uboot bmp read部分3.3.1 read_logo_bmps3.3.1 read_bmp

wang 恒 的博客 1214

一种低照度目标检测新策略:IAT集成YOLOv8实现暗光与雾霾环境下的性能优化【附核心实战代码】

随着深度学习和计算机视觉的快速发展,目标检测模型在各个领域中的应用不断扩展,特别是在低照度环境下的视觉任务。YOLOv8作为当前最先进的目标检测模型之一,在高亮度和良好照明条件下表现出色,但在低照度环境下的性能存在一定的不足。为了解决这一问题,我们提出了一种轻量级的低照度图像增强网络(IAT)来改进YOLOv8的暗光检测能力。本篇文章将深入探讨这一创新改进,并附带代码实现,帮助大家更好地理解这一技术的应用和效果。

一键难忘的博客 3504

PPYOLOE:遥感场景下的小目标检测与部署(切图版)

结合自动切图,用PP-YOLOE Smalldet检测模型进行遥感小目标检测,并实现高性能Python部署。

m0_63642362的博客 2024

自抗扰控制(ADRC)理论与工程实践:8.1 自适应ADRC与参数在线整定

自适应自抗扰控制(AADRC)针对传统固定参数ADRC在动态变化系统中的局限性,提出通过在线调整关键参数(如观测器带宽ω₀、控制器带宽ω_c)以适应对象动态变化。主要方法包括基于稳定性理论的自适应律设计和基于性能指标的优化调节,前者保证闭环稳定但设计复杂,后者通过梯度搜索或模糊规则实现性能优化但缺乏严格稳定性证明。当前挑战在于非线性时变系统的稳定性分析、参数变化速率限制及工程实现的计算负担。AADRC拓展了ADRC在变参数系统(如无人机、软体机器人)中的应用,是迈向自主智能控制的关键技术。

技术工作者 217

将西工大的NWPU VHR-10 dataset数据集标签转换成yolo格式

在yolo模型中要使用这个数据集的话需要将其转换为 类别(编号),x,y,w,h的形式,其中x,y,w,h是目标框相对于图片的框中心点坐标的比例和宽高相对于图像总体尺寸的比例。将坐标从左上右下转换为中心+宽高。

Fan1534的博客 2351

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

使用Python将NWPU VHR-10数据集的格式转换成VOC2007数据集的格式

一、VOC2007数据集二、NWPU VHR-10数据集三、将NWPU VHR-10数据集的格式转换成VOC2007数据集的的格式 一、VOC2007数据集   VOC2007数据集的文件结构如下图所示。   其中,文件夹Annotations中存放的是图像的标注信息的xml文件,命名从000001.xml开始;文件夹ImageSets中存放的是图像划分的集合的txt文件,目标检测任务对应的train、val、trainval、test数据集的txt文件存放在Main文件夹中;文件夹JPEGImage.

大彤小忆的博客 3921

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能:商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传,基本资料下载,开钱箱、小票打印、收款结算,支持多币种付款方式(现金、储值卡、礼券、微信等),支持多种促销。运行环境:.net 4.0登陆信息用户名:1001 密码:123456内置商品信息,商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

[自监督][mmselfsup][mmclassification]使用NWPU数据集,利用MAE进行预训练完成下游分类任务

初次运行自监督学习相关的模型,有较大意义,故记录在此。MAE在此我不再赘述,代码均以mmselfsup文件夹为工作空间,安装问题需要注意 mmselfsup,mmclassification,mmengine的版本对应问题,在此我不赘述,请使用源码安装方式。提示:以下是本篇文章正文内容,下面案例可供参考共包含45类,每类包含700张256*256大小的RGB三通道图片。

weixin_45061864的博客 2790

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

STM32F407中文手册

STM32f407中文手册 本参考手册面向应用开发人员,提供有关使用 STM32F405xx/07xx、STM32F415xx/17xx、 STM32F42xxx 和 STM32F43xxx 微控制器存储器与外设的完整信息。STM32F405xx/07xx、STM32F415xx/17xx、STM32F42xxx 和 STM32F43xxx 构成一个微 控制器系列,各产品具有不同的存储器大小、封装和外设。有关订购信息以及器件的机械与电气特性,请参见数据手册。有关 ARM Cortex™-M4F 内核的信息,请参见《Cortex™-M4F 技术参考手册》。

TFrecords类型数据集制作与读取(NWPU VHR-10数据集为例)

TFrecords类型数据集制作与读取(NWPU VHR-10数据集为例) TFrecords数据类型是Tensorflow深度学习框架所支持的特定数据类型,其具有封装性好、读取方便、移动性好的特点,并且在TensorFlow中对于该类型的数据分批读取等操作具有大量内置函数,使用方便。故我们介绍一下如何将训练数据制作成TFrecords形式,以及如何读取TFrecords格式的数据。(以NWP...

Puremelo 2559

遥感资源大放送(下)| 11 个经典遥感数据集

内容提要:利用遥感影像进行土地类别分型,最常用的方法是语义分割。本文继上期土地分类模型训练教程之后,又整理了几大主流公开遥感数据集。 原创:HyperAI超神经 关键词:遥感数据集 语义分割 机器视觉 在上一期 《遥感资源大放送(上):用开源代码,训练土地分类模型 》 中,我们详细介绍了遥感影像进行土地分类的常用方法,以及具体如何使用利 deeplab-v3+ 用于土地 7 分类的具体训练过程及代码。 教程地址: https://openbayes.com/console/openbayes/cont.

HyperAI超神经 2万+

目标检测--使用yolov5训练NWPU VHR-10 

yolov5训练NWPUVHR-10遥感目标检测

zengliyan583的博客 2163
上一篇: 2021-3-13论文学习——SENet,StairNet,Generalized Focal Loss,R3Det,CARAFE
下一篇: Multi-branch convolutional networks
practical_sharp
博客等级 码龄8年 500粉丝 148原创
评论 11
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值