1. 为什么选择iSAID数据集?遥感实例分割的“硬骨头”与“敲门砖”
如果你正在研究遥感图像分析,尤其是想用YOLOv5这类现代算法来做实例分割,那你肯定绕不开一个难题:数据。普通的公开数据集,像COCO、VOC,里面的目标大多是街景、室内物品,目标边界清晰,背景相对简单。但遥感图像完全是另一个世界——一张图动辄几千乘几千像素,里面密密麻麻挤着成百上千个目标,比如港口里停泊的船只、机场上排列的飞机、农田里分布的储油罐。更“要命”的是,这些目标尺寸差异巨大,从几十个像素的小汽车到占据图像一大片的足球场,应有尽有。直接用原始大图去训练模型?除非你拥有顶级计算资源,否则显存分分钟告急,训练过程会异常艰难。
这就是iSAID数据集的价值所在。它不是一个普通的遥感数据集,而是目前公开的、规模最大、标注最密集的航空影像实例分割数据集之一。我当初为了找一个能“练手”又足够挑战的数据集,翻遍了各种论文和开源社区,最终锁定了iSAID。它包含了2806张高分辨率图像,涵盖了15个常见的遥感地物类别,标注了超过65万个对象实例。这个数据量,对于深度学习模型来说,既够“吃”得饱,又能充分学习到遥感目标的复杂特性。可以说,搞定iSAID,你就掌握了处理大规模遥感实例分割任务的核心方法论,以后再面对其他类似数据集,比如DOTA、xView,你心里就有底了。
不过,iSAID的“强大”也带来了“麻烦”。它的原始图像非常大,直接扔给YOLOv5训练是不现实的。我们需要对它进行一番“精加工”,包括下载、切图、转换标签格式,最后才能喂给模型。这个过程听起来步骤不少,但别怕,我把自己趟过的路、踩过的坑都总结在这篇文章里了。只要你跟着步骤一步步来,从原始数据到训练出第一个模型,最快半天就能搞定。我们最终的目标,是让你手里有一套可以直接用于YOLOv5训练的、切分好的、标签格式正确的iSAID数据集,并成功启动训练。
2. 第一步:搞定数据下载与初步整理
万事开头难,但数据下载这一步其实很简单,关键在于找对地方和理清结构。iSAID数据集本质上由两部分组成:高分辨率图像和精细的标注文件。但官方为了节省存储和带宽,将图像和标注分开了。图像部分来源于更早的DOTA数据集,而标注(包括实例分割和语义分割的标注)则由iSAID项目团队单独提供。
首先,我们需要下载标注文件。通常可以在相关的论文主页或开源项目页面找到下载链接。标注文件一般会按训练集(train)和验证集(val)打包,每个压缩包里都包含了对应图像的实例分割JSON文件和语义分割PNG文件。下载后,你会得到类似 train.zip 和 val.zip 的文件,解压后里面是密密麻麻的JSON和PNG文件。
紧接着,是下载原始图像。你需要回到DOTA数据集的官网或发布页面,找到与iSAID标注对应的图像集进行下载。下载完成后,你会得到两批大尺寸的遥感图像(例如,训练集1411张,验证集458张)。这时候,文件管理就很重要了。我建议你建立一个清晰的项目目录,像下面这样:
iSAID_Project/
├── raw_images/
│ ├── train/ # 放置从DOTA下载的1411张训练原图
│ └── val/ # 放置从DOTA下载的458张验证原图
├── raw_annotations/
│ ├── train/ # 放置从iSAID下载的训练集标注(JSON和PNG)
│ └── val/ # 放置从iSAID下载的验证集标注(JSON和PNG)
└── (后续生成的目录)
一个关键的核对步骤:务必确保 raw_images/train/ 里的图片文件名和 raw_annotations/train/ 里的标注文件名能一一对应(除了后缀名)。通常它们的设计是一致的,比如 P0001.png 对应 P0001.json。如果发现对不上,可能需要根据文件名进行匹配或重命名。整理好这一步,就为后续的自动化处理扫清了障碍。
3. 第二步:核心操作——大图切分与标签同步处理
这是整个流程中最关键、最耗时,但也最能体现价值的一步。为什么非要切图?我举个直观的例子:iSAID里的一张原图可能是4000x4000像素,里面包含了几十个甚至上百个目标实例。YOLOv5在训练时,会将整张图缩放到一个固定的尺寸(比如640x640)。如果原图里有大量密集小目标,直接缩放会导致这些小目标在输入图像中变得极小,甚至消失,模型根本学不到有效特征。另一方面,这么大的图直接加载进GPU,显存占用会爆表,批量训练(batch training)无从谈起。
切图的目的是将大图裁剪成一系列有重叠的小图块(例如1024x1024)。这样做的好处有三点:第一,每个图块内的目标数量变得适中,模型更容易学习;第二,图块尺寸固定,便于组织批量数据,提升训练效率;第三,通过设置重叠区域(overlap),可以避免目标刚好被切割线“腰斩”,保证每个目标至少完整地出现在某个图块中。
网上有很多现成的切图脚本,我推荐使用专门为DOTA/iSAID数据集设计的工具,比如一些GitHub上的开源项目。你需要下载这些脚本,通常核心文件是 split.py 或类似名称。使用前,你需要修改脚本中的路径配置,指向你上一步整理好的 raw_images/train 和 raw_images/val 文件夹,并设置输出目录(例如 iSAID_patches)、图块大小(如1024)、重叠步长(如200)。
运行切图脚本是一个比较耗时的过程,因为要处理近两千张大图。你可以泡杯茶,耐心等待。完成后,iSAID_patches 目录下会生成 images 文件夹,里面包含成千上万张小图块(例如训练集可能产生8万多张,验证集1万多张)。
但是,光切了图没用,标签也得跟着切! 这才是难点。原始标注是JSON格式,记录了每个目标在原图上的多边形轮廓坐标。切图后,我们需要计算出每个小图块对应在原图上的位置,然后将落在这个位置内的目标及其多边形坐标进行转换(减去图块的左上角偏移量),并生成新的、对应于这个小图块的标注文件。这个过程通常由切图脚本配套的 preprocess.py 或 label_processing.py 来完成。它需要读取原始的实例分割JSON文件,根据切图方案,为每一个生成的小图块创建一个对应的、包含所有相关目标标注的JSON文件。
这里可能会遇到一个依赖库问题:处理图像时可能需要 lycon 库。如果安装失败,在Ubuntu系统上可以尝试运行 sudo apt-get install cmake build-essential libjpeg-dev libpng-dev 安装系统依赖,然后再用pip安装lycon。处理完成后,你会得到一个大大的、COCO格式的JSON文件,它汇总了所有图块和标注信息,这是通向YOLO格式的桥梁。
4. 第三步:格式转换——从COCO大JSON到YOLO格式标签
上一步我们得到了一个COCO格式的“大JSON”文件。COCO格式是一种通用标准,但对于YOLOv5(尤其是Seg分割分支)来说,它需要的是另一种更简洁的格式:每个图像对应一个 .txt 文件,文件里每一行代表一个目标实例。这一行的格式是:<class_id> <x1> <y1> <x2> <y2> ... <xn> <yn>。其中 class_id 是类别索引(从0开始),后面跟着的是该目标分割多边形的所有顶点坐标,这些坐标是归一化后的(即坐标值除以图像宽度或高度,范围在0到1之间)。
因此,我们需要进行格式转换。幸运的是,YOLOv5官方社区提供了一些转换工具。你可以搜索“JSON2YOLO”或“coco2yolo”找到相关代码。通常你需要准备一个类别列表文件,指明iSAID的15个类别分别对应什么数字索引。例如:
# classes.txt
Small_Vehicle
Large_Vehicle
plane
ship
Swimming_pool
Harbor
tennis_court
Ground_Track_Field
Soccer_ball_field
baseball_diamond
Bridge
basketball_court
Roundabout
Helicopter
storage_tank # 注意:有些版本类别顺序可能不同,务必与你的JSON文件核对
运行转换脚本,指定输入的COCO大JSON文件、图像所在目录(iSAID_patches/images/train等)和输出目录。脚本会遍历所有图像,为每一张图生成一个同名的 .txt 标签文件,里面包含了该图中所有目标的YOLO格式标注。
强烈建议在转换后做一次可视化检查! 这是避免后续训练白费功夫的关键一步。写一个简单的Python脚本,随机读取几张切分后的图块和对应的 .txt 标签文件,将多边形画回图像上看看是否对齐。我吃过亏,曾经因为坐标归一化计算有误,导致画出来的框全部挤在图像左上角一个小点里。下面是一个简单的检查脚本示例:
import cv2
import numpy as np
import os
import random
# 路径设置
image_dir = ‘iSAID_patches/images/train’
label_dir = ‘iSAID_patches/labels/train’ # 假设转换后标签放这里
class_names = [‘Small_Vehicle‘, ‘Large_Vehicle‘, ...] # 你的类别列表
# 随机选几张图
image_files = [f for f in os.listdir(image_dir) if f.endswith(‘.png‘)]
sample_files = random.sample(image_files, 5)
for img_file in sample_files:
img_path = os.path.join(image_dir, img_file)
label_path = os.path.join(label_dir, os.path.splitext(img_file)[0] + ‘.txt‘)
img = cv2.imread(img_path)
h, w, _ = img.shape
if os.path.exists(label_path):
with open(label_path, ‘r‘) as f:
lines = f.readlines()
for line in lines:
parts = line.strip().split()
if len(parts) < 3 or len(parts) % 2 == 0: # 至少包含类别和一个点
continue
class_id = int(parts[0])
points = []
for i in range(1, len(parts), 2):
# 将归一化坐标转换回像素坐标
x = float(parts[i]) * w
y = float(parts[i+1]) * h
points.append([int(x), int(y)])
# 在图像上绘制多边形
if len(points) > 2:
pts = np.array(points, np.int32).reshape((-1, 1, 2))
cv2.polylines(img, [pts], isClosed=True, color=(0, 255, 0), thickness=2)
# 在第一个点附近标上类别名
cv2.putText(img, class_names[class_id], (points[0][0], points[0][1]-10),
cv2.FONT_HERSHEY_SIMPLEX, 0.5, (0, 0, 255), 1)
# 显示图像
cv2.imshow(‘Check‘, cv2.resize(img, (800, 800)))
cv2.waitKey(0)
cv2.destroyAllWindows()
如果可视化结果正确,目标和轮廓都能完美贴合,那么恭喜你,数据集制作最复杂的部分已经完成了!
5. 第四步:配置YOLOv5环境与数据集YAML文件
数据准备好了,接下来就是搭建训练环境。YOLOv5的代码托管在GitHub上,使用起来非常方便。首先,把代码克隆到本地:
git clone https://github.com/ultralytics/yolov5.git
cd yolov5
pip install -r requirements.txt # 安装所有依赖
确保你的PyTorch、CUDA版本是兼容的。如果遇到问题,可以去PyTorch官网根据你的系统选择正确的命令安装。环境搭好后,我们需要创建一个数据集配置文件,告诉YOLOv5我们的数据在哪里、有哪些类别。
在 yolov5/data/ 目录下,新建一个文件,例如 isaid.yaml。这个文件的结构非常清晰:
# iSAID数据集配置文件
path: /path/to/your/iSAID_patches # 数据集的根目录
train: images/train # 训练图像路径,相对于上面的path
val: images/val # 验证图像路径,相对于上面的path
# test: images/test # 如果有测试集可以取消注释
# 类别数量
nc: 15
# 类别名称列表,顺序必须与标签中的class_id严格对应
names: [‘Small_Vehicle‘, ‘Large_Vehicle‘, ‘plane‘, ‘storage_tank‘, ‘ship‘, ‘Swimming_pool‘, ‘Harbor‘, ‘tennis_court‘, ‘Ground_Track_Field‘, ‘Soccer_ball_field‘, ‘baseball_diamond‘, ‘Bridge‘, ‘basketball_court‘, ‘Roundabout‘, ‘Helicopter‘]
这里有几个坑点需要特别注意:
- 路径(path):建议使用绝对路径,避免相对路径可能引起的找不到文件问题。
- 类别数量(nc):一定要数对,iSAID是15类,别写错了。
- 类别名称(names):这个列表的顺序至关重要!它决定了数字索引0、1、2...分别对应哪个类别。你必须确保这个顺序与你之前转换标签时使用的
classes.txt顺序完全一致。否则,模型学到的“0”是船,但你的标签里“0”却是汽车,那就全乱了。我建议在转换标签的脚本里就把类别顺序固定下来,并记录好,然后原封不动地抄到这个YAML文件里。
6. 第五步:启动训练与关键参数调优
一切就绪,可以开始训练了!YOLOv5的训练命令非常灵活。一个基础的训练命令如下:
python segment/train.py \
--data data/isaid.yaml \
--weights yolov5s-seg.pt \
--epochs 100 \
--imgsz 640 \
--batch-size 16 \
--device 0 \
--name isaid_exp1
我来解释一下这几个核心参数:
--data: 指定我们刚创建的数据集配置文件路径。--weights: 指定预训练模型。yolov5s-seg.pt是轻量级的分割模型,适合快速验证。如果你想追求更高精度,可以换成yolov5m-seg.pt或yolov5l-seg.pt,但模型更大,训练更慢。--epochs: 训练轮数。对于iSAID这样规模的数据集,100轮是个不错的起点。你可以观察验证集指标,如果后期不再提升,可以提前停止。--imgsz: 输入图像尺寸。默认640对于1024x1024的图块来说,会进行下采样。你也可以尝试设置为1024,但这会增加显存消耗,可能需要减小batch-size。--batch-size: 批量大小。这是调参的关键,也是显存杀手。它取决于你的GPU显存大小。在RTX 3090 (24GB) 上,imgsz=640时batch-size=16通常没问题。如果显存不足,就调小这个值,或者使用--batch-size -1启动自动批处理功能。--device: 指定GPU,0代表第一块GPU。多卡训练可以用--device 0,1。--name: 给这次实验起个名字,所有日志、模型权重都会保存在runs/train-seg/{name}目录下。
训练开始后,控制台会输出日志,更重要的是,YOLOv5会自动启动一个本地Web服务(通常是 http://localhost:6006),你可以用浏览器打开TensorBoard来实时查看损失曲线、精度、召回率等指标的变化,非常直观。
训练过程中的经验之谈:
- 学习率(lr):除非你是高手,否则建议先用默认值。YOLOv5有一套自动调整学习率的策略。如果你发现损失曲线震荡得很厉害或者下降很慢,再考虑通过
--hyp参数传入自定义的超参数文件进行微调。 - 数据增强:YOLOv5默认开启了Mosaic、MixUp等强力的数据增强,这对于提升模型泛化能力,尤其是应对遥感图像中目标尺度、角度多变的情况非常有效。初期不建议关闭。
- 早停(Early Stopping):密切关注验证集指标
mAP@0.5和mAP@0.5:0.95。如果连续10-20个epoch这些指标都没有提升,甚至下降,就可以考虑停止训练了,防止过拟合。 - 权重保存:模型会定期保存,
best.pt是验证集指标最好的权重,last.pt是最后一个epoch的权重。用于预测和部署时,优先使用best.pt。
7. 第六步:模型验证、测试与结果分析
训练完成后,我们肯定要看看模型到底学得怎么样。YOLOv5提供了非常方便的验证和测试脚本。
模型验证:使用验证集评估模型性能。这会计算一系列关键指标。
python segment/val.py \
--weights runs/train-seg/isaid_exp1/weights/best.pt \
--data data/isaid.yaml \
--batch-size 32 \
--device 0 \
--name isaid_val
运行后,你会看到详细的评估结果,重点关注以下几个:
- P (Precision), R (Recall): 精度和召回率。对于实例分割,这是像素级别的。
- mAP@0.5: 在IoU(交并比)阈值为0.5时的平均精度均值。这是衡量检测/分割准确性的核心指标,值越高越好。
- mAP@0.5:0.95: 在IoU阈值从0.5到0.95(步长0.05)区间内的平均mAP。这个指标更严格,要求预测框/掩码与真实标注重合度更高。
- 还会输出每个类别的AP值,帮你分析模型在哪些类别上表现好,哪些类别上表现差。比如你可能会发现“直升机”的AP很高,因为目标特征明显且数量适中;而“小汽车”的AP可能偏低,因为目标太小太密集。
模型测试与可视化:用模型对全新的图片(可以是预留的测试集,也可以是任何遥感图像)进行预测,并直观地看结果。
python segment/predict.py \
--weights runs/train-seg/isaid_exp1/weights/best.pt \
--source /path/to/your/test_images \
--data data/isaid.yaml \
--device 0 \
--name isaid_pred \
--save-txt --save-conf
--source 可以指向一个图片文件夹、单个图片或视频。--save-txt 会保存预测的标签文件,--save-conf 会保存置信度。预测结果会保存在 runs/predict-seg/isaid_pred 文件夹里,打开图片你就能看到模型画出的分割掩码和边界框了。
分析结果与迭代:如果效果不理想,别灰心,这是常态。回头看看是哪些类别识别不好。是目标太小?可以考虑在切图时使用更小的图块尺寸,或者在模型结构上使用更关注小目标的检测头(如PP-YOLOE中的PANet结构)。是数据不平衡?某些类别样本太少?可以尝试数据增强中专门针对稀有类别的过采样,或者在损失函数中引入类别权重。深度学习调参就是一个不断假设、实验、分析、再实验的过程。至少现在,你已经拥有了一个完整的、可运行的工作流程,这才是最宝贵的起点。
239



被折叠的 条评论
为什么被折叠?



