Datawhale AI 夏令营-Task3 数据集增强与模型预测

在增加训练样本和修改模型后，我们将在这一节中采取一些小技巧来提升尝试提升模型性能。

数据集增强

数据增强是机器学习和深度学习中常用的技术，用于通过从现有数据集中生成新的训练样本来提高模型的泛化能力。干净一致的数据对于创建性能良好的模型至关重要。常见的增强技术包括翻转、旋转、缩放和颜色调整。多个库，例如 Albumentations、Imgaug 和 TensorFlow的 ImageDataGenerator，可以生成这些增强。

数据增强方法	描述
Mosaic Augmentation	将四张训练图像组合成一张，增加物体尺度和位置的多样性。
Copy-Paste Augmentation	复制一个图像的随机区域并粘贴到另一个图像上，生成新的训练样本。
Random Affine Transformations	包括图像的随机旋转、缩放、平移和剪切，增加对几何变换的鲁棒性。
MixUp Augmentation	通过线性组合两张图像及其标签创造合成图像，增加特征空间的泛化。
Albumentations	一个支持多种增强技术的图像增强库，提供灵活的增强管道定义。
HSV Augmentation	对图像的色相、饱和度和亮度进行随机变化，改变颜色属性。
Random Horizontal Flip	沿水平轴随机翻转图像，增加对镜像变化的不变性。

参数名	类型	默认值	取值范围	描述
hsv_h	float	0.015	0.0 - 1.0	调整图像色调，引入颜色变异性，提高不同光照下的泛化能力。
hsv_s	float	0.7	0.0 - 1.0	调整图像饱和度，改变颜色强度，模拟不同环境条件。
hsv_v	float	0.4	0.0 - 1.0	调整图像亮度，帮助模型在不同光照下表现良好。
degrees	float	0	-180 - +180	随机旋转图像，提高识别不同方向物体的能力。
translate	float	0.1	0.0 - 1.0	平移图像，帮助模型学习检测部分可见物体。
scale	float	0.5	>=0.0	缩放图像，模拟物体与相机之间的不同距离。
shear	float	0	-180 - +180	剪切图像，模拟从不同角度观察物体的效果。
perspective	float	0	0.0 - 0.001	应用随机透视变换，增强模型对3D空间物体的理解能力。
flipud	float	0	0.0 - 1.0	上下翻转图像，增加数据变异性，不影响物体特征。
fliplr	float	0.5	0.0 - 1.0	左右翻转图像，有助于学习对称物体和增加数据集多样性。
bgr	float	0	0.0 - 1.0	翻转图像通道从RGB到BGR，提高对通道顺序错误的鲁棒性。
mosaic	float	1	0.0 - 1.0	合成四张图像，模拟不同场景组合和物体交互，增强复杂场景理解。
mixup	float	0	0.0 - 1.0	混合两张图像及标签，创建合成图像，增强泛化能力。
copy_paste	float	0	0.0 - 1.0	复制物体并粘贴到另一图像，增加实例和学习遮挡。
auto_augment	str	randaugment	-	自动应用预定义增强策略，优化分类任务。
erasing	float	0.4	0.0 - 1.0	随机擦除图像部分，鼓励模型关注不明显特征。

设置 YOLO 模型训练参数

1.理论

YOLO 模型的训练设置包括多种超参数和配置，这些设置会影响模型的性能、速度和准确性。微调涉及采用预先训练的模型并调整其参数以提高特定任务或数据集的性能。该过程也称为模型再训练，使模型能够更好地理解和预测在实际应用中将遇到的特定数据的结果。您可以根据模型评估重新训练模型，以获得最佳结果。

通常，在初始训练时期，学习率从低开始，逐渐增加以稳定训练过程。但是，由于您的模型已经从以前的数据集中学习了一些特征，因此立即从更高的学习率开始可能更有益。在 YOLO 中绝大部分参数都可以使用默认值。

1. imgsz: 训练时的目标图像尺寸，所有图像在此尺寸下缩放。
2. save_period: 保存模型检查点的频率（周期数），-1 表示禁用。
3. device: 用于训练的计算设备，可以是单个或多个 GPU，CPU 或苹果硅的 MPS。
4. optimizer: 训练中使用的优化器，如 SGD、Adam 等，或 ‘auto’ 以根据模型配置自动选择。
5. momentum: SGD 的动量因子或 Adam 优化器的 beta1。
6. weight_decay: L2 正则化项。
7. warmup_epochs: 学习率预热的周期数。
8. warmup_momentum: 预热阶段的初始动量。
9. warmup_bias_lr: 预热阶段偏置参数的学习率。
10. box: 边界框损失在损失函数中的权重。
11. cls: 分类损失在总损失函数中的权重。
12. dfl: 分布焦点损失的权重。
    在YOLOv5及其后续版本中，imgsz可以被设置为一个整数，用于训练和验证模式，表示将输入图像调整为正方形的尺寸，例如imgsz=640意味着图像将被调整为640x640像素。对于预测和导出模式，imgsz可以被设置为一个列表，包含宽度和高度，例如imgsz=[640, 480]，表示图像将被调整为640像素宽和480像素高。较大的图像尺寸可能会提高模型的准确性，但会增加计算量和内存消耗。较小的图像尺寸可能会降低模型的准确性，但会提高计算速度和内存效率。因此，用户应根据实际场景需求及硬件资源限制，设置合适的输入图像尺寸。

2.测试

2.1 尝试使用 Adam/cos_lr

通过训练处的代码 model.train(data=r"yolo-dataset\yolo.yaml", epochs=100, imgsz=640, batch=8)增加参数optimizer='Adam', cos_lr=True 使用 Adam优化器和cosine learning rate schedulers学习率

from ultralytics import YOLO

model = YOLO(r"K:\!YoLo\yolov8x.pt")
results = model.train(data=r"YoLo\yolo-dataset\yolo.yaml", epochs=100, imgsz=640, batch=8,workers=0, optimizer='Adam', cos_lr=True)

补充解释： cosine learning rate schedulers学习率

余弦学习率衰减

公式：

需要用到lambda 表达式：

lambda：epoch: (epoch / 40) if epoch < 40 else 0.5 * (math.cos(40/100) * math.pi) + 1)

初始学习率为lr=10^-3

如果是总的100个epoch，只使用后60个应用余弦学习率衰减，那么前40个不作cosine计算，前40个epoch的学习率为：lr1=epoch/40*lr， 那么后60个epoch适用0.5 * (math.cos(40/100) * math.pi) + 1)。

计算得到最末尾的学习率为2.5x10^-4.

eg:

设置 YOLO 模型预测行为和性能

1.理论

此法是为了提高速度。
YOLO模型的预测结果通常包括多个组成部分，每个部分提供关于检测到的对象的不同信息。同时 YOLO 能够处理包括单独图像、图像集合、视频文件或实时视频流在内的多种数据源，也能够一次性处理多个图像或视频帧，进一步提高推理速度。

属性	描述
cls	类别概率，表示当前预测结果属于类别0的概率为0
conf	置信度，模型对其预测结果的置信度，接近92%
data	包含边界框坐标和置信度以及类别概率的原始数据
id	没有分配唯一的对象ID
is_track	预测结果不是来自跟踪的对象
orig_shape	输入图像的原始尺寸，这里是500x500像素
shape	预测结果张量的形状，表示一个边界框的六个值
xywh	归一化的边界框坐标，中心坐标和宽高
xywhn	归一化的边界框坐标（无偏移）
xyxy	原始边界框坐标，左上角和右下角坐标
xyxyn	归一化的原始边界框坐标

from ultralytics import YOLO

# Load a model
model = YOLO("yolov8n.pt")  # pretrained YOLOv8n model

# Run batched inference on a list of images
results = model(["im1.jpg", "im2.jpg"])  # return a list of Results objects

# Process results list
for result in results:
    boxes = result.boxes  # Boxes object for bounding box outputs
    masks = result.masks  # Masks object for segmentation masks outputs
    keypoints = result.keypoints  # Keypoints object for pose outputs
    probs = result.probs  # Probs object for classification outputs
    obb = result.obb  # Oriented boxes object for OBB outputs
    result.show()  # display to screen
    result.save(filename="result.jpg")  # save to disk

YOLOv8模型的使用者提供了灵活性，允许根据特定应用场景的需求调整模型的行为和性能。例如，如果需要减少误报，可以提高conf阈值；如果需要提高模型的执行速度，可以在支持的硬件上使用half精度；如果需要处理视频数据并希望加快处理速度，可以调整vid_stride来跳过某些帧。这些参数的适当配置对于优化模型的预测性能至关重要。

参数名	类型	默认值	描述
conf	float	0.25	置信度阈值，用于设置检测对象的最小置信度。低于此阈值的检测对象将被忽略。调整此值有助于减少误报。
iou	float	0.7	非最大值抑制（NMS）的交并比（IoU）阈值。较低的值通过消除重叠的边界框来减少检测数量，有助于减少重复项。
imgsz	int 或 tuple	640	推理时定义图像的大小。可以是单个整数（如640），用于将图像大小调整为正方形，或(height, width)元组。合适的尺寸可以提高检测精度和处理速度。
augment	bool	FALSE	启用预测时的数据增强（TTA），可能通过牺牲推理速度来提高检测的鲁棒性。

2.测试

2.1使用预测时的数据增强（TTA）

主要需要在代码预测部分，增加augment = True，使用预测时的数据增强功能。本次使用前五个影像中测试模型推理时间。

from ultralytics import YOLO
model = YOLO(r"YoLo\runs\detect\train2\weights\best.pt")
import glob

paths = glob.glob(r'YoLo\测试集\*.mp4')
paths = paths[:5]

count = 0
start_time = None
for path in paths:
    if count >= 1 and start_time is None:
        start_time = time.time()
    submit_json = []
	# 增加参数 augment = True , 使用TTA预测
    results = model(path, conf=0.2, imgsz=1080,  verbose=False, augment = True)
    
    for idx, result in enumerate(results):
        boxes = result.boxes  # Boxes object for bounding box outputs
        masks = result.masks  # Masks object for segmentation masks outputs
        keypoints = result.keypoints  # Keypoints object for pose outputs
        probs = result.probs  # Probs object for classification outputs
        obb = result.obb  # Oriented boxes object for OBB outputs

        if len(boxes.cls) == 0:
            continue

        xywh = boxes.xyxy.data.cpu().numpy().round()
        cls = boxes.cls.data.cpu().numpy().round()
        conf = boxes.conf.data.cpu().numpy()
        for i, (ci, xy, confi) in enumerate(zip(cls, xywh, conf)):
            submit_json.append(
                {
                    'frame_id': idx,
                    'event_id': i+1,
                    'category': category_labels[int(ci)],
                    'bbox': list([int(x) for x in xy]),
                    "confidence": float(confi)
                }
            )

    with open('YoLo\\result5\\' + os.path.basename(path)[:-4] + '.json', 'w', encoding='utf-8') as up:
        json.dump(submit_json, up, indent=4, ensure_ascii=False)
    count = count +1

end_time = time.time()
elapsed_time = end_time - start_time
print("执行时间：", elapsed_time, "秒")

场景	时间(s)	评测分数
不使用TTA	38.714	0.120
使用TTA	67.902	0.137

可以看出，使用预测时的数据增强（TTA）会大大增加模型推理时间。

参考资料

• https://docs.ultralytics.com/modes/predict/#inference-arguments
• https://docs.ultralytics.com/yolov5/tutorials/tips_for_best_training_results/?h=result#model-selection
• https://docs.ultralytics.com/yolov5/tutorials/test_time_augmentation/