Yolo-World在自定义数据集上进行闭集词汇训练过程（一）——使用源码训练模型

  上一篇记录了一下如何将yolo-world官网的项目在本地或者云端进行部署运行，当可以在本地运行之后那么就可以基于自己的数据集训练一个yolo-world模型，本篇来简单介绍一下如何进行本地化训练。（如有错误，欢迎批评指正，不胜感激！）
  微调训练主要包含三种微调方法：Normal Fine-tuning、Prompt Tuning、Reparameterized Fine-tuning。这三种微调方法都在文档中有详细的解释，本篇博文就第一种微调方法Normal Fine-tuning进行解释：
（1）准备数据集
  在docs/data.md文档中我们可以看到用于预训练模型的数据集结构以及对应的json文件，如coco、flickr、mixed_grounding等数据集，我的数据集是coco格式的所以只需要仿照coco数据集的结构构建数据集即可，也就是一份训练集，包含images以及对应的json文件；一份验证集，包含images以及对应的json文件。这份json文件中的就是对应图片中的标记框以及类别信息。

  除此之外还可以根据自己数据需要检测的类别自定义一份文本json，也就是data/texts下的json文件，如xxx_class_tsxts.json，到这里数据准备的过程就算完成了。
（2）修改configs文件
  值得注意的是在finetuning.md中提到“如果微调数据集包含掩码注释：应该使用含有mask-refine的yolov8配置文件"
_base_ = ('../../third_party/mmyolo/configs/yolov8/yolov8_l_mask-refine_syncbn_fast_8xb16-500e_coco.py')
如果微调数据集不包含掩码注释：应该使用不包含mask-refine的yolov8配置文件"
_base_ = ('../../third_party/mmyolo/configs/yolov8/yolov8_l_syncbn_fast_8xb16-500e_coco.py')
我这里使用的自定义数据集中不包含掩码注释，采用的是

yolo_world_v2_l_vlpan_bn_sgd_1e-3_40e_8gpus_finetune_coco.py

这份配置文件，其实这里的配置文件我也试过使用

yolo_world_v2_s_vlpan_bn_2e-4_80e_8gpus_mask-refine_finetune_coco.py

  这份配置文件进行模型训练，但是发现训练的时候loss_bbox: 0.0000 和 loss_dfl:0.0000这两个损失为0，训练出来的模型没办法用，所以采用不含mask-refine的模型进行训练。
具体如何对配置文件进行修改呢？
a）首先是超参数的修改：
对 num_classes num_training_classes 修改为自己需要检测的类别数量，比如
num_classes = 12
num_training_classes = 12
对train_batch_size_per_gpu进行修改，如果train_batch_size_per_gpu=16报错显示内存溢出等问题，就把它改小train_batch_size_per_gpu=8或者4，再尝试进行训练。
自定义的类别写在这里，后边会用到：

classes=["ignored regions","pedestrian","people","bicycle","car","van","truck","tricycle","awning-tricycle","bus","motor","others"]

这里的类别数量要和num_classes，num_training_classes对应。
b）加载预训练模型：
首先加载

finetune_coco/yolo_world_v2_l_vlpan_bn_sgd_1e-3_40e_8gpus_finetune_coco.py

这份配置文件对应的pth模型文件，

yolo_world_v2_l_vlpan_bn_sgd_1e-3_40e_8gpus_finetune_coco_ep80-e1288152.pth

pth文件的下载方法以及地址在前文有说过，可以过去翻一下。
加载text_model_name文本模型，同样前文也有说过

text_model_name = ‘openai/clip-vit-base-patch32’

其他超参数根据自己的需求进行适当更改即可。
c）dataset settings
首先修改coco_train_dataset部分：

coco_train_dataset = dict(_delete_=True,
                          type='MultiModalDataset',
                          dataset=dict(
                              type='YOLOv5CocoDataset',
                            #   data_root='data/coco',
                            #   ann_file='annotations/instances_train2017.json',
                            metainfo=dict(classes=classes),
                            data_root='data/visDrone2019/VisDrone2019_train',
                            ann_file='VisDrone2019_train.json',
                            data_prefix=dict(img='images/'),
                            filter_cfg=dict(
                                            filter_empty_gt=False,
                                              min_size=32)),
                        class_text_path='data/texts/visDrone_class_text.json',
                        #   class_text_path='data/texts/coco_class_texts.json',
                          pipeline=train_pipeline)

  只需metainfo、data_root、ann_file、data_prefix、class_text_path这几部分进行修改即可，同样coco_val_dataset部分也是修改这几部分，只是将train数据更改为val数据即可，最后更改evaluation settings部分的ann_file为val数据的json文件即可。至此configs文件需要修改的部分就完成了。
（3）训练模型
打开pytorch环境输入命令即可开始训练：

python tools/train.py configs/finetune_coco/yolo_world_v2_s_vlpan_bn_2e-4_80e_8gpus_mask-refine_finetune_coco.py  --work-dir log   --amp --resume

等待训练结束即可获得pth模型文件，进行推理或部署。

---

PS:更新最近训练遇到的一个问题

07/22 20:58:15 - mmengine - INFO - Epoch(train)  [1][ 100/4596]  base_lr: 1.0000e-03 lr: 7.1802e-06  eta: 3 days, 15:02:49  time: 0.2361  data_time: 0.0063  memory: 3917  grad_norm: 3339.6234  loss: 85.4579  loss_cls: 38.3573  loss_bbox: 0  loss_dfl: 0

准备好数据之后当训练的时候发现训练日志中显示，bbox和dlf损失都为0
loss_bbox: 0 loss_dfl: 0，这个显然是有问题的，经过排查之后发现原因是在写类别的时候大小写不统一。
有这么几个文件的位置是需要写训练数据类别的：
（1）要训练的config配置文件， 在coco_train_dataset的部分 ：
classes=[“human”,“car”,“truck”,“van”,“motorbike”,“bicycle”,“bus”,“trailer”]
metainfo=dict(classes=classes),
（2）data/tests/class_text.json 这个json文件中需要写明训练类别：
[[“human”],[“car”],[“truck”],[“van”],[“motorbike”],[“bicycle”],[“bus”],[“trailer”]]
（3）训练数据的标注文件是coco格式的json文件，这个文件中"categories":部分也是会写明训练的类别的：

"categories": [
        {
            "id": 0,
            "name": "human"
        },
        {
            "id": 1,
            "name": "car"
        },
        {
            "id": 2,
            "name": "truck"
        },
        {
            "id": 3,
            "name": "van"
        },
        {
            "id": 4,
            "name": "motorbike"
        },
        {
            "id": 5,
            "name": "bicycle"
        },
        {
            "id": 6,
            "name": "bus"
        },
        {
            "id": 7,
            "name": "Trailer"
        }
    ]

保证这几部分类别的顺序，大小写完全一致即可解决loss_bbox: 0 loss_dfl: 0错误。
如果还解决不了的话参考：github上大家的讨论链接在这：issue