在Caffe上利用自己的数据集进行微调

最新推荐文章于 2025-10-21 10:23:18 发布

原创

最新推荐文章于 2025-10-21 10:23:18 发布 · 5.5k 阅读

5 ·

CC 4.0 BY-SA版权

文章标签：

#caffe #句柄无效问题

本文介绍了如何在Caffe框架下使用自己的数据集进行模型微调。首先，详细讲述了准备数据集的过程，包括数据集结构、创建标签txt文件以及将数据集转换为leveldb格式。接着，作者遇到并解决了在微调过程中遇到的‘MANIFEST-000007句柄无效’错误。通过修改prototxt文件和解决数据源冲突，成功启动了模型微调。

参照http://blog.youkuaiyun.com/u012878523/article/details/41698209的说明，完成了在caffe上利用自己的数据集进行微调，现在将整个过程记录如下。

一.准备数据集
1.准备原始数据集
数据集中包括训练集和测试集。我是在caffe-windows主目录下新建了lp文件夹，里面有train和val两个文件夹。train里面又有pos_train和neg_train两个文件夹，分别存放着用于训练的正样本和负样本（各有500张256*256的图片）。val文件夹里面存放着100张图片。

2.制作标签txt文件
这一步我们需要对数据集中的图片添加标签，然后存成txt文件。由于我对matlab比较熟悉，所以用matlab编写了相应的程序，如下：


    pos_folder="your path";
    neg_folder = "your path";  
    image_width = 120;   %图像小块的宽度
    image_height = 34;  %图像小块的高度
    pixel_total = image_width * image_height*3; %图像中像素点的数目
    pos = dir(pos_folder);

    [pos_row,pos_line] = size(pos);
     neg