caffe制作lmdb数据集（Windows）

最新推荐文章于 2022-11-28 23:35:28 发布

Neu_new_niu_妞er

最新推荐文章于 2022-11-28 23:35:28 发布

阅读量254

点赞数

文章标签： LMDB CAFFE

本文链接：https://blog.youkuaiyun.com/u010653518/article/details/103296786

版权

convert_imageset [FLAGS] ROOTFOLDER/ LISTFILE DB_NAME

1.convert_imageset 可以到 ‘D:\caffe-master\Build\x64\Release’文件夹下面找；

2.[FLAGS]是可选项，如果list文件里面有写就不用了

3.ROOTFOLDER/是图片所在文件夹加上‘\’

4.LISTFILE是文件列表，格式是“文件名”+“标签”

5.DB_NAME是最后生成的数据集文件夹的名字

注意程序读取的文件路径是‘ROOTFOLDER’+‘/’+‘LISTFILE’中的文件名，如果3中没加‘/’那就是没有的；5也是绝对路径，如果只写了文件夹的名字，那就是在convert_imageset.exe所在的文件夹下了，如果这个文件夹下已经有同名文件夹了，要先删掉。

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

Neu_new_niu_妞er

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

制作自己的数据集并且在caffe-ssd下运行

riyuexingchen13的博客

05-18

423

一.VOC2007格式数据集制作 1.数据集简介解压VOC2007数据集后可以看到VOC2007文件夹下有以下5个文件夹： Annotations文件夹该文件下存放的是xml格式的标签文件，每个xml文件都对应于JPEGImages文件夹的一张图片。 JPEGImages文件夹改文件夹下存放的是数据集图片，包括训练和测试图片。 ImageSets文件夹该文件夹下存放了三个文件，分别是Lay...

笔记：caffe ssd gpu训练自己的数据集

shuli0614的博客

02-22

918

caffe ssd GPU训练自己的数据集一、caffe环境搭建二、数据集三、训练和测试一、caffe环境搭建环境搭建过程网上有很多教程，可能要踩些坑吧，正常，这里不多赘述，主要是我当时也没做记录，实在难以复现那个过程了。 caffe用的weiliu89，先克隆下来，然后再把ssd分支checkout，代码如下： git clone https://github.com/weiliu89/ca...

参与评论您还未登录，请先登录后发表或查看评论

lmdb-0.94-cp36-cp36m-win_amd64.whl

10-11

如题。。。。。。。lmdb-0.94-cp36-cp36m-win_amd64.whl

win10下利用caffe制作LMDB数据集（ubuntu同理）

luozhichengaichenlei的博客

03-13

425

这篇博客默认你已经安装了caffe，因为制作lmdb数据集时需要用到caffe生成的函数。参考博文是：https://blog.youkuaiyun.com/Rayue_/article/details/81080359后面制作数据集的部分。 0、准备阶段和博文一样，从micro/caffe中复制data文件夹和scripts文件夹到你的目录下，然后将你准备好的数据文件夹VOCdevkit放...

windows下lmdb文件制作

糊涂鱼的世界

06-08

1151

一数据准备下载数据->转换成图片，得到trainImages和testImages两个文件夹->生成train.txt、val.txt、test.txt文件，val.txt是train.txt的子集，test.txt和val.txt相同，只是test.txt不带标签。下面步骤只生成了label.txt，即train.txt，其他两个文件自己制作下。1、从Kaggle上面下载所需要...

caffe 制作lmdb数据集

uncle_ll的博客

03-19

2492

1生成lmdb文件 caffe中通过图像生成lmdb格式文件的程序为examples/imagenet/create_imagenet.sh。该文件调用 build/tools/convert_imageset（对应的源码为tools/convert_imageset.cpp）。为了不改变原来的程序，在examples内新建自己的工程文件夹。复制 create_imagenet.sh，并

linux caffe 生成lmdb,利用Caffe创建自己的lmdb数据集

weixin_33669473的博客

05-16

221

用Caffe进行模型训练时，除了用现有的公开数据集(如MNIST, CIFAR等)，有时候我们还需要创建自己的数据集进行训练。本篇博客讲的就是如何利用Caffe中的模块创建自己lmdb数据集。数据集准备我们需要自己准备好带类别标签的图片数据，并将数据统一命名，这里为了方便，我直接从CIFAR10训练集中拿出5000张图片用于制作验证集，图片为.png格式，并采用‘图片编号_类别标签.png’的命名...

refinedet训练KITTI数据集（仅用于Car和Cyclist两种类别的检测)

qq_40177552的博客

05-29

1339

参考：SSD: Single Shot MultiBox Detector 训练KITTI数据集（1） - Jesse_Mx的博客 - 优快云博客 https://blog.youkuaiyun.com/jesse_mx/article/details/65634482/ 顺便说一下，我一直以为Cyclist是检测的自行车，后来检测的时候才发现原来检测的是骑自行车的人... 贴上create_list...

Caffe学习（五）win10下配置vs2013版本的yolo+mobileNet训练自己的数据集

mqyw29995的博客

08-04

745

Caffe学习（五）win10下配置vs2013版本的yolo+mobileNet训练自己的数据集 准备阶段 1、caffe-mobilenet-windows 2、数据集 3、python caffe-yolo 关于Caffe-YOLOv3-Windows的安装配置请参考 https://blog.youkuaiyun.com/mqyw29995/article/details/105961674 数据集 1、工具下载标定数据集可以使用labelme，具体下载可去GitHub上下在，安装按照上面提示进行。 2、

caffe学习（二）Windows10+Cifar10+DenseNet 训练和预测（C++）详细过程（训练自己的图片也试用）附：问题总结

mqyw29995的博客

02-25

1776

caffe学习（二）Windows10+Cifar10+DenseNet实现训练和预测前言论文名称：Densely Connected Convolutional Networks（CVPR 2017, Best Paper Award）论文链接：https://arxiv.org/pdf/1608.06993.pdf 源码链接：https://github.com/liuzhuang13/...

caffe+windows7+GPU+训练自己的数据集

Skywalker_air的博客

01-25

868

参考博文： https://www.cnblogs.com/love6tao/p/5743030.html http://blog.youkuaiyun.com/qq_27923041/article/details/54139887 安装cudnn 时，记得这个cudnn文件三个要拷贝到C盘中，替换掉原来的 1.制作训练集和测试集的标签（done）见new_setlab.py 注意在同一目

caffe数据集LMDB的生成

weixin_34128534的博客

05-10

350

本文主要介绍LMDB的数据集如何生成第一步生成train.txt和test.txt文件文件对于一个监督学习而言，通常具有训练集（train_data文件夹）和测试集（test_data文件夹），如下图所示而多分类问题，train_data文件夹的子目录下，有会各个类别的文件夹，里面放着归属同一类的图片数据。（test_data文件夹同理）因此，我们需要先生成train...

cifar10 windows caffe_master下的数据转换lmdb和leveldb

yxswhy的博客

09-15

461

开始训练该案例的时候，对数据格式转换有疑问，普遍讲解是转换成leveldb格式 cifar10与minist的数据转换要求不同，cifar10在数据转换时要给出要转换的格式。我下载的是二进制文件数据所得5个训练和1个测试样本，将这些bin文件放入input文件夹中（新建的）若.bat文件与数据不在同一文件夹下，那么要指明数据的绝对地址，转换后数据保存的地址 D:\caffe\caf...

Caffe系列2——Windows10制作LMDB数据详细过程（手把手教你制作LMDB）

adong1976的博客

04-09

596

Windows10制作LMDB详细教程原创不易，转载请注明出处：https://www.cnblogs.com/xiaoboge/p/10678658.html 摘要：　　当我们在使用Caffe做深度学习项目时，经常需要制作Caffe常用的数据类型lmdb、leveldb以及hdf5等（尽管可以使用原始图片，效率低），而不是我们常见的JPG、PNG、TIF。因此，我们需要对我们...

【caffe-windows】 caffe-master 之图片转换成lmdb or leveldb

人工智能技术学习与分享

04-21

1220

前期准备：文件夹train：此文件夹中按类别分好子文件夹，各子文件夹里存放相应图片文件夹test：同train，有多少类就有多少个子文件夹 trainlabels.txt ：存的是训练集的标签 testlables.txt：存的是测试集的标签 (特别注意：文件的路径以及文件名要对应) 第一步生成train文件夹和test文件夹以及标签文件。本文用的是matlab对数据集进行读取，

Caffe：Win10下测试自己制作的数据集

DoveJay的博客

04-15

1572

配置环境参照我的上一篇博文，整个测试过程是在网上爬出来并亲自实践总结，中间遇到的各种问题已详细po出，供大家交流学习。 =================================================================== 下面是几个完整的训练测试过程链接：参考链接1：http://www.cnblogs.com/denny402/p/

window下使用lmdb内存过大的bug

qq_36797410的博客

11-28

1282

lmdb.Error: lmdb/refcoco\testB.lmdb: ��̿ռ䲻�㡣

caffe下为图像加标签，转换为可执行文件.lmdb格式

爱吃鱼的猫

08-04

9532

caffe对于训练数据格式，支持：lmdb、h5py……，其中lmdb数据格式常用于单标签数据，像分类等，经常使用lmdb的数据格式。对于回归等问题，或者多标签数据，一般使用h5py数据的格式。当然好像还有其它格式的数据可用，本文就主要针对lmdb数据格式的制作方法，进行简单讲解。以一个简单的例子来介绍一下如何生成自己的图像集。 lmdb数据 lmdb用于单标签数据。为了简

使用caffe制作自己的lmdb数据集

zhaoyoulin2016的博客

07-25

4507

新鸟最近在一家半导体公司实习，接触到的项目都是基于 caffe框架的深度学习方面的知识，前期对tensorflow比较熟，但是到了公司没办法啊！！！不会怎么办，只能硬着头皮上啊！！！！中途碰壁不少，写这篇博客只是想以后方便查阅资料，另外一方面是给同样在深度学习里面摸爬滚打的朋友一个参考吧！！！！公司提供的数据都是工程师切分好的数据集，但是图像的大小有大有小，不能直接拿过来用在神...

Flickr2K

最新发布

03-29

<think>好的，用户需要关于Flickr2K数据集的下载和使用说明，特别是用于图像超分辨率任务。首先，我应该先确认用户的具体需求，可能他们正在寻找如何获取这个数据集，以及如何在他们的项目中使用它。首先，我需要回忆一下之前整理的引用内容。引用[1]提到Flickr2K包含2650张高分辨率图像，主要用于超分辨率训练和评估。引用[2]解释了超分辨率的基本概念，即从低分辨率图像恢复高分辨率的过程。引用[3]则提供了数据集的下载链接和相关资源的位置，这可能对用户非常有用。接下来，用户的问题包括下载和使用说明。根据引用[3]，DIV2K和Flickr2K的下载地址已经在之前的资料中整理过，可能需要引导用户到那个链接。但用户可能希望直接得到链接，所以需要检查是否有可用的公开下载途径。通常，这些数据集可能托管在学术网站或云盘上，比如Google Drive或百度网盘。另外，使用说明方面，用户可能需要知道数据集的目录结构，如何划分训练集和测试集，以及如何预处理数据。例如，Flickr2K通常作为训练集，而DIV2K或其他数据集作为验证或测试。预处理步骤可能包括生成低分辨率图像，通过降采样或添加噪声等方法。同时，用户可能关心数据集的格式和图像尺寸，是否需要调整大小或转换为特定的格式（如PNG、JPEG）。此外，引用超分辨率模型训练时，常用的方法如SRCNN、ESRGAN等，可能需要特定的数据准备流程，比如将图像切割成小块进行训练。可能还需要提到相关的工具库，如OpenCV或PIL，用于图像的读取和处理。以及框架如TensorFlow或PyTorch中的数据加载器如何配置使用Flickr2K。用户可能没有提到的深层需求包括数据增强的方法，或者如何处理数据集中的版权问题，但根据问题范围，可能不需要深入这些方面。另外，需要确保提供的下载链接是可靠和最新的，避免用户遇到死链。总结下来，回答的结构应该包括下载途径、目录结构、预处理步骤、使用示例和注意事项。需要确保所有信息准确，并正确引用提供的参考资料，特别是在提到数据集用途时引用[1]和[2]，下载信息引用[3]。</think>### Flickr2K数据集下载与使用说明 #### 1. 数据集简介 Flickr2K数据集包含2650张高分辨率图像，主要用于训练和评估超分辨率算法，例如将$32 \times 32$的低分辨率图像重建为$128 \times 128$的高分辨率图像[^1]。其图像分辨率范围在$768 \times 1024$到$2048 \times 2048$之间，覆盖自然场景、人物、建筑等多种主题。 #### 2. 下载途径通过学术资源平台或公开云盘可获取： - **官方渠道**：访问[NTIRE超分挑战赛官网](https://data.vision.ee.ethz.ch/cvl/ntire21/)查找下载入口 - **云盘资源**：百度网盘或Google Drive链接（示例路径：`pan.baidu.com/s/xxxxxx`）[^3] - **镜像站点**：部分研究机构会提供镜像下载（需注意版权声明） #### 3. 目录结构解压后典型结构如下： ``` Flickr2K/ ├── HR/ # 高分辨率图像 │ ├── 0001.png │ ├── 0002.jpg │ └── ... └── LR_bicubic/X4/ # 使用双三次下采样4倍的低分辨率图像 ├── 0001x4.png ├── 0002x4.jpg └── ... ``` #### 4. 预处理步骤 1. **分辨率标准化**：将图像统一缩放到$512 \times 512$或保持原始尺寸 2. **生成LR图像**：若未提供低分辨率版本，可用以下公式生成： $$ I_{LR} = \text{downsample}(I_{HR}, \text{scale_factor}=4) $$ 推荐使用OpenCV实现： ```python import cv2 lr_img = cv2.resize(hr_img, (w//4, h//4), interpolation=cv2.INTER_CUBIC) ``` 3. **数据增强**：旋转（$90^\circ, 180^\circ, 270^\circ$）、镜像翻转等操作 #### 5. 训练示例（PyTorch） ```python from torch.utils.data import Dataset class Flickr2KDataset(Dataset): def __init__(self, hr_path, lr_path): self.hr_images = [os.path.join(hr_path, f) for f in os.listdir(hr_path)] self.lr_images = [os.path.join(lr_path, f) for f in os.listdir(lr_path)] def __getitem__(self, idx): hr = torch.from_numpy(cv2.imread(self.hr_images[idx])).permute(2,0,1) lr = torch.from_numpy(cv2.imread(self.lr_images[idx])).permute(2,0,1) return lr, hr ``` #### 6. 注意事项 - **内存优化**：建议使用`LMDB`数据库存储图像以避免小文件IO瓶颈 - **验证集划分**：可随机选择5%的数据作为验证集（约132张） - **超参数设置**：建议批量大小（batch size）设为16-32，学习率$1e^{-4}$到$5e^{-4}$