Caffe框架下OPenMV的机器学习（五）制作数据标签

 

 

1.  概述

1.1 什么是数据标签？

数据标签就是图像数据在训练模型中的一个标志，设置标签有利于Caffe读取的时候提高速度也便于训练模型的标准化。

1.2 常用的数据标签类型

• lmdb
• HDF5

LMDB 是一个闪电般的内存映射型数据库管理器，在Caffe中的作用主要是提供数据管理，将形形色色的原始数据转换为统一的Key-Value存储，便于Caffe的DataLayer获取这些数据。

HDF5 是用于存储和分发科学数据的一种自我描述、多对象文件格式。HDF 是由美国国家超级计算应用中心（NCSA）创建的，以满足不同群体的科学家在不同工程项目领域之需要。HDF 可以表示出科学数据存储和分布的许多必要条件。

2.  制作lmdb标签

2.1 生成列表清单

清单的格式如下：

图片路径[中间一个空格]标记序号

我们可以用python来编写脚本生成，create_labels.py 如下：

import os, sys
import argparse
import random
import numpy as np
from tqdm import tqdm

import time
import shutil

def shuffle_in_unison(a, b):
    assert len(a) == len(b)
    shuffled_a = np.empty(a.shape, dtype=a.dtype)
    shuffled_b = np.empty(b.shape, dtype=b.dtype)
    permutation = np.random.permutation(len(a))
    for old_index, new_index in enumerate(permutation):
        shuffled_a[new_index] = a[old_index]
        shuffled_b[new_index] = b[old_index]
    return shuffled_a, shuffled_b

def move_files(input, output):
    '''
        Input: 数据集文件夹，不同分类的数据存储在不同子文件夹中
        Output: 输出的所有文件，文件命名格式为 class_number.jpg; 输出必须是绝对路径
    '''
    index = -1
    for root, dirs, files in os.walk(input):
        if index != -1:
            print 'Working with path', root
            print 'Path index', index
        filenum = 0
        for file in (files if index == -1 else tqdm(files)):
            fileName, fil