Caffe - 创建LMDB/HDF5格式数据

最新推荐文章于 2021-03-22 21:14:34 发布

AIHGF

最新推荐文章于 2021-03-22 21:14:34 发布

阅读量3.4k

点赞数

CC 4.0 BY-SA版权

本文链接：https://blog.youkuaiyun.com/zziahgf/article/details/72717583

本文介绍了如何使用Python创建和读取Caffe所需的LMDB及HDF5数据格式。LMDB因其高效的数据速率和对大规模数据集的支持而受到青睐，而HDF5虽然易于读取且数据压缩能力强，但需要全部加载到内存，适合数据量不超过内存的情况。文章分别详细阐述了LMDB的创建和读取，以及HDF5的创建和读取过程。

Python 创建LMDB/HDF5格式数据

LMDB格式的优点：
- 基于文件映射IO（memory-mapped），数据速率更好
- 对大规模数据集更有效.

HDF5的特点：
- 易于读取
- 类似于mat数据，但数据压缩性能更强
- 需要全部读进内存里，故HDF5文件大小不能超过内存，可以分成多个HDF5文件，将HDF5子文件路径写入txt中.
- I/O速率不如LMDB.

LMDB创建

import numpy as np
import lmdb
import caffe

lmdb_file = '/path/to/data_lmdb'
N = 1000 
# 准备 data 和 labels
X = np.zeros((N, 3, 224, 224), dtype=np.uint8) # data