HDF5

本文介绍了两种流行的深度学习数据存储格式,HDF5和LMDB。HDF5是一种支持多种类型图像和数码数据的文件格式,具有跨平台特性。LMDB则是一种高性能的内存映射数据库,其简单结构便于数据复制和传输,适用于快速访问大量数据的场景。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

HDF5

Hierarchical Data Format,可以存储不同类型的图像和数码数据的文件格式,并且可以在不同类型的机器上传输,同时还有统一处理这种文件格式的函数库。大多数普通计算机都支持这种文件格式。

caffe 训练模型可以选择保存为HDF5格式或默认的protobuffer格式

LMDB \LEVELDB

LMDB的全称是LightningMemory-Mapped Database,闪电般的内存映射数据库。它文件结构简单,一个文件夹,里面一个数据文件,一个锁文件。数据随意复制,随意传输。它的访问简单,不需要运行单独的数据库管理进程,只要在访问数据的代码里引用LMDB库,访问时给文件路径即可。

https://blog.youkuaiyun.com/langb2014/article/details/52995349

ref
https://blog.youkuaiyun.com/renyhui/article/details/77735314

http://adilmoujahid.com/posts/2016/06/introduction-deep-learning-python-caffe/

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值