caffe HDF5Data 层使用及数据生成

使用Caffe的HDF5Data层处理非图像数据

最新推荐文章于 2025-11-01 23:13:09 发布

原创

最新推荐文章于 2025-11-01 23:13:09 发布 · 1.4w 阅读

15 ·

CC 4.0 BY-SA版权

当输入数据不是标准图像时，可以使用Caffe的HDF5Data层。本文介绍了如何在Matlab中生成HDF5文件，并展示了Caffe中HDF5Data层的配置和使用，特别指出单个文件大小限制和多个H5文件的处理方式。

有些时候，我们的输入不是标准的图像，而是其它一些格式，比如：频谱图、特征向量等等，这种情况下LMDB、Leveldb以及ImageData layer等就不好使了，这时候我们就需要一个新的输入接口——HDF5Data.

(1) 在Matlab中生成HDF5文件

这里直接以例子的形式说明如何生成：

问题：输入data是512*1的矢量，共1000个样本，label是标量。

代码如下：

% 创建HDF5文件，包含data和label两个变量，数据类型是caffe支持的float型数据

h5create('train.h5','/data',[1 1 512 1000],'Datatype','single');
h5create('train.h5','/label',[1

最低0.47元/天解锁文章

15 条评论

sunshine_br 2018.04.08
楼主您好，想了解下，你假设的输入数据的维度应该是512*1*1*1000吧？（其中512*1是尺寸，1相当于是通道数目，1000是样本数）；那运行第8行代码之后（train_data = reshape(train_data,[1 1 512 1000]);），train_data的维度是这样的吧：1*1*512*1000？没有明白你说的 “%reshape: width x height x channels x num，注意MATLAB读数据是列优先，是和C++里面相反的。所以写数据的时候也要倒着写。” 体现在哪呢，行列转置后不应该是1*512*1*1000吗？

xia5537023461 2018.03.10
博主，为什么你的第一段代码里没有目录和文件名什么的？
- shuzfan回复xia5537023461 2018.04.01
  [reply]xia5537023461[/reply] 你是指h5create('train.h5','/data',[1 1 512 1000],'Datatype','single'); ‘train.h5’就是文件名啊

jingle021 2017.10.16
请问楼主，你的：“输入data是512*1的矢量” 请问这个矢量是按照什么格式存的？

shuzfan 2017.08.30
[quote=qq_37315513][reply]shuzfan[/reply] label应该是1x1x5x1,注意是一幅图像对应5个label
- 十八子林回复shuzfan 2017.09.20
  [reply]shuzfan[/reply] 好的，谢谢

十八子林 2017.08.29
博主，你好。请问如何将多标签和对应一个图片生成hdf5？
- 十八子林回复dongxia_dl 2019.05.06
  [reply]xiakejiang[/reply] 我做的应该是多分类，不是多标签
- 一杯桃花酥回复dongxia_dl 2019.04.10
  [reply]xiakejiang[/reply] 我的输入是368*368，中间有3次池化，最后会变为46*46，如果一开始使用比较小的图片的话，信息损失的比较多。我目前也找到了一个折中的方法：368*368*3的彩色图片用lmdb格式输入，其他2个多标签的特征data使用hdf5输入。
- dongxia_dl回复一杯桃花酥 2019.04.08
  [reply]qq_39055850[/reply] 哈哈，原来如此。不过您这个368*368维度的图片只是人脸的还是包含背景的？一般人脸关键点检测用40*40左右大小的人脸图像不就行吗？
- 一杯桃花酥回复dongxia_dl 2019.04.08
  [reply]xiakejiang[/reply] 最近找到问题了，我训练集中有1W张图片，然后每张图片想训练得到21个特征点坐标，每张图片时规格是368*368*3。在caffe中读入hdf5时发现在读到7500张图片时，7500*3*368*368 > INTMAX 了，所以报错了。我把数据集改为5000张，就可以训练了。但是我目前还是不明白，按理来说1W张图片也不是很多，为什么就超过了规定上限呢？
- dongxia_dl回复一杯桃花酥 2019.04.04
  [reply]qq_39055850[/reply] 没有遇到过您描述的这种问题。多标签的训练具体一点，指的是什么问题模型？如果是关键点的话，把ground truth关键点保存在HDF的"label"中就可以，如果是多图像标签的话也是差不多。
- 一杯桃花酥回复dongxia_dl 2019.04.03
  [reply]xiakejiang[/reply] 您好，我最近在做多标签的训练，在产生完hdf5文件后开始训练，大概迭代次数在1800时会出现Check failed: shape[i] <= 2147483647 / count_ 这个问题，我目前不知道怎么解决这个问题，我在网上查看了些资料，发现caffe读入hdf5文件是将所有的h5文件全部读入到blob中，但是我是在训练过程中报错的，如果是大小溢出的话应该会在训练开始的时候就理应报错呀？您能帮我解决这个问题吗？谢谢
- dongxia_dl回复一杯桃花酥 2019.03.28
  [reply]qq_39055850[/reply] 可以简单讨论一下
- 一杯桃花酥回复dongxia_dl 2019.03.28
  [reply]xiakejiang[/reply] 您好，请问您解决了吗？我现在也遇到了相同的问题，能否向您请教下呢？
- dongxia_dl回复十八子林 2019.03.18
  [reply]qq_37315513[/reply] 您描述的这个实现了吗，我目前也在做多（图像）标签的分割，也要制作成HDF格式。
- 十八子林回复shuzfan 2017.08.30
  [reply]shuzfan[/reply] 谢谢博主答复。我做的是图像分割，图片是3通道，（1）那data应该是w*h*3*1？（2）标签是5类，是w*h*5*1？标签是否需要二值化？
- shuzfan回复十八子林 2017.08.29
  [reply]qq_37315513[/reply] 你可以看下我的例子里面，一个label的时候是1x1x1x1000，如果是对应n个label，你可以改成1x1xnx1000

WangNa434 2016.11.15
楼主的第一个例子似乎有问题，train_data = reshape(train_data,[1 1 512 1000]); 每个样本是512*1，则输入的转置数据应该是1*521*1*1000，所以train_data = reshape(train_data,[1 512 1 1000])才对
- dongxia_dl回复shuzfan 2019.03.18
  [reply]shuzfan[/reply] 不能吧，您的意思的label只能是1维向量？
- WangNa434回复shuzfan 2016.11.16
  [reply]shuzfan[/reply] 谢谢，我上午试了试，如果按照数据 [Width * Height * Channel * Number] 排列，LABEL按照 [1 1 1 Number]排列，Caffe train就能运行，如果按照 [Number * Channel * Width * Height] 和 [Number 1 1 1] r LABEL运行就会出现错误，check failed hdf_blobs_[i]->shape[0]，我暂时是按照前一种排列方式
- shuzfan回复WangNa434 2016.11.16
  [reply]WangNa434[/reply] 建议你看一下caffe的softmax_loss_layer.cpp，里面一般要求label的个数等于num*height*width，即应当使height=1,width=1.
- WangNa434回复shuzfan 2016.11.16
  [reply]shuzfan[/reply] 明白了，就是说无论4维数据的维度如何变化，只要和LABEL匹配就可以，如果是 width x height x channels x num，则数据维度是 [1 512 1 1000]，对应的LABEL是 [1 1 1 1000]；同样，如何数据维度是num*channels*height*width，即 [1000 1 512 1]，对应的LABEL数据组是 [1000 1 1 1 ]，是吧？？
- shuzfan回复WangNa434 2016.11.15
  [reply]WangNa434[/reply] 首先，无论是512x1x1还是1x512x1都不影响数据分布；其次写成num*channels*height*width=1000x512x1x1，更符合caffe中全连接的计算方式，否则数据维度和label对不齐很容易出错。