h5py存取简例

HackerTom

于 2021-05-27 21:48:11 发布

阅读量631

点赞数

CC 4.0 BY-SA版权

分类专栏：机器学习文章标签： h5py numpy python scipy

本文链接：https://blog.youkuaiyun.com/HackerTom/article/details/117338739

机器学习专栏收录该内容

121 篇文章

订阅专栏

当遇到超过2GB的大数据文件，使用scipy.io.savemat会报错。此时可以改用h5py进行存储和读取。h5py创建的.h5文件在MATLAB中同样可读。示例代码展示了如何用h5py保存和读取数据，强调了在读取时需注意的细节。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

当数据太大（好像是 > 2G？），scipy.io.savemat 会报错，考虑换用 h5py。这种格式 matlab 也可以读，见 [4]。

Code

import numpy as np
import h5py

a = np.arange(12).reshape(3, 4)
print("a:", a)

# 保存
with h5py.File("test.h5", "w") as f:
    f.create_dataset("images", data=a)

# 读取
with h5py.File("test.h5", "r") as f:
    for k in f.keys():
        print(k)
    # 此处必加 `[()]` 之类的 slicing 操作
    # 不然离开这个 `with` 的域，后面的 `print` 会报错
    # 解释见 [1]
    b = f["images"][()]

print("b:", b)
print(type(b))
print(b.shape)
print(b.dtype)

h5py存取简例

Code

References