h5py存取简例

最新推荐文章于 2023-11-29 14:39:04 发布

原创最新推荐文章于 2023-11-29 14:39:04 发布 · 663 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#h5py #numpy #python #scipy

机器学习专栏收录该内容

121 篇文章

订阅专栏

当遇到超过2GB的大数据文件，使用scipy.io.savemat会报错。此时可以改用h5py进行存储和读取。h5py创建的.h5文件在MATLAB中同样可读。示例代码展示了如何用h5py保存和读取数据，强调了在读取时需注意的细节。

当数据太大（好像是 > 2G？），scipy.io.savemat 会报错，考虑换用 h5py。这种格式 matlab 也可以读，见 [4]。

Code

import numpy as np
import h5py

a = np.arange(12).reshape(3, 4)
print("a:", a)

# 保存
with h5py.File("test.h5", "w") as f:
    f.create_dataset("images", data=a)

# 读取
with h5py.File("test.h5", "r") as f:
    for k in f.keys():
        print(k)
    # 此处必加 `[()]` 之类的 slicing 操作
    # 不然离开这个 `with` 的域，后面的 `print` 会报错
    # 解释见 [1]
    b = f["images"][()]

print("b:", b)
print(type(b))
print(b.shape)
print(b.dtype)