保存torch.tensor和numpy.array的利器——HDF5实用代码

最新推荐文章于 2024-07-08 03:50:57 发布
原创 最新推荐文章于 2024-07-08 03:50:57 发布 · 2.8k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了在Python编程中，如何利用HDF5替代pickle和cpickle+gzip来高效地保存和存储torch.tensor及numpy.array。HDF5提供了更好的长期存储解决方案，避免了pickle因代码环境变化导致的数据不可用问题。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

在写python代码的时候，常常需要将python的对象序列化为字节流，或者保存到文件、存到数据库，或者通过网络传输。

一种常见的方法就是用pickle，这是python自有的数据编码方式，可以将待序列化的对象的所有数据信息都序列化为字节流，并且可以完美反序列化，当然前提是所有所需的源文件都是可用且相同的。pickle反序列化会自动加载模块并创建实例，所以一旦代码环境改变，就会导致pickle保存下来对数据不可用了。所以不适合用来长时间存储。

另外，对于array和numpy.array而言，pickle实在是太蠢了。有人会用cpickle＋gzip的方式对数组进行高效存储和压缩，但了解了HDF5编码的存储，你不会再想要用pickle(s)保存数组了。

import h5py

def load_hdf5(infile, keys):
	"""
	Load hdf5 file to dict with arrays.
	Args:
	  infile: str, name of hdf5 file
	  keys: tuple/list, keys in hdf5 dataset  
	Return:
	  dict, <key, value> in hdf5 file
	"""
	with h5py
最低0.47元/天 解锁文章

200万优质内容无限畅学
torch::Tensor的文件存取
Betterc5的博客
11-22 2871
bool classA::saveCvecById(const std::string& user_id, at::Tensor cvec) { #ifndef NDEBUG std::cerr << __FUNCTION__ << ": user_id: " << user_id << std::endl; #endif s...
PyTorch 学习笔记（二）：张量、变量、数据集的读取、模组、优化、模型的保存和加载
h__ang的博客
04-21 6210
一. 张量 PyTorch里面最基本的操作对象就是Tensor，Tensor是张量的英文，表示的是一个多维的矩阵，比如零维就是一个点，一维就是向量，二维就是一般的矩阵，多维就相当于一个多维的数组，这和numpy是对应的，而且PyTorch的Tensor和numpy的ndarray可以相互转换，唯一不同的是PyTorch可以在GPU上运行，而numpy的ndarray只能在CPU上运行。 我们先介绍...
pytorch 保存、读取 tensor 数据
呆萌的代Ma
07-13 1万+
首先导包： import torch save_torch = torch.Tensor([[1, 2, 3, 4], [2, 34, 5, 6]]) 保存 tensor torch.save(save_torch, 'test_save_tensor.pt') 读取 tensor load_torch = torch.load('test_save_tensor.pt') 完整测试代码 import torch save_torch = to
PyTorch教程-7：PyTorch中保存与加载tensor和模型详解
热门推荐
超级超级小天才的博客
12-14 4万+
PyTorch 教程系列：https://blog.csdn.net/qq_38962621/category_10652223.html PyTorch教程-7：PyTorch中保存与加载tensor和模型详解 保存和读取Tensor PyTorch中的tensor可以保存成 .pt 或者 .pth 格式的文件，使用torch.save()方法保存张量，使用torch.load()来读取张量： x = torch.rand(4,5) torch.save(x, "./myTensor.pt") y =
pytorch tensor 保存图片
using namespace 数学工具构造器;
07-30 3485
自带的 from torchvision.utils import save_image img=im_data.data img-=img.min() img/=img.max() img*=255 img=img.cpu() img=img.squeeze(). npimg=img.permute(1,2,0).numpy().astype('uint8') plt.imsave('data...
Pytorch入门（4）—— Tensor和Module的保存与加载
佚失的诗篇
09-16 2612
结合代码介绍 pytorch 中 tensor 和 Module 示例的本地存储和加载方法
载MATLAB生成的.mat文件 data = sio.loadmat(‘ofdm_dataset.mat’) X = data[‘X’].astype(np.float32) y = data[‘y’].astype(np.float32) 转换为PyTorch张量并调整维度 X_tensor = torch.from_numpy(X).permute(0, 2, 1) # 维度: (batch, 2, 64) y_tensor = torch.from_numpy(y) # 维度: (batch, 128) 划分训练集和测试集 dataset = TensorDataset(X_tensor, y_tensor) train_size = int(0.8 * len(dataset)) test_size = len(dataset) - train_size train_dataset, test_dataset = torch.utils.data.random_split(dataset, [train_size, test_size]) return train_dataset, test_dataset ---------------Please use HDF reader for matlab v7.3 files, e.g. h5py出现上述错误 向我提问的人太多,我回答不过来了呢,我们正在努力扩容中,请稍等一会再试试~~~ 深度思考 DeepSeek-R1 在此输入您的问题~
03-18
MATLAB从版本7.3开始使用HDF5格式保存.mat文件，而scipy.io.loadmat无法读取这种格式，必须改用h5py库。用户遇到的错误正是因为这个原因。 接下来，我需要指导用户如何正确使用h5py加载v7.3的.mat文件。需要指出原...
def get_samples(is_split=True): # 设置随机种子，保证结果可复现 random.seed(42) np.random.seed(42) # 1. 加载数据 #features = np.load(features_path) # 假设形状为 (n_samples, ...) #labels = np.load(labels_path) # 假设形状为 (n_samples,) #sns = np.load(sns_path) # 假设形状为 (n_samples,)，每个元素是磁盘SN with h5py.File(samples_path, 'r') as file: features = np.array(file['features']) # 读取数据 labels = np.array(file['labels']) sns = np.array(file['sns']) if is_split == False: return features, labels # 2. 获取所有唯一的SN并打乱顺序 unique_sns = np.unique(sns) random.shuffle(unique_sns) # 随机打乱SN顺序 # 3. 按8:2比例划分SN（训练集80%，测试集20%） split_idx = int(len(unique_sns) * 0.8) train_sns = set(unique_sns[:split_idx]) # 训练集使用的SN test_sns = set(unique_sns[split_idx:]) # 测试集使用的SN # 4. 根据SN筛选样本 # 生成训练集和测试集的掩码（布尔数组） train_mask = np.array([sn in train_sns for sn in sns]) test_mask = np.array([sn in test_sns for sn in sns]) # 筛选样本 train_features = features[train_mask] train_labels = labels[train_mask] test_features = features[test_mask] test_labels = labels[test_mask] X_train = torch.tensor(train_features, dtype=torch.float32) X_test = torch.tensor(test_features, dtype=torch.float32) y_train = torch.tensor(train_labels, dtype=torch.float32) y_test = torch.tensor(test_labels, dtype=torch.float32) return X_train, X_test, y_train, y_test 我要返回的是X_train, X_test, y_train, y_test
最新发布
08-03
我们面临的核心问题是如何在读取HDF5文件时根据SN（序列号）划分训练集和验证集，并将数据转换为PyTorch张量。关键点在于： 1. 按SN划分：确保同一个SN的所有样本只出现在训练集或验证集中的一个，避免数据泄露。 2....
torch.save .h5失败
01-14
在尝试使用 `torch.save` 将 PyTorch 模型保存为 `.h5` 文件时可能会遇到兼容性问题，因为 HDF5 是一种特定的数据结构格式，主要用于存储大量的数值数据。PyTorch 默认并不支持直接将模型保存为这种格式。 为了实现...
torch tensor保存jpg/png图片
andy dennis的博客
05-26 2726
就是有时候需要保存一些feature map或者训练过程中验证的图像输出结果。待会儿出去玩，先不写前言。
tensor和模型 保存与加载 PyTorch
kyle1314608的博客
12-19 847
PyTorch教程-7：PyTorch中保存与加载tensor和模型详解 保存和读取Tensor PyTorch中的tensor可以保存成 .pt 或者 .pth 格式的文件，使用torch.save()方法保存张量，使用torch.load()来读取张量： x = torch.rand(4,5) torch.save(x, "./myTensor.pt") y = torch.load("./myTensor.pt") print(y) tensor([[0.9363, 0.2292, 0.1612,
pytorch保存数组到本地
weixin_41495302的博客
07-08 104
PyTorch,数组相关视频讲解：DynamiCrafter图像转视频,帧插值,远超SVD的开源模型,更高清,逻辑性更强ComfyUI分区域绘图,Ultimate-SD-Upscale高清放大节点搭建分享,Lora模型加载,Controlnet应用数组-Go代码演示PyTorch保存数组到本地 在深度学习领域，PyT...
基于python为Torch创建hdf5训练文件
little_yan的博客
02-11 5269
    我们知道Torch框架需要符合其自身规格的输入数据的格式，在图像识别中用到的是以.t7扩展名的文件类型，本来我一直也想找如何将.T7文件转换的方法，查了很多资料，有通过mat转.t7的方法，但是无意间发现了h5格式类型，这种类型的和t7差不多，均可被torch框架使用，感觉通过这种方法更方便一些。下面将介绍如何将自己的数据转换成torch可以使用的h5文件类型（我的数据集存与txt文档中）...
如何将多个torch.Tensor存储下来并在新的纬度上进行合并？
weixin_43905212的博客
07-21 3468
output_list = [] # 存放输出的list for idlayer in range(self.num_layers): # 每一次循环 current_input = input[idlayer,...] current_output,current_hidden_state = self.cell(current_input,current_hidden_state) # 按照输出间隔将输出存储下来 if i
pytorch数据的保存与加载（数据的持久化与高并发）
weixin_49710179的博客
04-12 842
目录1. pytorch数据的保存与加载2.并发量的获取与设置 1. pytorch数据的保存与加载 模型训练的权重参数需要持久化以产生模型文件后再次加载，进而通过预测任务进行预测 # 序列化模型(数据保存) x = torch.randn(2,3) # 序列化即对此进行外部存储 使用torch.save方法（数据加载） torch.save(x,"randn") # 反序列化 对外部存储进行加载 使用torch.load()方法 x_load = torch.load("randn") print(x_
python存储大量数据_Python 存储大量 NumPy Array 等数据的方案：HDF5
weixin_39864591的博客
12-04 1802
对于序列化保存各种 array / data frame 等类型的数据，一直以来有各种各样的办法。例如我用过的，对于简单的一个 array，NumPy 有提供读写的方法；pandas 也有对应的 data frame 读写；而字符串/字典，可以变成 json 保存等。但是，如果数量多了，例如有 100 个 array，上面的方法就不太方便了。我比较懒，会把这些 array 放到一个 dict 里面...
PyTorch 保存模型结构参数及加载模型
赵继超的笔记
08-07 4240
PyTorch 保存模型结构参数及加载模型 保存模型与加载 保存模型分为两种方式： 保存整个网络结构和参数 保存整个网络的参数 # 1.保存并加载整个网络结构和参数 torch.save(net, 'net.pth') net = torch.load('net.pth') # 2.保存并加载整个网络的参数 torch.save(net.state_dict(), 'net.pth') net = net.load_state_dict(torch.load('net.pth')) Ref Pyt
8 读取和存储Tensor
qq_45654059的博客
08-18 366
torch.save(tensor,'xxx.pt') l = torch.load('xxx.pt') # 储存一个tensor列表 torch.save([x,y],'xy.pt') #储存一个tensor字典 torch.save({'x':x,'y':y},'xy_dict.pt') 保存和加载模型 torch.save(model.state_dict(),PATH)# 后缀为.pt model = TheModelClass(*args,**kwargs) model.load_state_d
pytorch 中 numpy 类型与 torch 类型共享存储的问题
耳东鹿其
03-23 864
从今天起，总结学习 pytorch 过程中遇到的一些日后可能出错的小问题。首先就是 pytorch 官网 tutorial 第一章讲的，numpy 类型与 torch 类型共享存储，并且还给出样例：http://pytorch.org/tutorials/beginner/blitz/tensor_tutorial.html#tensors在文章中，作者举例，当 torch 类型转换为 numpy...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值