【python】使用h5py库对HDF文件进行处理

---

前言

本文主要介绍使用python中的h5py库对HDF格式的文件进行简单的读取和创建新的HDF文件的方法。

---

一、HDF是什么？

HDF是“层次数据格式”（Hierarchical Data Format）的缩写。它是一种用于存储和组织大量数据的文件格式，最初由美国国家超级计算应用中心（NCSA）开发，现在由HDF组织维护。HDF格式最初是为满足科学和工程应用中复杂数据存储和处理需求而设计的。

HDF文件通常包含多个数据集，可以将这些数据集组织成层次结构，以便更好地管理和描述数据。HDF格式广泛用于地球科学、天文学、生物医学、工程和其他领域的数据存储和交换，因为它具有高效的压缩能力、灵活的数据模型和跨平台的特性。

HDF格式有多个版本，其中HDF5是较新的版本，提供了更多先进的特性和性能优势，比如更好的压缩和并行I/O支持。许多科学和工程领域的软件都支持HDF格式，因此它在数据交换和共享方面具有很大的实用性。

总的来说，HDF是一种用于组织、存储和交换科学和工程数据的灵活格式，被广泛应用于各种领域。

---

二、如何提取HDF中的数据

1.引入库

代码如下：

import h5py

2.读取数据

可以根据HDF文件的存储结构来提取数据，一般来说，HDF格式文件分为组（group）和数据集（dataset）两种。

2.1 提取数据集和其属性

代码如下：

with h5py.File(filename, 'r') as f:
	# 直接保存在文件下的dataset
	dataset1 = f[dataset_name][:]
	# 保存在组中的dataset
	dataset2 = f[/group_name/dataset_name][:]
	# 或
	dataset3 = f[group_name][dataset_name][:]
	
	# 提取数据集或组属性
	group_attrs = dict(f[group_name].attrs)
	dataset1_attrs = dict(f[dataset_name].attrs)
	dataset2_attrs = dict(f[/group_name/dataset_name].attrs)
	dataset3_attrs = dict(f[group_name][dataset_name].attrs)
	# 关闭HDF文件
	f.close()

建议在提取dataset时添加[:]以创建副本，方便在关闭文件后仍然可以访问数据。在这里属性是以字典格式提取的，方便后续分析。

2.2 查看dataset数据格式

代码如下：

# 打印dataset类型（一般都为numpy.ndarray类型，支持索引切片等操作）
print(type(dataset))
# 打印dataset形状
print(dataset.shape)

三、如何创建HDF文件

代码如下：

with h5py.File(new_filename, 'w') as f:
	# 创建组
	group = f.create_group(group_name)
	# 在组中创建数据集，data为需要存储的数据
	dataset = group.create_dataset(dataset_name, data=data)
	# 当然也可以直接在文件中创建数据集
	dataset = f.create_dataset(dataset_name, data=data)
	
	# 为group添加属性
	group.attes[attr_name] = attr_value
	# 为dataset添加属性
	dataset.attrs[attr_name] = attr_value
	# 关闭文件
	f.close()

总结

以上就是今天要讲的内容，本文仅仅简单介绍了h5py的使用，包括对HDF文件数据的提取和并将新的数据集存入HDF文件。