h5 hdf5 pytables 数据库 减少空间占用的方法

最新推荐文章于 2025-10-27 12:50:23 发布
原创 最新推荐文章于 2025-10-27 12:50:23 发布 · 543 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#数据库 #hdf5

本文介绍了如何处理H5数据库中删除数据后空间无法释放的问题，推荐使用h5repack工具进行重建，并结合无损压缩（如gzip）以节省空间。详细讲解了Windows系统下的h5repack命令安装和使用方法。

方法来源：https://forum.hdfgroup.org/t/hdf5-deleting-datasets-and-recovering-space/1293

h5 数据库，在删除一些数据，表，数组后，无法变小；
或是在多次读写后，会越来越大，并且有一些空间会永久无法重用，导致浪费。

此时可以使用 h5repack 工具，快速重建 h5 数据库，可以立刻把未使用空间省出来。
也可以同时使用无损压缩，进一步减少 h5数据库的空间占用。

重建 h5 数据库的命令

h5repack old.hdf5 new.hdf5

重建 h5 数据库时，同时使用 gzip 进行压缩

h5repack -f GZIP=1 .\tmp_db.hdf5 new.hdf5

h5repack 命令的来源
在hdf5 的官方下载页面 https://portal.hdfgroup.org/downloads/index.html 点击这个
在这里插入图片描述
在这里找到预构建的安装程序
在这里插入图片描述
我的是windows系统，所以选中 windows 系统
在这里插入图片描述
然后选择这个在这里插入图片描述
直接安装之后，重启系统，即可有 h5repack 命令

小程序领域中H5的数据库操作技巧
小程序开发
07-06 616
小程序的「混合开发」模式（原生组件+WebView嵌入H5）越来越常见：比如电商的商品详情页、表单填写页、活动H5页。这些H5页面需要本地存储用户行为数据（如浏览记录、临时草稿），但H5的数据库（如localStorage、IndexedDB）和小程序原生的是两套独立的存储体系。本文聚焦小程序WebView中H5页面的数据库操作，教你如何在小程序环境下高效使用H5存储，同时解决跨端数据同步问题。
SQL实践篇（一）：使用WebSQL在H5中存储一个本地数据库
经年藏殊的博客
12-24 2709
简单介绍了一下本地存储的概念，并以WebSQL为例，介绍如何通过WebSQL在H5中存储一个本地数据库实例。
H5本地存储和本地数据库
热门推荐
lavendersue的博客
04-19 1万+
在Html4的时代在浏览器端存储点网站个性化的数据，尤其是用户浏览器的痕迹，用户的相关数据等一般只能存储在Cookie中，但是大多是浏览器对于Cookie的限制也就逼迫网站存储数据尽量精简，想存储复杂的、关系型的用户数据就根本不可能了。但是进入Html5时代，这些都不是问题。 众所周知Html4时代Cookie的大小、格式、存储数据格式等限制，网站应用如果想在浏览器端存储用户的部分信息，那么只能...
较完整的H5数据库封装---只需要key-value的存取方式
u012488649的博客
10-28 2107
前言  本篇封装了移动端H5的数据库，兼容了IndexDB和WebSql,只需使用key-vale的方式进行存取； 为什么要封装WebSql呢？ios9还不支持IndexDB；闲话少说，直接上代码var isIOS = !!navigator.userAgent.match(/\(i[^;]+;( U;)? CPU.+Mac OS X/);//判断是否是ios var isoVersion = n
HTML5 Web Sql DataBase 数据库
胡西风的博客
01-19 822
web database 介绍 Web Sql 数据库API实际上不是H5规范的组成部分，而是单独的规范。 它通过一套API来操纵客户端的数据库。 Safari、Chrome、FireFox、Opera等主流浏览器都已经支持Web SQL Database。 HTML Web Database 操作使用 Web Sql 数据库有三个核心方法： openDatabase() 此方法创建数据库对象，既...
H5本地数据库使用实例
weixin_34326179的博客
04-18 2629
<!DOCTYPE html><html><head lang="en"> <meta charset="UTF-8"> <title></title></head><body> <script type="text/javascript"> var db...
H5中的IndexedDB数据库
书中自有妍如玉的博客
10-26 1369
数据库。
HDF5 数据库及 h5p
changzi990的博客
06-17 628
HDF5 拥有一系列的优异特性，使其特别适合进行大量科学数据的存储和操作，如它支持非常多的数据类型，灵活，通用，跨平台，可扩展，高效的 I/O 性能，支持几乎无限量（高达 EB）的单文件存储等，详见其官方介绍：https://support.hdfgroup.org/HDF5/。用 h5py 操作 HDF5 文件，我们可以像使用目录一样使用 group，像使用 numpy 数组一样使用 dataset，像使用字典一样使用属性，非常方便和易用。HDF5 数据库，又称HDF5文件。我们只介绍 h5py。
43、使用h5py和PyTables处理HDF5文件
rum55的博客
10-26 18
本文详细介绍了如何使用Python中的h5py和PyTables库处理HDF5文件。重点讲解了h5py库的基本对象与方法，包括文件的打开与创建、组和数据集的操作、数据的存储与读取、属性管理，以及压缩、分块和可变尺寸数据集等高级特性。通过实例代码和流程图，帮助读者系统掌握HDF5文件的高效操作方法，适用于大规模科学数据的组织与管理。
44、使用h5py和PyTables处理HDF5文件
cream的博客
07-17 63
本文详细介绍了如何使用Python中的h5py库来操作HDF5文件，包括文件的创建与打开、组和数据集的操作、数据集的索引与切片、压缩与存储优化、属性操作等内容。同时，也简要对比了PyTables库的特点，并展示了h5py与NumPy、Pandas等库的结合使用。通过本文，读者可以全面了解h5py在处理大型数据集时的优势及其灵活的功能。
44、数据存储与处理：HDF5、PyTables、Pandas HDFStore 及 JSON 的应用
最新发布
rum55的博客
10-27 18
本文深入探讨了HDF5、PyTables、Pandas HDFStore和JSON四种主流数据存储与处理方式的特点与应用场景。详细介绍了HDF5属性在元数据管理中的优势，PyTables对大规模表格数据的高效处理能力，Pandas HDFStore与DataFrame的无缝集成，以及JSON在轻量级数据交换和配置管理中的灵活性。通过实际案例分析和对比总结，帮助读者根据数据规模、结构复杂度和性能需求选择最合适的数据存储方案。
pandas读取HDF5文件
10-19
使用Pandas处理HDF5文件的前提是要正确安装Pandas库以及其依赖库PyTables，后者负责HDF5文件的底层读写操作。 Pandas在读取HDF5文件时，通常会将其视作类似数据库的存储方式，可以通过分组（grouping）和选择...
html5本地存储web sql数据库操作增删查找实例
11-26
本例详细演示了数据库创建 表格创建 数据增删查改 删除表格各种功能
ondrejtichacek/mrep​ack:用于 h5repack 的 Matlab 包装器-matlab开发
05-29
在新的 (v7.3) matlab .mat 文件中删除（或覆盖）变量时，文件大小不会改变。 这个贡献为 h5repack 实用程序提供了一个最小的包装函数，可以从文件中释放未使用的空间。 请参阅https://stackoverflow.com/questions/41526334/matlab-matfile-increases-in-size-when-overwriting-cell-data以供参考。
IndexedDB浏览器中的数据库详细介绍。（H5）
牛爷爷的博客
11-10 1121
IndexedDB介绍：IndexedDB是在浏览器中保存结构化数据的一种数据库。替代目前已被废弃的Web SQL Database API而出现的，IndexedDB设计的操作完全是异步进行的。因此，大多数操作会以请求方式进行，但这些操作会在后期执行，然后如果成功则返回结果。差不多每一次IndexedDB操作，都需要你注册onerror或onsuccess事件处理程序，以确保适当地处理结果。
sqlite在H5中封装及使用(笔记)
weixin_42998230的博客
03-02 3160
1、sqlite.js import Vue from 'vue' const app = new Vue() //name:数据库名字 //databaseName:表名字 //tableField:表的字段 //dataType:字段类型 //saveData:存储数据 //field:查询的字段名，数组形式传值 //数据库查询成功和失败的数据处理 let success = { code: 0, data: null, msg: '成功' } let fail = { code: 1, d
html 5 本地数据库（Web Sql Database）详解
Rdj_MISS的专栏
04-29 2144
html 5 本地数据库（Web Sql Database）详解我们一起来了解HTML 5的Web SQL Database API。下面将一一将介绍怎样创建打开数据库，创建表，添加数据，更新数据，删除数据，删除表 。先介绍三个核心方法1、openDatabase：这个方法使用现有数据库或创建新数据库创建数据库对象。2、transaction：这个方法允许我们根据情况控制事务提交或回滚。3、exec
h5中本地数据库简介
ClayGuitar的专栏
07-11 4632
<!-- 1.openDatabase 创建访问数据库的对象，如果对象不存在，则创建这个数据库 2.使用事务处理 --> <!--openDatabase创建访问数据库的对象,如果对象不存在,则创建这个数据库 有4个参数 第一个参数为数据库的名字 第二个为版本号 第三个为数据库说明
HTML5本地存储indexDB新建数据库、数据库增删改查操作
CodingNoob
07-15 3377
代码如下： &lt;!DOCTYPE html&gt; &lt;html&gt; &lt;head&gt; &lt;meta charset="utf-8" /&gt; &lt;meta name="viewport" content="width=device-width, initial-scale=1.0, maximum-scale=1.0, minim
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值