hdf5内存问题

h5 = pd.HDFStore('test_c4.h5','a', complevel=4, complib='blosc')
for tpath in files[:5]:
    code = tpath.split('\\')[-1][:-4]
    data = pd.read_csv(tpath, encoding='gbk')
    
    
    h5['min1'+code] = data
h5.close()

上面这个是代码，当 h5 文件未创建时，这段测试代码生成的 H5 文件大约是 5M 左右，但当重复执行这个代码，其内部的 keys 并未发生变化，每一个主键下的数据大小读出来之后发现也没有变化。

但是文件大小确实在增加，每次增加 1~2M

hdf5 是不会释放已用空间的,每次新增数据,都会重新申请一次,一个比较简单的解决方法是用自带的工具重新打包一下,叫做 ptrepack <新文件> <源文件> ,新文件的大小就是重新计算过的

我就是以上问题 把内存撑爆了的然后，我只能是每隔一段 关闭打开一次，估计是和李斯特一样的内存开辟，但是没有内存回收机制，导致了内存不断的开销而没有释放。不知道和hadoop的那种保存追加信息的有什么区别。待研究