pandas库pd.read_pickle操作读取pickle数据与.to_pickle()永久储存数据

OscarMind

于 2018-10-26 15:26:48 发布

阅读量1.4w

点赞数

CC 4.0 BY-SA版权

分类专栏：机器学习

本文链接：https://blog.youkuaiyun.com/DeepOscar/article/details/83415760

机器学习专栏收录该内容

38 篇文章

订阅专栏

本文详细介绍了如何使用Python的pickle模块和Pandas库进行数据的持久化存储与读取。首先，通过pickle.dump()和pickle.load()函数演示了基本的二进制文件读写过程。随后，利用Pandas的DataFrame.to_pickle()和pd.read_pickle()方法，展示了更简便高效的数据存储与加载方式。最后，文章提供了清理临时文件的方法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

"""
【python】pandas库pd.read_pickle操作读取pickle数据与.to_pickle()永久储存数据

"""

# 1.pickle.dump(obj, file, [,protocol])
import pickle
# 写入一个文件，用二进制的形式
f = open('data_one.pkl', 'wb')
# 等待写入的数据
datas = {'name': 'oscar', 'age': 25, 'high': 175}
# dump函数将obj数据datas导入到file中
data_one = pickle.dump(datas, f, -1)
# f文件结束操作句柄
f.close()


# 2.pickle.load(file)
# 打开一个data_one文件
f = open('data_one.pkl', 'rb')
# 使用load方法将数据从pkl文件中读取出来
print(pickle.load(f))
f.close()


# 3.使用pandas库进行pickle更加简单
# 使用DataFrame的to_pickle属性就可以生成pickle文件对数据进行永久储存
import pandas as pd
import numpy as np
df = pd.DataFrame(np.arange(20).reshape(4, 5))
print('写入数据\n',df)
# 使用DataFrame的to_pickle属性就可以生成pickle文件对数据进行永久储存
df.to_pickle('foo.pkl')
# 使用pandas库的pd.read_pickle读取pickle数据
dr = pd.read_pickle('foo.pkl')
print('读取数据\n', dr)


# 4.删除文件
import os
os.remove('data_one.pkl')
os.remove('foo.pkl')