使用pickle存储和读取数据

never loneliness

已于 2023-01-05 11:28:30 修改

阅读量1.5k

点赞数

文章标签： python

于 2023-01-05 10:49:37 首次发布

本文链接：https://blog.youkuaiyun.com/MATLAB_learning/article/details/128559381

版权

文章介绍了Python的pickle模块，它能将数据对象以二进制文件形式存储在磁盘上，保持数据原貌。pickle避免了像CSV、JSON等格式在处理特定数据类型或编码问题时的困扰。文中提供了一个例子，展示如何使用pickle存储和读取pandasDataFrame、数值型数据以及字符串数据，强调了pickle在数据分块存储和协作场景中的实用性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

使用pickle存储和读取数据

特别鸣谢：天津师范大学王树义老师的B站相关教学

# pickle可以将不同格式的对象以文件的形式存放在磁盘上，并以最大程度保持数据原貌的形式进行读取
"""
使用pickle的现实原因：
    1. 现实情况中，我们要求数据可以分开存储和读取，便于应对中断与连续、分工与合作等情况。
    （就像腌黄瓜一样，我们把黄瓜切成一小块一小块的，然后存到罐子里，等需要黄瓜的时候，再从罐子里取）；
    2. 其他存储方式（如CSV\JSON\SQLite）存在一些问题。
    （如存储时包含表头，取出来用的时候忘记取表头，结果导致数据错乱；
      如存储时使用gbk格式存储数据，读取时用utf-8格式读取，结果导致编码错乱...)
"""

# 例子:用pickle存储和读取表格数据及其他数值型数据和字符串数据

# 原数据以csv格式存储，先用pandas读取
import pandas as pd
df = pd.read_csv('BitcoinPrice.csv',encoding='gbk') 
df.head()

# 单独定义一个数值型变量data，一个字符串数据string
data = int(2)
string = 'data description'

# 将Bitcoin_data\data\string全部用pickle存储到all_data文件中
import pickle
with open ('all_data.pkl','wb') as f:
    pickle.dump([df,data,string],f)

# 用pickle读取all_data文件中的数据
with open('all_data.pkl','rb') as f:
    [df,data,string] = pickle.load(f)