Python处理大文件

1. pickle模块

数据对象持久化。
使用示例：

import pickle
import os
import pandas as pd
file_path="./cache/data.pkl"
if os.exists(file_path):
    data=pickle.load(open(file_path))#反序列话，把数据解析为一个python对象。存进去是dataframe,解析出来还是dataframe
else:
    data=pd.read_csv("./dataset/user_profile.csv")
    #中间一系列转换操作
    pickle.dump(data,open(file_path)#通过dump把处理好的数据序列化

2.chunk分块读取数据

当一个文件太大，例如几个G，电脑配置限制，无法一次性读入内存，可以分块读入。例如：