pandas 中处理大型文件的方法

冰冷热带鱼

于 2020-12-06 18:28:14 发布

阅读量749

点赞数

分类专栏： pandas 数据分析文章标签：数据分析

本文链接：https://blog.youkuaiyun.com/weixin_42991982/article/details/110749356

版权

本文介绍了如何使用pandas处理大型数据文件，包括读取数据、查看行列信息、内存占用，以及针对int和float类型的向下转换以减少内存消耗。尽管转换int64到int32和float64到float32有一定效果，但效果有限。重点讨论了字符串类型（obj）的内存优化，通过将unique值远小于count值的列转换为category类型，显著降低了内存使用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

import pandas as pd 
import  numpy as  np

读取数据

g1=pd.read_csv(r"F:\_test.csv")
g1

查看表的行列信息，有多少行，多少列

g1.shape

查看表的内存信息

g1.info(memory_usage="deep")

查看不同内类型所占用的内存空间大小

for  dtype in ["float64","int64","object"]:
    selected_type=g1.select_dtypes(include=[dtype])
    mean_usage_b=selected_type.memory_usage(deep=True)
    mean_usage_mb=mean_usage_b/1024**2
    print("平均占用内存：",dtype,mean_usage_mb)