Pandas的Categorical数据类型可以降低数据存储提升计算速度（二十七）

1、读取数据

import pandas as pd

df = pd.read_csv("./datas/movielens-1m/users.dat",
                 sep="::",
                 engine="python",
                 header=None,
                 names="UserID::Gender::Age::Occupation::Zip-code".split("::"))
df.info()
df.info(memory_usage="deep")

df_cat = df.copy()
df_cat.head()

2、使用categorical类型降低存储量

df_cat["Gender"] = df_cat["Gender"].astype("category")
df_cat.info(memory_usage="deep")
df_cat.head()
df_cat["Gender"].value_counts()

3、提升运算速度

%timeit df.groupby("Gender").size()
%timeit df_cat.groupby("Gender").size()