Learning

pandas使用groupby将多行数据聚合到list里

NaN（Not-A-Number）在pandas里用作空值（NA），并且有函数 isna 和 notna 可以跨 dtypes 使用来检测 NA 值。

各种数据库系统和文件系统在表示空值时各有特色，不尽相同。因此，我们从各种数据库系统、文件系统导出数据时，空值会被各种各样的字符取代，例如：\NA、NULL、N、\001、NaN等。

当列中有空值时，列的原有类型会被忽略，同时会被提升到一个更『宽』或更『高』的类型来存储空值。

调用 info() 时会显示 DataFrame 的内存使用情况（包括索引）

pandas在一次加载超大文件（以G为单位）时，容易遇到内存溢出问题。有以下解决思路。思路：分而治之+精简数据

去重按照某几列去重 drop_duplicates,DataFrame定位数据,pandas过滤数据query,pandas Options and settings,pandas修改列名,pandas删除某列,pandas 实现one hot,pandas 打散shuffle数据,pandas 分箱 按分值划分不同组 cut,pandas 聚合groupby 重命名label,pandas多列应用正则过滤数据,pandas 对多列进行apply,pandas 将某列设为index,拼接DataFrame

pandas groupby agg as_index = False不符合预期怎么办？

dataframe.query("col1 != None")上述命令不能过滤dataframe中列col1中的NaN行！

pandas读取excel的功能简介和中文乱码问题的解决

pandas的dataframe转spark的dataframespark的dataframe转pandas的dataframepandas的dataframe和spark的dataframe互转dataframe互转