陆沙的博客

pandas

pandas常用数据清洗方法

DataFrame拆分与合并列输入数据格式如下：(csv文件)要求：按年月日递增顺序排序数据；将Date改为 年/月/日 格式，并存为csv文件# 读取文件raw_data = pd.read_csv(file_name)# 读取表头headers = list(raw_data.columns)# 此后有Month Day Year三列raw_data[['Month', 'Day', 'Year']] = raw_data['Date'].str.split('/', expa

#coding = utf-8import pandas as pdimport numpy as npimport matplotlib as plt# series, like vector, vertical aligned.s = pd.Series([1,2,np.nan,3])print s'''0 1.01 2.0...

昨天（2020/12/29）业务上出了bug，排查之后发现是某张sheet里某个列名重复了，而且都是日期（2020/12/29）我????举个例子：A1/B1/C1都是日期类型且值都是2020/12/30用一段代码读取：def pro2(file_name): sheets = pd.read_excel(file_name, sheet_name=None) sheet_names = list(sheets.keys()) for sheet in sheet_names

这是一个工作事故。。。读取excel的时候，有一个字段，需要判断它是不是空白的。所以我开开心心用了pd.isnull(oid)但是呢，为了方便后续的使用，我已经把oid转成了字符串，即oid = str(df.loc[ridx, oid_label])那之后再判断oid时，oid已经变成 nan 了，所以pd.isnull()自然会是True，导致循环跳转错误。粗心害人。。。这个破bug我楞是找了两个小时。。。反省。。。...

Category类似enum，只能取有限几个值，在机器学习里的分类问题上，可能用得到。

Index对象单层索引多层索引普通列转化为indexDataFrame中的列任意列index转化为普通列索引类似元组，不能赋值修改。多层索引可以改变表的形态。单层索引>>> data = ['a', 'b', 'c']# 创建索引，参数dtype指索引元素的类型默认为object>>> index = pd.Index(data, name="name1")# index.name index.values index.dtype>>>

绝大多数操作都是对数值列进行操作的，极少数是对DataFrame整体或每个元素分别进行变换的。目录按元素二元运算+.add()其他运算矩阵运算.dot().T本地一元运算统计运算举例数据>>> df1 A Ba 1 2b 3 4>>> df2 B Cb 1 3d 4 8按元素二元运算+DataFrame + DataFrame先将index和columns拓展到相同，再进行计算。计算时，如果有一个操作数是缺失的，那么

前面合并两个DataFrame可以用concat函数，但concat本质上是在所有index上同时进行对齐合并。所以如果只要按index对齐，请使用concat方法。如果想在任意列上对齐合并，则需要merge函数，这在sql应用很多。pd.merge(left, right, how=‘inner’, on=None, left_on=None, right_on=None, left_index=False, right_index=False, sort = False)参数说明：left,r

展示控制展示格式展示格式pd.get_option(key)pd.set_option(key, value)pandas.reset_option(key)可以修改的参数有：‘display.max_rows’‘display.max_columns’‘display.max_colwidth’

有用的中间类型.str.cat.dt.strnumpy支持多种数据类型，但字符串都是存储为object_类型的。str则是一个有用的中间类型。>>> s = pd.Series(['a_b','b_c','c_d'],dtype = 'object')>>> s0 a_b1 b_c2 c_ddtype: object>>> s.str.split("_",expand=True) # 相当于分列了 0 10

pandas基础基础SeriesDataFrame基础pandas中的核心对象是Series和DataFrame。Index是构成和操作Series、DataFrame的关键，其具有元组特性。三个重要属性:Index.nameIndex.valuesIndex.dtypenumpy有一个N维数组对象ndarray，用于存放同类型元素的多维数组。np.array()SeriesSeries是一维数据结构，有序，有索引。类似dict创建data=[1,2,3]idx=['a','b'