
pandas
文章平均质量分 87
魔术师_
这个作者很懒,什么都没留下…
展开
-
pandas中对nan空值的判断
pandas基于numpy,所以其中的空值nan和numpy.nan是等价的。numpy中的nan并不是空对象,其实际上是numpy.float64对象,所以我们不能误认为其是空对象,从而用bool(np.nan)去判断是否为空值,这是不对的。对于pandas中的空值,我们该如何判断,并且有哪些我们容易掉进去的陷阱,即不能用怎么样的方式去判断呢?可以判断pandas中单个空值对象的方式:1、利用pd.isnull(),pd.isna();2、利用np.isnan();3、利用is表达式;4、利原创 2020-06-30 09:46:01 · 28300 阅读 · 1 评论 -
对比excel与python 的分列处理方式
Excel 分列Excel中对数据进行分列是非常简单的。如下:选中需要处理的列 功能卡"数据",“分列"按钮,即出现设置弹窗 选"分隔符号”点击下一步 左上部分,勾选"逗号"点击下一步最后看到结果预览,没问题,直接点击完成pandas 分列pandas对文本列进行分列,非常简单:df = pd.DataFrame({'姓名':['张三', '李四','王五'] , ...原创 2020-04-07 11:50:42 · 9094 阅读 · 1 评论 -
pandas行转列,列转行操作
需求一:将下面表格变成使用的python 代码df = pd.DataFrame({'1': {0: 'a', 1: 'a', 2: 'b',3:'b'}, '2': {0: 'A', 1: 'B', 2: 'A',3:'B'}, '3': {0: 2, 1: 4, 2: 6,3:8}})df方法一:pi...原创 2020-04-06 20:06:16 · 17975 阅读 · 2 评论 -
将DataFrame中一列list扩展成多列
Pandas:怎样将DataFrame中一列list扩展成多列?如题,如果在dataframe中有一列是list,要怎么才能把一列list拆分成很多列呢先制造点数据import numpy as npimport pandas as pd #创建数据df=pd.DataFrame({'col':[[2,3,4], [6,9,0], [7,2,5], [3,5,6]]}, index=l...原创 2020-03-07 15:28:53 · 10810 阅读 · 2 评论 -
python 数据合并 merge , join , concat的区别
merge , join , concat的区别merge :与sql 的join类似,有left join ,right join ,outer join , 连接字段可以是索引可以是一个列join :连接字段是索引,或者两个连接字段的列名一样。 其他 与merge 相同merge is a function in the pandas namespace, and it is als...原创 2019-05-16 21:03:21 · 2695 阅读 · 0 评论 -
pandas --移动窗口rolling的概念
概念:为了提升数据的准确性,将某个点的取值扩大到包含这个点的一段区间,用区间来进行判断,这个区间就是窗口。移动窗口就是窗口向一端滑行,默认是从右往左,每次滑行并不是区间整块的滑行,而是一个单位一个单位的滑行。给个例子好理解一点:import pandas as pds = [1,2,3,5,6,10,12,14,12,30]pd.Series(s).rolling(window=3...原创 2018-05-08 16:23:00 · 76070 阅读 · 3 评论 -
pandas中pivot_table透视表
官方文档pandas.pivot_table(data, values=None, index=None, columns=None, aggfunc='mean', fill_value=None, margins=False, dropna=True, margins_name='All')data : 创建透视表的dataframevalues : 要聚合的值, optional...原创 2018-05-07 20:11:38 · 4825 阅读 · 0 评论 -
Pandas中的map(), apply()和applymap()的应用
它们的区别在于应用的对象不同。1、map()map() 是一个Series的函数,DataFrame结构中没有map()。map()将一个自定义函数应用于Series结构中的每个元素(elements)。例子:df = pd.DataFrame({'key1' : ['a', 'a', 'b', 'b', 'a'], 'key2' ...原创 2018-05-07 17:43:08 · 36822 阅读 · 2 评论 -
pandas 中 rank 的用法
官方文档例子:import pandas as pdimport numpy as npa = pd.DataFrame(np.arange(12).reshape(3,4),columns = list("abdc"))a =a.sort_index(axis=1,ascending=False)a1、直接rank()a.rank()显示了排名,...原创 2018-05-05 21:24:47 · 16068 阅读 · 0 评论 -
python windows下导入含有中文的csv文件报错
我的数据集是这样的:有很多中文,当你用pandas导入数据的时候容易报错>>>data = pd.read_csv("C:/Desktop/watermelon3_0_Ch.csv")UnicodeDecodeError: 'utf-8' codec can't decode byte 0xd4 in position 2: invalid continuati...原创 2018-05-05 16:22:43 · 1866 阅读 · 1 评论 -
pandas.get_dummies 的用法
get_dummies 是利用pandas实现one hot encode的方式。详细参数请查看官方文档 官方文档在这里pandas.get_dummies(data, prefix=None, prefix_sep='_', dummy_na=False, columns=None, sparse=False, drop_first=False)[source]例子:i...原创 2018-05-04 17:48:19 · 223281 阅读 · 21 评论 -
数据预处理查看重复值删除--python
python数据分析开始1、导入数据可以用pandasdata = pd.read_csv("C:/Users/Administrator/Desktop/11/lianjia.csv")2、describe可以查看数值型的信息data.describe()3、info可以查看全部列的信息data.info()4、可以用isnull查...原创 2018-05-04 17:13:31 · 18140 阅读 · 0 评论 -
pandas中 DataFrame.align 的使用
官方文档 将轴上的两个对象与每个轴索引的指定连接方法连接DataFrame.align(other, join='outer', axis=None, level=None, copy=True, fill_value=None, method=None, limit=None, fill_axis=0, broadcast_axis=None例子:data1 = pd.Data...原创 2018-05-09 14:21:58 · 13406 阅读 · 0 评论 -
pandas.中 Series.asof的使用
官方文档解释:最后一行不是NaN值的值(或没有NaN的最后一行只考虑DataFrame情况下的列的子集)通俗的说:假如我有一组数据,某个点的时候这个值是NaN,那就求这个值之前最近一个不是NaN的值是多少Series.asof(where, subset=None)参数:where : 日期或日期数组 subset : 字符串或字符串列表,默认为None,如果不是No...原创 2018-05-09 13:53:02 · 7187 阅读 · 1 评论 -
pandas中merge的用法
pandas中的merge和concat类似,但主要是用于两组有key column的数据,统一索引的数据. 通常也被用在Database的处理当中。依据一组key合并:import pandas as pd#定义资料集并打印出left = pd.DataFrame({'key': ['K0', 'K1', 'K2', 'K3'], ...转载 2018-04-30 11:22:49 · 3362 阅读 · 0 评论 -
Pandas 的melt的使用
参数:pandas.melt(frame,id_vars=None,value_vars=None,var_name=None,value_name='value',col_level=None)frame:要处理的数据集。id_vars:不需要被转换的列名。value_vars:需要转换的列名,如果剩下的列全部都要转换,就不用写了。var_name和value_name是自定义设置对应...原创 2018-04-22 16:12:55 · 68722 阅读 · 2 评论