Python pandas学习总结

Python pandas学习总结
　　pandas是做数据分析非常重要的一个模块，它使得数据分析的工作变得更快更简单。由于现实世界中数据源的格式非常多，但是pandas也支持了不同数据格式的导入方法，所以学习pandas非常有必要。

要是想看所有的方法详解可以去官网，要想学习Pandas建议先看下面2个网站。
　　官网地址如下：https://pandas.pydata.org/
　　官网教程如下（十分钟搞定pandas）：https://pandas.pydata.org/pandas-docs/stable/10min.html

两种特殊数值：NAN （数值数据类型的一类数），全称Not a Number ，表示未定义或者不可表示的值，inf表示无穷，可能无穷大也可能无穷小。

常用方法

常用方法	程序	备注
创建pandas数据	df=pd.DataFrame({“列1”:[1,2,3],“列2”:[4,5,6]}）	#DataFrame类
读取excel数据到python中	pd.read_excel(“路径”,header=n，index_col=“列1”,skiprows=3,usecols=“C:F”，dtype={“old”:str,“name”:str},sheet_name=‘sheet2’)	#read_excel方法,header默认为0，即将第0行作为索引列，如果需要设置第n行为索引列，则headers=n,若读取的数据中只有数据，没有有列索引，则需要添加header=None来表示，同时可以通过df.columns=[“name”,“old”,“sexuality”]来为数据新增列索引，index_col表示在导入数据的时候就指定行索引,siprows=3表示跳过前3行，从第4行开始读取，usecols="C:F"表示使用C:F列数据，一般用于数据前几行前几列为空白,dtype为设置某列的数据类型,sheet_name表示读取excel中的某个sheet页
创建excel并将数据输出到excel中	df.to_excel(“路径”)	#to_excel方法
设置excel的行索引并更新(替换原本数据)	df=df.set_index(“列1”)	#列1为想要设置的行索引，set_index方法
返回数据的行和列	print(df.shape)	#主要为shape属性
返回数据的列名，即属性	print(df.columns) df.columns=[“name”,“old”,“sexuality”]	#主要为colums属性，df.columns=[“name”,“old”,“sexuality”]来为数据新增列索引
返回数据的前几行	print(df.head(n))	#head()默认返回前5行，若返回n行则head(n)
返回数据的后几行	print(df.tail())	#tail()默认返回前5行，若返回n行则tail(n)

Series

常用方法	程序	备注
创建Series	1、d={‘x’:100,‘y’:200,‘z’:300} pd.Series(d) 2、 L1=[100,200,300] L2=[‘x’,‘y’,‘z’ ]pd.Series(L1,index=L2) 3、 pd.Series([100,200,300],index=[‘x’,‘y’,‘z’])	3种方法创建Series,方法1是通过字典形式，index表示标签
创建含有行标签和列标签的Series	s1=pd.Series([1,2,3],index=[1,2,3],name=‘A’) s2=pd.Series([10,20,30],index=[1,2,3],name=‘B’) s3=pd.Series([100,200,300],index=[1,2,3],name=‘C’)	创建Series时name表示这些数据的列标签，index表示行标签
将几个Series合并为DataFrame (正确做法）	pd.DataFrame(s1.name:s1,s2.name:s2,s3.name:s3)	此方法将Series中的S1,S2,S3合并，并将原来的行标签作为行标签，将单个Series作为一列
将几个Series合并为DataFrame（错误方法）	pd.DataFrame([s1,s2,s3])	此方法虽然也能合并，但是标签错误，将单个Series作为一行
设置特定位置的值	df[“name” ].at[0]=1 或者df.at[0,“name”] =1	令name列的第0个元素的值为1，at中只能为数字
对数据的某一列应用函数	df.[“old”]=df.[“old”].apply(fx)或者用lambda函数代替fx函数，即df.[“old”]=df.[“old”].apply(lambda x:x+2)	通过使用apply()方法来应用函数,fx为函数名，不加括号
排序	df.sort_values(by=[‘old’,‘name’],inplace=True,ascending=[True,False])	排序使用sort_values函数，by为排序依据，先按old,后按name,inplace表示在原数据上修改，ascending表示升序降序，默认为True,即升序，False为降序,该式子表示old升序，name降序，即先对old升序排，再对name降序排
查看到符合条件的特定数值	df.loc[df[‘old’].apply(fx)] 或者df.loc[df.old.apply(fx)]或者用lambda函数代替fx,即 df.loc[df[‘old’].apply(lambds x:x+2)]	loc用来定位特定位置，后边为方括号[]，df[‘old’].apply(fx)表示对df数据的old列使用fx函数进行筛选，然后通过loc返回筛选后的值，函数fx不用加括号
显示所有列	pd.options.display.max_columns=888 pd.set_option(‘display.max_columns’, None)#显示所有列 pd.set_option(‘display.max_rows’, None)#显示所有行 pd.set_option(‘max_colwidth’,100) #设置value的显示长度为100，默认为50	可能由于列数太多无法显示所有列，因此通过设置max_columns来展示888（大于所有列）列
显示各个变量之间的相关系数表	print(df.corr())	显示各个变量之间的相关系数，和stata几乎一样
数据合并1（EXCEL中的VLOOKUP功能 ）	table=df.merge(df1,how=‘left’,on=‘ID’).fillna(0)	根据相同的’ID列’对df和df1进行合并,on表示根据哪一列进行合并(如果两个表对应的数名称不一样，不都是ID，那么可以将on替换为left_on和right_on，由于默认情况下，当df1中ID为nan时不进行合并，只取交集，因此通过how='left’，无论右边df1中ID列是否为nan,都按df列返回，即以左边df中的ID为基础进行合并,fillna(0)表示将所有的nan替换为0
数据合并2	pd.contact([sheet1,sheet2]，axis=1) .reset_index(drop=True)	同样数据纵向合并，但是是通过pandas而不是df,sheet1,sheet2表示需要合并的数据所在的sheet页，rest_index表示重新设置行标签，否则默认将sheet1，sheet2原本的标签直接照搬,axis=0表示竖着合并，axis=1表示横着合并
追加列	df[“age”]=np.arrange(len(studets))	追加age列，数字一次为0，1，2递增数列
改变数据类型	df.old= df.old.astype(int)	将df表中的old列转换为int格式
去除重复数据	df.drop_duplicates(subset=[‘name’,‘old’],inplace=True,keep=‘first’)	subset表示在那列上去除重复值，inplace表示是否在原数据上进行替换，keep表示当有重复时保留前边的重复值还是后边的
返回某个数据的位置	a = df[(df.BoolCol3)&(df.attr22)].index.tolist()	返回df数据中Boolcol为3，attr为22的标签
删除原标签，重新设置为0,1,2	data.index=[i for i in range(data.shape[0])]	–
		–
		–
		–
		–
		–
		–
		–
		–
		–
		–
		–
		–
		–
		–
		–
		–
		–
		–
		–
		–
		–
		–
		–
		–

一：读取文件，read_csv方法

- 1准备CSV文件

Train_A_001.csv文件内容如下：

0.916,4.37,-1.372,0.102,0.041,0.069,0.018
0.892,3.955,-1.277,0.015,-0.099,-0.066,0.018
0.908,3.334,-1.193,0.033,-0.098,-0.059,0.018
1.013,3.022,-1.082,0.151,0.015,0.035,0.018
1.111,2.97,-1.103,-0.048,-0.175,-0.171,0.019
1.302,3.043,-1.089,0.011,-0.085,-0.097,0.018
1.552,3.017,-1.052,0.066,-0.002,-0.036,0.019
1.832,2.796,-0.933,0.002,-0.028,-0.075,0.019
2.127,2.521,-0.749,0.011,0.041,-0.022,0.019
2.354,2.311,-0.623,-0.038,0.012,-0.056,0.019
2.537,2.024,-0.452,0.039,0.089,0.031,0.019
2.639,1.669,-0.277,-0.005,0.036,-0.008,0.019
2.707,1.314,-0.214,0.013,0.031,-0.005,0.019
2.81,0.926,-0.142,0.062,0.046,0.031,0.019

- 2直接读取文件内容

import pandas as pd
 
filename = r'Train_A/Train_A_001.csv'
data = pd.read_csv(filename)
print(data)

read_csv读取的数据类型为Dataframe，通过obj.dtypes可以查看每列的数据类型结果如下;

   0.916   4.37  -1.372  0.102  0.041  0.069  0.018
0   0.892  3.955  -1.277  0.015 -0.099 -0.066  0.018
1   0.908  3.334  -1.193  0.033 -0.098 -0.059  0.018
2   1.013  3.022  -1.082  0.151  0.015  0.035  0.018
3   1.111  2.970  -1.103 -0.048 -0.175 -0.171  0.019
4   1.302  3.043  -1.089  0.011 -0.085 -0.097  0.018
5   1.552  3.017  -1.052  0.066 -0.002 -0.036  0.019
6   1.832  2.796  -0.933  0.002 -0.028 -0.075  0.019
7   2.127  2.521  -0.749  0.011  0.041 -0.022  0.019
8   2.354  2.311  -0.623 -0.038  0.012 -0.056  0.019
9   2.537  2.024  -0.452  0.039  0.089  0.031  0.019
10  2.639  1.669  -0.277 -0.005  0.036 -0.008  0.019
11  2.707  1.314  -0.214  0.013  0.031 -0.005  0.019
12  2.810  0.926  -0.142  0.062  0.046  0.031  0.019

由于该csv文件是没有列索引的，那么它默认你有列索引，并且把第一行的数据当做列索引，并且从第二行开始设置了行索引，所以说列索引的设置非常重要，起码在这里看来是这样的，那么如何设置呢，下面就具体分析一下。

- 3列索引 header=？的含义

当加上header=None的时候，表明原始文件没有列索引，这样的话会默认自动加上，除非你给定名称。结果如下：

      0      1      2      3      4      5      6
0   0.916  4.370 -1.372  0.102  0.041  0.069  0.018
1   0.892  3.955 -1.277  0.015 -0.099 -0.066  0.018
2   0.908  3.334 -1.193  0.033 -0.098 -0.059  0.018
3   1.013  3.022 -1.082  0.151  0.015  0.035  0.018
4   1.111  2.970 -1.103 -0.048 -0.175 -0.171  0.019
5   1.302  3.043 -1.089  0.011 -0.085 -0.097  0.018
6   1.552  3.017 -1.052  0.066 -0.002 -0.036  0.019
7   1.832  2.796 -0.933  0.002 -0.028 -0.075  0.019
8   2.127  2.521 -0.749  0.011  0.041 -0.022  0.019
9   2.354  2.311 -0.623 -0.038  0.012 -0.056  0.019
10  2.537  2.024 -0.452  0.039  0.089  0.031  0.019
11  2.639  1.669 -0.277 -0.005  0.036 -0.008  0.019
12  2.707  1.314 -0.214  0.013  0.031 -0.005  0.019
13  2.810  0.926 -0.142  0.062  0.046  0.031  0.019

当加上header=0的时候，表明原始文件的第0行为列索引。结果如下：

    0.916   4.37  -1.372  0.102  0.041  0.069  0.018
0   0.892  3.955  -1.277  0.015 -0.099 -0.066  0.018
1   0.908  3.334  -1.193  0.033 -0.098 -0.059  0.018
2   1.013  3.022  -1.082  0.151  0.015  0.035  0.018
3   1.111  2.970  -1.103 -0.048 -0.175 -0.171  0.019
4   1.302  3.043  -1.089  0.011 -0.085