pandas数据拼接笔记整理（基础）

pandas的拼接操作

pandas 和 mysql 非常的相似,

mysql可以对数据进行统计

pandas主要作用就是对数据进行一个统计 pandas 也有类似于 left join 的操作 select union select

pandas的拼接主要分两种:

级联:pd.concat,pd.append

合并: pd.merge,pd.join

1. 使用pd.concat()级联

pandas使用pd.concat函数，与np.concatenate函数类似，只是多了一些参数：

pd.concat(objs, axis=0, join='outer', join_axes=None, ignore_index=False,

keys=None, levels=None, names=None, verify_integrity=False,

copy=True)

pd.concat([df1,df2],axis=0)

axis = 1是增加列 axis=0 时增加行

索引可能重复,concat中有一个参数,ignore_index,是否忽略原来的索引

keys 参数使用自己的索引

res2 = pd.concat([df1,df2],axis=0,keys=['df1','df2'])

res2

连接数据库获取数据

import pymysql

conn = pymysql.connect(host='127.0.0.1',port=3306,user='root',passwd='123456',db='py')

cursor = conn.cursor(cursor=pymysql.cursors.DictCursor)

cursor.execute('select * from stuinfo')

res = cursor.fetchall()

df1 = pd.DataFrame(res)

内连接:只连接匹配的项

pd.concat([df1,df2],join='inner',axis=1)

3) 使用append()函数添加

由于在后面级联的使用非常普遍，因此有一个函数append专门用于在后面添加

append 和 concat 相似

2. 使用pd.merge()合并

merge与concat的区别在于，merge需要依据某一共同的行或列来进行合并

使用pd.merge()合并时，会自动根据两者相同column名称的那一列，作为key来进行合并。

注意每一列元素的顺序不要求一致

1) 一对一合并

In  [57]:

#merge根据行相同的列合并

pd . merge ( df1 , df2

Out[57]:

age	city	seat	sex	sid	sname	ch	math
0	18	宿州	0	女	1	张立	88	99
1	20	北京	0	男	2	小京	89	100
2	22	北京	0	男	3	小强	67	76
3	20	天津	0	男	4	小力	50	59
4	21	重庆	0	女	5	小丽	100	99
5	20	天津	0	女	6	小芳	96	91

合并方法推荐

pd.merge(df1,df2,on=[df1.sid,df2.ssid])

设置行号

df1.set_index('sid',inplace=True)

�