【Python数据科学】多表关联 merge、join、concat

最新推荐文章于 2024-05-23 14:27:52 发布

Mercy92

最新推荐文章于 2024-05-23 14:27:52 发布

阅读量1.5k

点赞数

CC 4.0 BY-SA版权

分类专栏： # 入门Python数据科学

本文链接：https://blog.youkuaiyun.com/weixin_40844116/article/details/97170933

入门Python数据科学专栏收录该内容

15 篇文章

订阅专栏

本文介绍了使用 Pandas 进行数据整合的三种方法：merge、join 和 concat，并通过实例展示了如何进行内连接、基于索引的连接及数据堆叠。

文章目录

>>>import pandas as pd
>>>position=pd.read_csv('DataAnalyst.csv',encoding='gbk')
>>>company=pd.read_csv('company_sql.csv',encoding='gbk')
>>>company.head()

	companyId	companyFullName	companyLabelList	companyShortName	companySize	businessZones
0	8581	纽海信息技术(上海)有限公司	['技能培训', '节日礼物', '带薪年假', '岗位晋升']	1号店	2000人以上	['张江']
1	23177	上海点荣金融信息服务有限责任公司	['节日礼物', '带薪年假', '岗位晋升', '扁平管理']	点融网	500-2000人	['五里桥', '打浦桥', '制造局路']
2	57561	上海晶樵网络信息技术有限公司	['技能培训', '绩效奖金', '岗位晋升', '管理规范']	SPD	50-150人	['打浦桥']
3	7502	杭州数云信息技术有限公司上海分公司	['绩效奖金', '股票期权', '五险一金', '通讯津贴']	数云	150-500人	['龙华', '上海体育场', '万体馆']
4	130876	上海银基富力信息技术有限公司	['年底双薪', '通讯津贴', '定期体检', '绩效奖金']	银基富力	15-50人	['上海影城', '新华路', '虹桥']

>>>position.head()

	city	companyFullName	companyId	companyLabelList	companyShortName	companySize	businessZones	firstType	secondType	education	industryField	positionId	positionAdvantage	positionName	positionLables	bottom	top	avg	workYear
0	上海	纽海信息技术(上海)有限公司	8581	['技能培训', '节日礼物', '带薪年假', '岗位晋升']	1号店	2000人以上	['张江']	技术	数据开发	硕士	移动互联网	2537336	知名平台	数据分析师	['分析师', '数据分析', '数据挖掘', '数据']	7	9	8.0	应届毕业生
1	上海	上海点荣金融信息服务有限责任公司	23177	['节日礼物', '带薪年假', '岗位晋升', '扁平管理']	点融网	500-2000人	['五里桥', '打浦桥', '制造局路']	技术	数据开发	本科	金融	2427485	挑战机会,团队好,与大牛合作,工作环境好	数据分析师-CR2017-SH2909	['分析师', '数据分析', '数据挖掘', '数据']	10	15	12.5	应届毕业生
2	上海	上海晶樵网络信息技术有限公司	57561	['技能培训', '绩效奖金', '岗位晋升', '管理规范']	SPD	50-150人	['打浦桥']	设计	数据分析	本科	移动互联网	2511252	时间自由,领导nic	数据分析师	['分析师', '数据分析', '数据']	4	6	5.0	应届毕业生
3	上海	杭州数云信息技术有限公司上海分公司	7502	['绩效奖金', '股票期权', '五险一金', '通讯津贴']	数云	150-500人	['龙华', '上海体育场', '万体馆']	市场与销售	数据分析	本科	企业服务,数据服务	2427530	五险一金绩效奖金带薪年假节日福利	大数据业务分析师【数云校招】	['商业', '分析师', '大数据', '数据']	6	8	7.0	应届毕业生
4	上海	上海银基富力信息技术有限公司	130876	['年底双薪', '通讯津贴', '定期体检', '绩效奖金']	银基富力	15-50人	['上海影城', '新华路', '虹桥']	技术	软件开发	本科	其他	2245819	在大牛下指导	BI开发/数据分析师	['分析师', '数据分析', '数据', 'BI']	2	3	2.5	应届毕业生

1.merge

#用法1：dataframe下的merge#
#on针对两个表的连接字段相同
>>>position.merge(right=company,how='inner',on='companyId')

	city	companyFullName_x	companyId	companyLabelList_x	companyShortName_x	companySize_x	businessZones_x	firstType	secondType	education	...	positionLables	bottom	top	avg	workYear	companyFullName_y	companyLabelList_y	companyShortName_y	companySize_y	businessZones_y
0	上海	纽海信息技术(上海)有限公司	8581	['技能培训', '节日礼物', '带薪年假', '岗位晋升']	1号店	2000人以上	['张江']	技术	数据开发	硕士	...	['分析师', '数据分析', '数据挖掘', '数据']	7	9	8.0	应届毕业生	纽海信息技术(上海)有限公司	['技能培训', '节日礼物', '带薪年假', '岗位晋升']	1号店	2000人以上	['张江']
1	上海	纽海信息技术(上海)有限公司	8581	['技能培训', '节日礼物', '带薪年假', '岗位晋升']	1号店	2000人以上	['张江']	技术	后端开发	本科	...	['数据分析', '数据']	20	30	25.0	3-5年	纽海信息技术(上海)有限公司	['技能培训', '节日礼物', '带薪年假', '岗位晋升']	1号店	2000人以上	['张江']
2	上海	纽海信息技术(上海)有限公司	8581	['技能培训', '节日礼物', '带薪年假', '岗位晋升']	1号店	2000人以上	['张江']	技术	后端开发	本科	...	['大数据', '数据库', '数据']	20	40	30.0	5-10年	纽海信息技术(上海)有限公司	['技能培训', '节日礼物', '带薪年假', '岗位晋升']	1号店	2000人以上	['张江']
3	上海	纽海信息技术(上海)有限公司	8581	['技能培训', '节日礼物', '带薪年假', '岗位晋升']	1号店	2000人以上	['张江']	技术	数据开发	本科	...	['数据分析', '数据']	15	25	20.0	5-10年	纽海信息技术(上海)有限公司	['技能培训', '节日礼物', '带薪年假', '岗位晋升']	1号店	2000人以上	['张江']
...	...	...	...	...	...	...	...	...	...	...	...	...	...	...	...	...	...	...	...	...	...
6818	天津	天津美源星商贸有限公司	112379	['年底双薪', '绩效奖金', '年终分红', '午餐补助']	天津美源星	150-500人	NaN	职能	行政	不限	...	['行政', '数据']	3	4	3.5	不限	天津美源星商贸有限公司	['年底双薪', '绩效奖金', '年终分红', '午餐补助']	天津美源星	150-500人	NaN
6819	天津	北京瑞达恒建筑咨询股份有限公司	32877	['技能培训', '年底双薪', '带薪年假', '绩效奖金']	瑞达恒RCC	500-2000人	['尖山']	市场与销售	数据分析	大专	...	['商业', '数据']	3	5	4.0	不限	北京瑞达恒建筑咨询股份有限公司	['技能培训', '年底双薪', '带薪年假', '绩效奖金']	瑞达恒RCC	500-2000人	['尖山']
6820	天津	天津小猫网络科技有限公司	52887	['技能培训', '股票期权', '绩效奖金', '扁平管理']	天津小猫	15-50人	['和平路', '火车站', '后广场']	技术	高端技术职位	本科	...	['职业培训', '教育', '培训', '大数据', '讲师', '合伙人', '数据',...	8	15	11.5	不限	天津小猫网络科技有限公司	['技能培训', '股票期权', '绩效奖金', '扁平管理']	天津小猫	15-50人	['和平路', '火车站', '后广场']
6821	北京	普信资产管理有限公司	59239	['节日礼物', '技能培训', '绩效奖金', '岗位晋升']	龙宝斋财富	2000人以上	['京广桥']	开发/测试/运维类	软件开发	本科	...	['专家', '高级', '软件开发']	15	30	22.5	3-5年	普信资产管理有限公司	['节日礼物', '技能培训', '绩效奖金', '岗位晋升']	龙宝斋财富	2000人以上	['京广桥']
6822	北京	北京富通基业投资有限公司	156832	['节日礼物', '美女多', '帅哥多', '技能培训']	北京富通基业投资有限公司	50-150人	['西二旗']	市场/商务/销售类	销售	不限	...	['顾问', '销售', '分析师']	4	6	5.0	不限	北京富通基业投资有限公司	['节日礼物', '美女多', '帅哥多', '技能培训']	北京富通基业投资有限公司	50-150人	['西二旗']

6823 rows × 24 columns

#将company表的companyId改成id#
>>>col =list(company.columns)
>>>col[0]='yuiyi'
#将修改好的列表赋值给表字段
>>>company.columns=col

'yuiyi'

>>>company.head()

	yuiyi	companyFullName	companyLabelList	companyShortName	companySize	businessZones
0	8581	纽海信息技术(上海)有限公司	['技能培训', '节日礼物', '带薪年假', '岗位晋升']	1号店	2000人以上	['张江']
1	23177	上海点荣金融信息服务有限责任公司	['节日礼物', '带薪年假', '岗位晋升', '扁平管理']	点融网	500-2000人	['五里桥', '打浦桥', '制造局路']
2	57561	上海晶樵网络信息技术有限公司	['技能培训', '绩效奖金', '岗位晋升', '管理规范']	SPD	50-150人	['打浦桥']
3	7502	杭州数云信息技术有限公司上海分公司	['绩效奖金', '股票期权', '五险一金', '通讯津贴']	数云	150-500人	['龙华', '上海体育场', '万体馆']
4	130876	上海银基富力信息技术有限公司	['年底双薪', '通讯津贴', '定期体检', '绩效奖金']	银基富力	15-50人	['上海影城', '新华路', '虹桥']

#两张表的连接字段名称已经不一致了
#需要用到left_on 和right_on分别指代
>>>position.merge(right=company,how='inner',left_on='companyId',right_on='yuiyi')

	city	companyFullName_x	companyId	companyLabelList_x	companyShortName_x	companySize_x	businessZones_x	firstType	secondType	education	...	bottom	top	avg	workYear	yuiyi	companyFullName_y	companyLabelList_y	companyShortName_y	companySize_y	businessZones_y
0	上海	纽海信息技术(上海)有限公司	8581	['技能培训', '节日礼物', '带薪年假', '岗位晋升']	1号店	2000人以上	['张江']	技术	数据开发	硕士	...	7	9	8.0	应届毕业生	8581	纽海信息技术(上海)有限公司	['技能培训', '节日礼物', '带薪年假', '岗位晋升']	1号店	2000人以上	['张江']
1	上海	纽海信息技术(上海)有限公司	8581	['技能培训', '节日礼物', '带薪年假', '岗位晋升']	1号店	2000人以上	['张江']	技术	后端开发	本科	...	20	30	25.0	3-5年	8581	纽海信息技术(上海)有限公司	['技能培训', '节日礼物', '带薪年假', '岗位晋升']	1号店	2000人以上	['张江']
2	上海	纽海信息技术(上海)有限公司	8581	['技能培训', '节日礼物', '带薪年假', '岗位晋升']	1号店	2000人以上	['张江']	技术	后端开发	本科	...	20	40	30.0	5-10年	8581	纽海信息技术(上海)有限公司	['技能培训', '节日礼物', '带薪年假', '岗位晋升']	1号店	2000人以上	['张江']
3	上海	纽海信息技术(上海)有限公司	8581	['技能培训', '节日礼物', '带薪年假', '岗位晋升']	1号店	2000人以上	['张江']	技术	数据开发	本科	...	15	25	20.0	5-10年	8581	纽海信息技术(上海)有限公司	['技能培训', '节日礼物', '带薪年假', '岗位晋升']	1号店	2000人以上	['张江']
4	武汉	纽海信息技术(上海)有限公司	8581	['技能培训', '节日礼物', '带薪年假', '岗位晋升']	1号店	2000人以上	NaN	技术	管理岗	本科	...	15	25	20.0	3-5年	8581	纽海信息技术(上海)有限公司	['技能培训', '节日礼物', '带薪年假', '岗位晋升']	1号店	2000人以上	['张江']

#用法2：pandas下面的merge#
pd.merge(position,company,left_on='companyId',right_on='yuiyi')

	city	companyFullName_x	companyId	companyLabelList_x	companyShortName_x	companySize_x	businessZones_x	firstType	secondType	education	...	bottom	top	avg	workYear	yuiyi	companyFullName_y	companyLabelList_y	companyShortName_y	companySize_y	businessZones_y
0	上海	纽海信息技术(上海)有限公司	8581	['技能培训', '节日礼物', '带薪年假', '岗位晋升']	1号店	2000人以上	['张江']	技术	数据开发	硕士	...	7	9	8.0	应届毕业生	8581	纽海信息技术(上海)有限公司	['技能培训', '节日礼物', '带薪年假', '岗位晋升']	1号店	2000人以上	['张江']
1	上海	纽海信息技术(上海)有限公司	8581	['技能培训', '节日礼物', '带薪年假', '岗位晋升']	1号店	2000人以上	['张江']	技术	后端开发	本科	...	20	30	25.0	3-5年	8581	纽海信息技术(上海)有限公司	['技能培训', '节日礼物', '带薪年假', '岗位晋升']	1号店	2000人以上	['张江']
2	上海	纽海信息技术(上海)有限公司	8581	['技能培训', '节日礼物', '带薪年假', '岗位晋升']	1号店	2000人以上	['张江']	技术	后端开发	本科	...	20	40	30.0	5-10年	8581	纽海信息技术(上海)有限公司	['技能培训', '节日礼物', '带薪年假', '岗位晋升']	1号店	2000人以上	['张江']
3	上海	纽海信息技术(上海)有限公司	8581	['技能培训', '节日礼物', '带薪年假', '岗位晋升']	1号店	2000人以上	['张江']	技术	数据开发	本科	...	15	25	20.0	5-10年	8581	纽海信息技术(上海)有限公司	['技能培训', '节日礼物', '带薪年假', '岗位晋升']	1号店	2000人以上	['张江']
...	...	...	...	...	...	...	...	...	...	...	...	...	...	...	...	...	...	...	...	...	...
6819	天津	北京瑞达恒建筑咨询股份有限公司	32877	['技能培训', '年底双薪', '带薪年假', '绩效奖金']	瑞达恒RCC	500-2000人	['尖山']	市场与销售	数据分析	大专	...	3	5	4.0	不限	32877	北京瑞达恒建筑咨询股份有限公司	['技能培训', '年底双薪', '带薪年假', '绩效奖金']	瑞达恒RCC	500-2000人	['尖山']
6820	天津	天津小猫网络科技有限公司	52887	['技能培训', '股票期权', '绩效奖金', '扁平管理']	天津小猫	15-50人	['和平路', '火车站', '后广场']	技术	高端技术职位	本科	...	8	15	11.5	不限	52887	天津小猫网络科技有限公司	['技能培训', '股票期权', '绩效奖金', '扁平管理']	天津小猫	15-50人	['和平路', '火车站', '后广场']
6821	北京	普信资产管理有限公司	59239	['节日礼物', '技能培训', '绩效奖金', '岗位晋升']	龙宝斋财富	2000人以上	['京广桥']	开发/测试/运维类	软件开发	本科	...	15	30	22.5	3-5年	59239	普信资产管理有限公司	['节日礼物', '技能培训', '绩效奖金', '岗位晋升']	龙宝斋财富	2000人以上	['京广桥']
6822	北京	北京富通基业投资有限公司	156832	['节日礼物', '美女多', '帅哥多', '技能培训']	北京富通基业投资有限公司	50-150人	['西二旗']	市场/商务/销售类	销售	不限	...	4	6	5.0	不限	156832	北京富通基业投资有限公司	['节日礼物', '美女多', '帅哥多', '技能培训']	北京富通基业投资有限公司	50-150人	['西二旗']

6823 rows × 25 columns

2.join 基于索引


df1 =  pd.DataFrame(
    {
        'A' :list('abcd'),
        'B' :list('efgh')
    
    }
)
>>>df1

	A	B
0	a	e
1	b	f
2	c	g
3	d	h

df2=pd.DataFrame(
    {
        'C':list('abcd'),
        'D':list('efgh')
    }
)
>>>df2

	C	D
0	a	e
1	b	f
2	c	g
3	d	h

#基于索引拼接
>>>df1.join(df2)

	A	B	C	D
0	a	e	a	e
1	b	f	b	f
2	c	g	c	g
3	d	h	d	h

3.concat 堆叠（union）

#上下堆叠#
>>>pd.concat([df1,df2])

	A	B	C	D
0	a	e	NaN	NaN
1	b	f	NaN	NaN
2	c	g	NaN	NaN
3	d	h	NaN	NaN
0	NaN	NaN	a	e
1	NaN	NaN	b	f
2	NaN	NaN	c	g
3	NaN	NaN	d	h

#左右堆叠
>>>pd.concat([df1,df2],axis=1)

	A	B	C	D
0	a	e	a	e
1	b	f	b	f
2	c	g	c	g
3	d	h	d	h

	A	B	C	D
0	a	e	NaN	NaN
1	b	f	NaN	NaN
2	c	g	NaN	NaN
3	d	h	NaN	NaN
0	NaN	NaN	a	e
1	NaN	NaN	b	f
2	NaN	NaN	c	g
3	NaN	NaN	d	h

	A	B	C	D
0	a	e	NaN	NaN
1	b	f	NaN	NaN
2	c	g	NaN	NaN
3	d	h	NaN	NaN
0	NaN	NaN	a	e
1	NaN	NaN	b	f
2	NaN	NaN	c	g
3	NaN	NaN	d	h

	A	B	C	D
0	a	e	NaN	NaN
1	b	f	NaN	NaN
2	c	g	NaN	NaN
3	d	h	NaN	NaN
0	NaN	NaN	a	e
1	NaN	NaN	b	f
2	NaN	NaN	c	g
3	NaN	NaN	d	h