pandas 求两个文件的交集

原创已于 2023-06-06 16:17:17 修改 · 918 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#数据分析

于 2021-03-18 19:57:48 首次发布

pandas 专栏收录该内容

10 篇文章

订阅专栏

本文介绍了一种使用Python pandas库进行两个CSV文件之间的ID关联的方法，并计算了关联比率。通过简单的代码示例，展示了如何读取文件、筛选共同ID并评估关联程度。

df1 = pd.read_csv('aa.txt')
df1.columns = ['id', 't1', 't2']
df2 = pd.read_csv('bb.txt')
df = df1[df1['id'].isin(df2['id'])]
print('join_set_rate = %.6f' % (len(df) / len(df1)))

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

MusicDancing

关注关注

0
点赞
踩
3

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

利用pandans获取两张excel指定列的交集

kinghuahua

09-16

2087

需求：txt.xlsx 有效数据无ID，oldtxt.xlsx所有数据包括txt.xlsx的手机号且对应ID。需要比对两个文件的列，获取交集的ID集合 oldtxt.xlsx 约100万条数据 txt.xlsx 约两万条数据利用pandas的merge快速获取目标数据的ID，最终安装需要的结构拼接写入文本或者数据库。代码如下： import pandas as pd import xlrd i...

Pandas：对两个dataframe文件按照某列去重

qq_38524083的博客

10-10

3149

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录场景描述1.代码2.运行结果场景描述最近处理大的日志文件遇到同一个block_id既出现在正常日志文件中，又出现在异常日志文件中的情况。因此需要剔除这个blk_id所对应的日志信息。虽然按照传统的匹配方法就能解决这一问题，但是需要运行很长的时间。考虑到时间成本，我打算使用现有的pan

参与评论您还未登录，请先登录后发表或查看评论

Pandas取交集、并集、差集

llf_cloud的博客

06-16

4235

前堤条件：对于colums都相同的dataframe做过滤的时候创建2个结构（列名）一致的DataFrame,df1和df2有1条重合的数据 >>> import pandas as pd >>> >>> df1=pd.DataFrame([['a',10,'男'],['b',11,'女']],columns=['name','age','gender']) >>> >>> df2=pd.DataFrame([['a

pandas进行数据的交集与并集方式的数据合并方法

09-20

今天小编就为大家分享一篇pandas进行数据的交集与并集方式的数据合并方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧

Python实现求两个csv文件交集的方法

09-21

主要介绍了Python实现求两个csv文件交集的方法,涉及Python针对csv文件的读取、遍历、判断等相关操作技巧,需要的朋友可以参考下

pandas: DataFrame 交集并集补集

qq_40981268的博客

01-06

1万+

对于colums都相同的dataframe做过滤的时候例如： df1 = DataFrame([['a', 10, '男'], ['b', 11, '男'], ['c', 11, '女'], ['a', 10, '女'], ['c', 11, '男'...

Pandas中两个dataframe的交集和差集

ljp1919的专栏

07-06

6万+

创建测试数据： import pandas as pd import numpy as np #Create a DataFrame df1 = { 'Subject':['semester1','semester2','semester3','semester4','semester1', 'semester2','semester3'], 'Score':[62,47,55,74,31,77,85]} df2 = { 'Subject':['s

pandas DataFrame 交集并集补集的实现

09-19

假设我们有两个 DataFrame `df1` 和 `df2`，它们的列名完全相同，我们需要找出这两个 DataFrame 在指定列上的共同部分，即交集。可以通过 `pd.merge()` 函数来实现这一目标。具体步骤如下： ```python import ...

（1）使用pandas打开两个文件，并对数据进行外连接集成，查看该文件的数据信息及摘要信息；

热门推荐

Ghjkku的博客

02-24

11万+

取交集：print(pd.merge(df1,df2,on=['name', 'age', 'sex'])) 取并集：print(pd.merge(df1,df2,on=['name', 'age', 'sex'], how='outer'))

pandas 求区间的交集

weixin_47370009的博客

10-28

793

分析，先将区间表示出来，实现上可以用interval，不过更方便的是借助portion库：pip install portion。如上图，a=[12,19],b=[5,18],c=[19,20]，需求为求两两之间的交集范围，返回交集的区间。这样就完成了实现了需求。

Pandas

zhaohaibo的博客

08-08

1265

Pandas 基础 Pandas中的一维数组：Series data = pd.Series([0.25, 0.5, 0.75, 1.0]) >>> data: 0 0.25 1 0.50 2 0.75 3 1.00 dtype: float64 >>> data.values # 返回numpy中的结构 array([0...

pandas DataFrame 交集并集补集

zjmy的博客

03-18

2196

1.场景，对于colums都相同的dataframe做过滤的时候例如： df1 = DataFrame([['a', 10, '男'], ['b', 11, '男'], ['c', 11, '女'], ['a', 10, '女'], ['c', 11, '...

Python：利用pandas对两个dataframe数据进行左联接/左关联(以左边为主体)、右联接/右关联(以右边为主体)、内联接(取交集)、外联接(取并集)操作案例实现代码

头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀

03-08

5187

Python：利用pandas对两个dataframe数据进行左联接/左关联(以左边为主体)、右联接/右关联(以右边为主体)、内联接(取交集)、外联接(取并集)操作案例实现代码目录 join、left join和right join之间区别左联接/左关联(以左边为主体)、右联接/右关联(以右边为主体)、内联接(取交集)、外联接(取并集)操作案例 join、left join和right join之间区别 Database之SQLSever：SQL命令实现查询之多表查询、嵌套查询、分页复杂

数据规整化：pandas 求合并数据集（交集并集等）

weixin_33895516的博客

02-28

766

数据集的合并或连接运算是通过一个或多个键将行链接起来的。这些运算是关系型数据库的核心。pandas的merge函数是对数据应用这些算法的这样切入点。默认是交集， inner连接列名不同可以分别指定：其他方式还要‘left’、‘right’以及“outer”。外链接求取的是键的并集，组合了左连接和右连接的效果。 how 的作用是合并时候以谁为标准，是...

如何用Pandas合并多个Excel文件？

05-13

而用户现在需要的是合并多个Excel文件，可能每个文件有多个工作表，所以需要结合这两种情况。接下来，我需要分步骤说明。首先，读取多个Excel文件，可以使用glob模块来匹配文件路径。然后，对于每个文件，读取所有...