pandas计算某列每行带有分隔符的数据中包含特定值的次数

本文介绍如何使用Pandas处理脱敏后的用户ID数据,通过str.split()、expand=True和stack()函数计算每个用户在关注列表中的粉丝数,展示了两种方法并提供实例解析。

某次做一个数据的处理,要计算用户的粉丝数量,数据集大概是这样的:

传播节点微博用户id 关注用户ids
ae26e5e3db7626dcaf6819ce5492d534 “04e9dc04d4b600d574d67b298a7dea7d,···”
a845733e3729a136889c07d275bcc3c5 “aebe49645667a02eae6ab6734ade24eb,···”
68e605feb5344fd413587b4245946c24" 77c471d3aba195b1322800602a93dc72,···"

这里的数据,都是经过脱敏处理后的id,即每个用户和他们的关注列表。“关注用户ids”应该是字符串类型,每一行由双引号包裹,由逗号作为id之间的分隔符。要计算用户的粉丝数量,就是看他们在所有用户的关注列表当中出现了多少次,也就是要对“关注用户ids”列出现的各个id进行计数。

参考博文1进行以下处理

countN = dataI0['name'].str.split('|', expand=True).stack().value_counts()
# 计算各元素出现的次数

其中,不能对数据框的列Chart3Part[‘关注用户ids’]直接应用split,而需要先调用str

  • 其中的expand=True是按逗号对每一行进行分割后,将其扩展成多列。
  • stack()则是构造二级行索引,在原本的行索引上,将列作为二级行索引。可参考博文2,也可见下文当中的实验三
  • value_counts()是对值出现的次数进行计数,其返回值是一个pd.Series,name为被计数的列的名字,index为被计数的项,值为出现的次数

博文1当中还有另一种方法,先单独对每一行进行处理,再从总的视角进行计数

countN = pd.Series(Counter([y for x in dataI0['name'] for y in x.split('|')]))

完整的示例如下:

import pandas as pd

dataI0 = pd.DataFrame(data=[
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值