python pandas 实现SQl的count(*),count(distinct **)

最新推荐文章于 2025-05-20 16:54:22 发布

IBoyMan

最新推荐文章于 2025-05-20 16:54:22 发布

阅读量1.7w

点赞数 4

CC 4.0 BY-SA版权

分类专栏： python、pandas学习文章标签： python实现distinct 数据分析 reset_index

本文链接：https://blog.youkuaiyun.com/IBoyMan/article/details/79494221

python、pandas学习专栏收录该内容

9 篇文章

订阅专栏

本文介绍了一个简单的Python脚本，用于从指定文件中读取数据并计算每台主机的页面浏览量(PV)和独立访客数(UV)，最终将结果输出到目标文件。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

实现也非常简单，不过多啰嗦，见代码注释：

pv uv 代指 select host，count(*),count(distinct ad) from table group by ;

# -*- coding:utf-8 -*-
import pandas as pd
from datetime import datetime

def Main():

    print("开始。。。。。")
    print(datetime.now().strftime('%Y-%m-%d %H:%M:%S'))

    source_txt = "/sh/yanjie/fudan/bigdata/bigdata_click_result.txt"
    target_txt = "/sh/yanjie/fudan/bigdata/host_pvuv_click.txt"

    uname = ['ad','type','host','url','ref','time','os','os_type']

    # count(*)
    pv = pd.read_csv(source_txt,sep="\t",header=None,names=uname,index_col=False)[['host','ad']].groupby('host')['ad'].size()

    # count(distinct **)
    uv = pd.read_csv(source_txt,sep="\t",header=None,names=uname,index_col=False)[['host','ad']].groupby('host').agg({'ad': pd.Series.nunique})

    # 去除索引，带出分组的字段
    result = pd.merge(pv.reset_index(),uv.reset_index(),how='inner',on='host')

    result.to_csv  (target_txt,header=None,index=False,sep="\t")

    print("完成。。。。。")
    print(datetime.now().strftime('%Y-%m-%d %H:%M:%S'))

if __name__ == "__main__":
    Main()