利用pandas计算概率

最新推荐文章于 2024-08-21 00:15:00 发布

原创

最新推荐文章于 2024-08-21 00:15:00 发布 · 2.3k 阅读

2 ·

CC 4.0 BY-SA版权

本文介绍如何处理51job爬取的数据，通过pandas计算在北京找到最低工资为1万的Java工作的概率，涉及数据编码转换问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

上次从51job上爬取数据存储到51job.txt上后我们对数据进行处理，计算最小工资为1万的Java工作在哪个城市比较容易找到工作（求概率）p=p(北京)*p(Java|北京)*p(min=1万|北京)

import pandas as pd
df = pd.read_csv('51.txt', sep='\t')

# 计算类别的先验概率
pc = df['addr'].value_counts() / df['addr'].size

# 计算每个特征属性条件概率
pa = pd.crosstab(df['addr'], df['key'], margins=True).apply(lambda x:x/x[-1], axis=1)

# 通过样本计算出均值和方差，也就是得到正态分布的密度函数。有了密度函数，就可以把值代入，算出某一点的密度函数的值
import numpy as np
df2 = df.groupby('addr').agg([np.mean, np.var])
df2['x'] = 1

from math import pi, exp, sqrt
def f(x, mean, var):
    return exp(-(x-mean)**2/(2*var))/sqrt(2*pi*var)

df2['p_x_min']=df2[['min','x']].apply(lambda x: f(x['x'], x['min']['mean'], x['min']['var']), axis=1)
df2['p_x_max']=df2[['max','x']].apply(lambda x: f(x['x'], x['max']['mean'], x['max']['var']), axis=1)

(df2['p_x_m