CDNOW 用户消费数据情况分析(python)(入门案例)

CDNOW用户消费数据分析：Python实战

最新推荐文章于 2023-03-02 18:54:29 发布

原创最新推荐文章于 2023-03-02 18:54:29 发布 · 569 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#python #数据分析

本文通过Python进行CDNOW用户消费数据的全面分析，包括数据类型处理、按月数据分析、用户个体消费分析和消费行为分析。利用pandas和matplotlib等库，展示了用户每月消费金额、产品购买量、消费总次数等关键指标，并探讨了用户生命周期的不同阶段。

import numpy as np
import pandas as pd
from pandas import DataFrame,Series
import matplotlib as mpl
import matplotlib.pyplot as plt

第一部分：数据类型处理

数据加载
- 字段含义：
  - user_id:用户ID
  - order_dt:购买日期
  - order_product:购买产品的数量
  - order_amount:购买金额
观察数据
- 查看数据的数据类型
- 数据中是否存储在缺失值
- 将order_dt转换成时间类型
- 查看数据的统计描述
  - 计算所有用户购买商品的平均数量
  - 计算所有用户购买商品的平均花费
- 在源数据中添加一列表示月份:astype(‘datetime64[M]’)

df = pd.read_csv(’./CDNOW_master.txt’,header=None,sep=’\s+’,names=[‘用户ID’,‘购买日期’,‘购买产品的数量’,‘购买金额’])
df

df.info()

df[‘购买日期’] = pd.to_datetime(df[‘购买日期’],format=’%Y%m%d’)

df.isnull().any(axis=0)

df.describe()

计算所有用户购买商品的平均数量
计算所有用户购买商品的平均花费
```
 2.410040       35.893648
```
在源数据中添加一列表示月份:astype(‘datetime64[M]’)
先取出数据的月份
df[‘购买日期’].astype(‘datetime64[M]’)

df[‘month’]=df[‘购买日期’].astype(‘datetime64[M]’)

df.head()

第二部分：按月数据分析

用户每月花费的总金额
- 绘制曲线图展示
所有用户每月的产品购买量
所有用户每月的消费总次数
统计每月的消费人数

df.groupby(‘month’)[‘购买金额’].sum()

plt.rcParams[‘font.sans-serif’] = [‘Simhei’] # 解决显示中文乱码问题
mpl.style.use(‘ggplot’)
fig = plt.figure(figsize=(8,5))
df.groupby(‘month’)[‘购买金额’].sum().plot()
plt.xlabel(‘日期’)
plt.ylabel(‘金额’)
plt.title(‘用户每月花费金额曲线图’)

所有用户每月的产品购买量
df.groupby(‘month’)[‘购买产品的数量’].sum()

plt.rcParams[‘font.sans-serif’] = [‘Simhei’]
mpl.style.use(‘ggplot’)
fig = plt.figure(figsize=(8,5))
df.groupby(‘month’)[‘购买产品的数量’].sum().plot()
plt.xlabel(‘日期’)
plt.ylabel(‘数量’)
plt.title(‘用户每月购买产品曲线图’)

所有用户每月的消费总次数
df.groupby(‘month’)[‘用户ID’].count()
unique()是以数组形式（numpy.ndarray）返回列的所有唯一值（特征的所有唯一值）
nunique() Return number of unique elements in the object.即返回的是唯一值的个数
统计每月的消费人数
df.groupby(‘month’)[‘用户ID’].nunique()

第三部分：用户个体消费数据分析

用户消费总金额和消费总次数的统计描述
用户消费金额和消费产品数量的散点图
各个用户消费总金额的直方分布图(消费金额在1000之内的分布)
各个用户消费的总数量的直方分布图(消费商品的数量在100次之内的分布)

用户消费总金额
df.groupby(‘用户ID’)[‘购买金额’].sum()
用户消费总次数
df.groupby(by=‘用户ID’)[‘购买日期’].count()
用户消费金额和消费产品数量的散点图
sd = df.groupby(by=‘用户ID’).sum()
sd

plt.rcParams[‘font.sans-serif’]=[‘Simhei’]
mpl.style.use(‘ggplot’)
fig = plt.figure(figsize=(8,5))
plt.scatter(sd[‘购买产品的数量’],sd[‘购买金额’])
plt.xlabel(‘产品数量’)
plt.ylabel(‘金额’)
plt.title(‘用户消费金额和消费产品数量的散点图’)

各个用户消费总金额的直方分布图(消费金额在1000之内的分布)
df.groupby(by=‘用户ID’).sum().query(‘购买金额<=1000’)

mpl.style.use(‘ggplot’)
fig = plt.figure(figsize=(8,5))
df.groupby(by=‘用户ID’).sum().query(‘购买金额<=1000’)[‘购买金额’].hist()
plt.xlabel(‘金额’)
plt.ylabel(‘数量’)
plt.title(‘各个用户消费总金额的直方分布图’)

各个用户消费的总数量的直方分布图(消费商品的数量在100次之内的分布)
df.groupby(by=‘用户ID’).sum().query(‘购买产品的数量<=100’)

mpl.style.use(‘ggplot’)
fig =plt.figure(figsize=(8,5))
df.groupby(by=‘用户ID’).sum().query(‘购买产品的数量<=100’)[‘购买产品的数量’].hist()
plt.xlabel(‘购买产品数量’)
plt.ylabel(‘数量’)
plt.title(‘各个用户消费的总数量的直方分布图’)

第四部分：用户消费行为分析

用户第一次消费的月份分布，和人数统计
- 绘制线形图
用户最后一次消费的时间分布，和人数统计
- 绘制线形图
新老客户的占比
- 消费一次为新用户
- 消费多次为老用户
  - 分析出每一个用户的第一个消费和最后一次消费的时间
    - agg([‘func1’,‘func2’]):对分组后的结果进行指定聚合
  - 分析出新老客户的消费比例
用户分层
- 分析得出每个用户的总购买量和总消费金额and最近一次消费的时间的表格rfm
- RFM模型设计
  - R表示客户最近一次交易时间的间隔。
    - /np.timedelta64(1,‘D’)：去除days
  - F表示客户购买商品的总数量,F值越大，表示客户交易越频繁，反之则表示客户交易不够活跃。
  - M表示客户交易的金额。M值越大，表示客户价值越高，反之则表示客户价值越低。
  - 将R，F，M作用到rfm表中
- 根据价值分层，将用户分为：
  - 重要价值客户
  - 重要保持客户
  - 重要挽留客户
  - 重要发展客户
  - 一般价值客户
  - 一般保持客户
  - 一般挽留客户
  - 一般发展客户
    - 使用已有的分层模型即可rfm_func

df.head()

用户第一次消费的月份分布，和人数统计
用户第一次消费的月份
df.groupby(by=‘用户ID’)[‘month’].min()
人数统计
df.groupby(by=‘用户ID’)[‘month’].min().value_counts()

mpl.style.use(‘ggplot’)
fig = plt.figure(figsize=(8,5))
df.groupby(by=‘用户ID’)[‘month’].min().value_counts().plot()
plt.xlabel(‘日期’)
plt.ylabel(‘数量’)
plt.title(‘用户第一次消费的月份分布人数统计图’)

用户最后一次消费的时间分布，和人数统计
绘制线形图
mpl.style.use(‘ggplot’)
fig =plt.figure(figsize=(8,5))
df.groupby(by=‘用户ID’)[‘month’].max()
df.groupby(by=‘用户ID’)[‘month’].max().value_counts().plot()
plt.xlabel(‘日期’)
plt.ylabel(‘人数’)
plt.title(‘用户最后一次消费的时间分布人数统计图’)
新老客户的占比
消费一次为新用户
消费多次为老用户
分析出每一个用户的第一个消费和最后一次消费的时间
agg([‘func1’,‘func2’]):对分组后的结果进行指定聚合
分析出新老客户的消费比例
先求用户的第一个消费和最后一次消费的时间，时间相同的为新用户，反之老用户
user_old = df.groupby(‘用户ID’)[‘购买日期’].agg([‘min’,‘max’])
user_old

(user_old[‘min’]==user_old[‘max’]).value_counts()

新老用户占比为 12054/11516

fig =plt.figure(figsize=(8,5))
labels =[‘新用户’,‘老用户’]
size = [12054,11516]
explode=(0.1,0)
plt.pie(size,labels=labels,explode=explode,autopct=’%0.1f%%’,shadow=False,startangle=50)
plt.title(“新老客户的占比”)
plt.axis(‘equal’)

分析得出每个用户的总购买量和总消费金额and最近一次消费的时间的表格rfm
rfm = df.pivot_table(index=‘用户ID’,aggfunc={‘购买产品的数量’:‘sum’,‘购买金额’:‘sum’,‘购买日期’:‘max’})
rfm

#R表示客户最近一次交易时间的间隔

暂定当前的日期为本数据源最后一次用户消费时间
df[‘购买日期’].max()
当前时间减去用户最后一次消费时间为时间间隔
df[‘购买日期’].max()-df.groupby(by=‘用户ID’)[‘购买日期’].max()
R表示客户最近一次交易时间的间隔。/np.timedelta64(1,‘D’)：去除days
rfm[‘R’]=(rfm[‘购买日期’].max()-rfm.groupby(by=‘用户ID’)[‘购买日期’].max())/np.timedelta64(1,‘D’)
rfm

rfm.drop(labels=‘购买日期’,axis=1,inplace=True)

rfm

rfm.columns=[‘F’,‘M’,‘R’]
rfm.head()

def rfm_func(x):
#存储存储的是三个字符串形式的0或者1
level = x.map(lambda x :‘1’ if x >= 0 else ‘0’)
label = level.R + level.F + level.M
d = {
‘111’:‘重要价值客户’,
‘011’:‘重要保持客户’,
‘101’:‘重要挽留客户’,
‘001’:‘重要发展客户’,
‘110’:‘一般价值客户’,
‘010’:‘一般保持客户’,
‘100’:‘一般挽留客户’,
‘000’:‘一般发展客户’
}
result = d[label]
return result
rfm[‘cost’]=rfm.apply(lambda x: x-x.mean()).apply(rfm_func,axis=1)

rfm.head()

第五部分：用户的生命周期

将用户划分为活跃用户和其他用户
- 统计每个用户每个月的消费次数
- 统计每个用户每个月是否消费，消费记录为1否则记录为0
  - 知识点：DataFrame的apply和applymap的区别
    - applymap:返回df
    - 将函数做用于DataFrame中的所有元素(elements)
    - apply:返回Series
    - apply()将一个函数作用于DataFrame中的每个行或者列
- 将用户按照每一个月份分成：
  - unreg:观望用户（前两月没买，第三个月才第一次买,则用户前两个月为观望用户）
  - unactive:首月购买后，后序月份没有购买则在没有购买的月份中该用户的为非活跃用户
  - new:当前月就进行首次购买的用户在当前月为新用户
  - active:连续月份购买的用户在这些月中为活跃用户
  - return:购买之后间隔n月再次购买的第一个月份为该月份的回头客

df.head()

统计每个用户每个月的消费次数
user_spend = df.pivot_table(index=‘用户ID’,values=‘购买日期’,aggfunc=‘count’,columns=‘month’,fill_value=0)
user_spend
统计每个用户每个月是否消费，消费记录为1否则记录为0
new_user_spend = user_spend.applymap(lambda x : 1 if x >=1 else 0)
new_user_spend
将用户按照每一个月份分成：
unreg:观望用户（前两月没买，第三个月才第一次买,则用户前两个月为观望用户）
unactive:首月购买后，后序月份没有购买则在没有购买的月份中该用户的为非活跃用户
new:当前月就进行首次购买的用户在当前月为新用户
active:连续月份购买的用户在这些月中为活跃用户
return:购买之后间隔n月再次购买的第一个月份为该月份的回头客

#将new_user_spend中的原始数据0和1修改为new，unactive…,返回新的df叫做df_purchase_new
#固定算法
def active_status(data):
status = []#某个用户每一个月的活跃度
for i in range(18):

    #若本月没有消费
    if data[i] == 0:
        if len(status) > 0:
            if status[i-1] == 'unreg':
                status.append('unreg')
            else:
                status.append('unactive')
        else:
            status.append('unreg')
                
    #若本月消费
    else:
        if len(status) == 0:
            status.append('new')
        else:
            if status[i-1] == 'unactive':
                status.append('return')
            elif status[i-1] == 'unreg':
                status.append('new')
            else:
                status.append('active')
return status

last_user_spend = new_user_spend.apply(active_status,axis = 1)
last_user_spend.head()

user_cost = DataFrame(data=last_user_spend.values.tolist(),index=new_user_spend.index,columns=new_user_spend.columns)
user_cost