淘宝用户购物行为分析

淘宝用户购物行为数据分析 本数据集是阿里巴巴提供的一个淘宝用户行为数据集,本次分析数据提供了1万用户量级的完整行为数据。数据包含了抽样出来的1W用户在一个月时间(11.18~12.18)之内的移动端行为数据。字段字段说明提取说明user_id用户标识抽样字段脱敏item_id商品标识字段脱敏用户对商品的行为类型1234商品分类标识字段脱敏time行为时间精确到小时级别使用工具:Mysql数据库,DataGrip,Excel,Tableau。 阅读详情

在本案例中,我们将使用 Databend Cloud 对来自天池实验室的淘宝用户购物行为数据集进行分析,一起发现有趣的购物行为。

该数据集为 CSV 格式,包含了 2017 年 11 月 25 日至 2017 年 12 月 3 日之间,有行为的约一百万随机用户的所有行为(包括点击、购买、加购、喜欢)。数据集的每一行表示一条用户行为,由以下 5 列组成,并以逗号分隔:

列名称说明
用户 ID整数类型,序列化后的用户 ID
商品 ID整数类型,序列化后的商品 ID
商品类目 ID整数类型,序列化后的商品所属类目 ID
行为类型字符串,枚举类型,包括:'pv':商品详情页 pv,等价于点击; 'buy':商品购买; 'cart':将商品加入购物车; 'fav':收藏商品
时间戳行为发生的时间戳

准备工作

下载数据集

  1. 下载淘宝用户购物行为数据集到本地,然后使用以下命令解压:
unzip UserBehavior.csv.zip
  1. 将解压后的数据集文件 (UserBehavior.csv) 压缩为 gzip 格式:
gzip UserBehavior.csv

创建外部 Stage

  1. 登入 Databend Cloud,并新建一个工作区。
  2. 在工作区中,执行以下 SQL 语句在阿里云上创建一个名为"mycsv"的外部 Stage:
CREATE STAGE mycsv URL = 's3://<YOUR_BUCKET_NAME>'
CONNECTION = (
  ACCESS_KEY_ID = '<YOUR_ACCESS_KEY_ID>',
  SECRET_ACCESS_KEY = '<YOUR_SECRET_ACCESS_KEY>',
  ENDPOINT_URL = '<YOUR_ENDPOINT_URL>',
  ENABLE_VIRTUAL_HOST_STYLE = TRUE
)
FILE_FORMAT = (
  TYPE = CSV
  COMPRESSION = AUTO
);
  1. 执行以下 SQL 语句验证 Databend Cloud 是否可访问到该外部 Stage:
LIST @mycsv;

上传数据集到外部 Stage

使用 BendSQL将压缩后的数据集文件 (UserBehavior.csv.gz) 上传到外部 Stage。获取计算集群的连接信息,请参考连接到计算集群。

(base) eric@Erics-iMac ~ % bendsql --host tenantID--YOUR_WAREHOUSE.gw.aliyun-cn-beijing.default.databend.cn \
  --user=cloudapp \
  --password=<YOUR_PASSWORD> \
  --database="default" \
  --port=443 --tls
Welcome to BendSQL 0.9.3-db6b232(2023-10-26T12:36:55.578667000Z).
Connecting to tenantID--YOUR_WAREHOUSE.gw.aliyun-cn-beijing.default.databend.cn:443 as user cloudapp.
Connected to DatabendQuery v1.2.183-nightly-1ed9a826ed(rust-1.72.0-nightly-2023-10-28T22:10:15.618365223Z)

cloudapp@tenantID--YOUR_WAREHOUSE.gw.aliyun-cn-beijing.default.databend.cn:443/default> PUT fs:///Users/eric/Documents/UserBehavior.csv.gz @mycsv

PUT fs:///Users/eric/Documents/UserBehavior.csv.gz @mycsv

┌─────────────────────────────────────────────────────────────────┐
│                    file                   │  status │    size   │
│                   String                  │  String │   UInt64  │
├───────────────────────────────────────────┼─────────┼───────────┤
│ /Users/eric/Documents/UserBehavior.csv.gz │ SUCCESS │ 949805035 │
└─────────────────────────────────────────────────────────────────┘
1 file uploaded in 401.807 sec. Processed 1 file, 905.80 MiB (0.00 file/s, 2.25 MiB/s)

数据导入和清洗

创建表格

在工作区中,执行以下 SQL 语句为数据集创建表格:

CREATE TABLE `user_behavior` (
  `user_id` INT NOT NULL,
  `item_id` INT NOT NULL,
  `category_id` INT NOT NULL,
  `behavior_type` VARCHAR,
  `ts` TIMESTAMP,
  `day` DATE );

清洗、导入数据

  1. 执行以下 SQL 语句导入数据到表格中,并同时完成清洗:

    • 去除无效的时间区外的数据
    • 数据去重
    • 生成额外列数据
INSERT INTO user_behavior
SELECT $1,$2,$3,$4,to_timestamp($5::bigint) AS ts, to_date(ts) day
FROM @mycsv/UserBehavior.csv.gz WHERE day BETWEEN '2017-11-25' AND '2017-12-03'
GROUP BY $1,$2,$3,$4,ts;
  1. 执行以下 SQL 语句验证数据导入是否成功。该语句将返回表格的 10 行数据。
SELECT * FROM user_behavior LIMIT 10;

数据分析

在完成了前期的准备和数据导入之后,我们正式开始进行数据分析。

用户流量及购物情况分析

总访问量和用户数
SELECT SUM(CASE WHEN behavior_type = 'pv' THEN 1 ELSE 0 END) as pv,
COUNT(DISTINCT user_id) as uv
FROM user_behavior;

日均访问量和用户量
SELECT day,
       SUM(CASE WHEN behavior_type = 'pv' THEN 1 ELSE 0 END) AS pv,
       COUNT(DISTINCT user_id) AS uv
FROM user_behavior
GROUP BY day
ORDER BY day;

也可以通过 使用仪表盘 功能,生成折线图:

统计每个用户的购物情况,生成新表:user_behavior_count
create table user_behavior_count as select user_id,
       sum(case when behavior_type = 'pv' then 1 else 0 end) as pv,   --点击数
       sum(case when behavior_type = 'fav' then 1 else 0 end) as fav,  --收藏数
       sum(case when behavior_type = 'cart' then 1 else 0 end) as cart,  --加购物车数
       sum(case when behavior_type = 'buy' then 1 else 0 end) as buy  --购买数
       from user_behavior
group by user_id;
复购率:两次或两次以上购买的用户占购买用户的比例
select sum(case when buy > 1 then 1 else 0 end) / sum(case when buy > 0 then 1 else 0 end)
from user_behavior_count;

用户行为转换率

点击/(加购物车 + 收藏)/购买,各环节转化率
select a.pv,
       a.fav,
       a.cart,
       a.fav + a.cart as `fav+cart`,
       a.buy,
       round((a.fav + a.cart) / a.pv, 4) as pv2favcart,
       round(a.buy / (a.fav + a.cart), 4) as favcart2buy,
       round(a.buy / a.pv, 4) as pv2buy
from(
select sum(pv) as pv,   --点击数
sum(fav) as fav,  --收藏数
sum(cart) as cart,  --加购物车数
sum(buy) as buy  --购买数
from user_behavior_count
) as a;

计算一个小时完成浏览->添加到购物->并支付的用户
SELECT
   count_if(level>=1) as pv, count_if(level>=2) as cart, count_if(level>=3) as buy
FROM
(
    SELECT
        user_id,
        window_funnel(3600000000)(ts, behavior_type = 'pv',behavior_type = 'cart',behavior_type = 'buy') AS level
    FROM user_behavior
    GROUP BY user_id
);

用户行为习惯

每天用户购物行为
select to_hour(ts) as hour,
       sum(case when behavior_type = 'pv' then 1 else 0 end) as pv,   --点击数
       sum(case when behavior_type = 'fav' then 1 else 0 end) as fav,  --收藏数
       sum(case when behavior_type = 'cart' then 1 else 0 end) as cart,  --加购物车数
       sum(case when behavior_type = 'buy' then 1 else 0 end) as buy  --购买数
from user_behavior
group by hour
order by hour;

也可以通过 使用仪表盘 功能,生成折线图:

每周用户购物行为
select to_day_of_week(day) as weekday,day,
       sum(case when behavior_type = 'pv' then 1 else 0 end) as pv,   --点击数
       sum(case when behavior_type = 'fav' then 1 else 0 end) as fav,  --收藏数
       sum(case when behavior_type = 'cart' then 1 else 0 end) as cart,  --加购物车数
       sum(case when behavior_type = 'buy' then 1 else 0 end) as buy  --购买数
from user_behavior
where day between '2017-11-27' and '2017-12-03'
group by weekday,day
order by weekday;

也可以通过 使用仪表盘 功能,生成柱状图:

基于 RFM 模型找出有价值用户

RFM 模型是衡量客户价值和客户创利能力的重要工具和手段,其中由 3 个要素构成了数据分析最好的指标:

  • R-Recency(最近一次购买时间)
  • F-Frequency(消费频率)
  • M-Money(消费金额)
R-Recency(最近购买时间):R值越高,用户越活跃
select user_id,
       to_date('2017-12-04') - max(day) as R,
       dense_rank() over(order by (to_date('2017-12-04') - max(day))) as R_rank
from user_behavior
where behavior_type = 'buy'
group by user_id
limit 10;

F-Frequency(消费频率):F值越高,用户越忠诚

select user_id,
       count(1) as F,
       dense_rank() over(order by count(1) desc) as F_rank
from user_behavior
where behavior_type = 'buy'
group by user_id
limit 10;

用户分组

对有购买行为的用户按照排名进行分组,共划分为 5 组:

  • 前 1/5 的用户打 5 分
  • 前 1/5 - 2/5 的用户打 4 分
  • 前 2/5 - 3/5 的用户打 3 分
  • 前 3/5 - 4/5 的用户打 2 分
  • 其余用户打 1 分

按照这个规则分别对用户时间间隔排名打分和购买频率排名打分,最后把两个分数合并在一起作为该名用户的最终评分。

with cte as(
select user_id,
       to_date('2017-12-04') - max(day) as R,
       dense_rank() over(order by (to_date('2017-12-04') - max(day))) as R_rank,
       count(1) as F,
       dense_rank() over(order by count(1) desc) as F_rank
from user_behavior
where behavior_type = 'buy'
group by user_id)
select user_id, R, R_rank, R_score, F, F_rank, F_score,  R_score + F_score AS score
from(
select *,
       case ntile(5) over(order by R_rank) when 1 then 5
                                           when 2 then 4
                                           when 3 then 3
                                           when 4 then 2
                                           when 5 then 1
       end as R_score,
       case ntile(5) over(order by F_rank) when 1 then 5
                                           when 2 then 4
                                           when 3 then 3
                                           when 4 then 2
                                           when 5 then 1
       end as F_score
from cte
) as a
order by score desc
limit 20;

商品维度分析

销量最高的商品
select item_id ,
       sum(case when behavior_type = 'pv' then 1 else 0 end) as pv,   --点击数
       sum(case when behavior_type = 'fav' then 1 else 0 end) as fav,  --收藏数
       sum(case when behavior_type = 'cart' then 1 else 0 end) as cart,  --加购物车数
       sum(case when behavior_type = 'buy' then 1 else 0 end) as buy  --购买数
from user_behavior
group by item_id
order by buy desc
limit 10;

销量最高的商品类别
select category_id ,
       sum(case when behavior_type = 'pv' then 1 else 0 end) as pv,   --点击数
       sum(case when behavior_type = 'fav' then 1 else 0 end) as fav,  --收藏数
       sum(case when behavior_type = 'cart' then 1 else 0 end) as cart,  --加购物车数
       sum(case when behavior_type = 'buy' then 1 else 0 end) as buy  --购买数
from user_behavior
group by category_id
order by buy desc
limit 10;

用户留存分析

开始前,创建表格"day_users"并插入数据:

create table day_users(
day date,
users bitmap);

insert into day_users select day, build_bitmap(list(user_id::UInt64)) from user_behavior group by day;
统计每天UV
select day,bitmap_count(users) from day_users order by day;

相对留存

这里计算相对于 11 月 23 日,12 月 2 号还在使用淘宝用户:

select bitmap_count(bitmap_and(a.users, b.users))
from (select users from day_users where day='2017-11-25') a ,
(select users from day_users where day='2017-12-02') b;

相对新增
select bitmap_count(bitmap_not(b.users, a.users)) from (select users from day_users where day='2017-11-25') a ,
(select users from day_users where day='2017-12-02') b;

淘宝用户行为分析(SQL) 一、数据说明 数据集是阿里巴巴提供的一个淘宝用户行为数据集,数据集包含了2017年11月18日至2017年12月18日之间,用户行为数据约80多万条记录。 user_id:用户ID,item_id:商品ID,item_category:商品类目ID behavior_type:用户行为,分别以1,2,3,4代表点击,收藏,加入购物车,支付 user_geohash:用户地理位置,time:时间戳 二、分析目标 通过对上述数据集中用户行为数据分析,找出用户群体在整个购物过程中的转化率,找出影响用户 阅读详情

相关推荐

【大数据处理】消费者行为与购物习惯数据分析及可视化

对顾客行为和购买数据的分析揭示了一些有价值的见解。季节变化、产品类别、性别、尺寸和促销码的使用都会影响消费者的购买决策。数据还表明,蒙大拿州拥有强大的消费市场,服装是各个年龄段的首选产品类别。这些发现可以为营销策略、产品供应和促销提供信息,以更好地瞄准和服务不同的客户群。

linghyu的博客 1万+

【Hive+MySQL+Python】淘宝用户购物行为数据分析项目

user_data.csv是一份用户行为数据,时间区间为2017-11-25到2017-12-03,总计29132493条记录,大小为1.0G,包含5个字段。数据集的每一行表示一条用户行为,由用户ID、商品ID、商品类目ID、行为类型和时间戳组成,并以逗号分隔。

weixin_46436010的博客 4907

基于淘宝商城用户购物行为数据分析系统

本文使用HIve+superset技术对阿里云天池提供的淘宝用户购物数据进行处理分析,得到有价值的信息并对平台提出有建设性意义的意见。

m0_51388399的博客 2822

3900 条购物行为数据集 | 18 列全维度指标 (人口统计 / 产品属性 / 购买行为)+ 无缺失值 | 客户细分 / 消费趋势分析 / 推荐系统用

【摘要】本数据集针对电商购物行为分析中的痛点问题,提供结构化全维度数据,包含3900条标准化记录,覆盖用户人口统计、产品属性、交易行为及反馈评价等18个关键字段。数据特点包括:多品类(服装/鞋类/辅料等)均衡分布、四季消费场景模拟、无缺失值标准化标注。通过配套的Python代码示例,支持客户细分(KMeans聚类)和消费预测(XGBoost回归)等核心分析任务,可直接用于精准营销、库存优化等电商运营场景。

Lym185151的博客 4318

淘宝用户行为分析——阿里云天池淘宝用户购物行为数据集

通过淘宝app平台的用户购买行为数据集,通过行业指标对淘宝用户行为进行分析,从而探索淘宝用户的行为模式。通过观察数据集的四分位数,总数,平均值,方差等,发现数据集并无异常值存在。8.3付费率 / 用户转化率分析。7.3不同行为类型用户PV分析。8.4同一时间段用户消费数分布。RFM模型用户分群分析。8.1用户购买次数情况。7.2小时访问量分析。

qq_44883214的博客 1634

淘宝用户购物行为数据集.zip

淘宝用户购物行为数据集.zip

淘宝用户购物行为数据可视化分析

基于阿里天池的淘宝用户购物行为公开数据集,从多个角度进行流量分析、转化率分析、用户价值分析,并进行可视化。

weixin_74268817的博客 970

淘宝用户行为数据集.txt

3182257条数据,可做推荐系统,数据分析 它包含字段(id, uid,age,gender,item_id, behavior_type, item_category, date, province) //1.浏览、2.收藏、3.加购物车 4.购买 7.统计各省的前十热门关注产品(浏览+收藏+添加购物车+购买总量最多前10的产品) 8.统计各省的前十热门购买产品(销售最多前10的产品) 9.统计各省销售最好的产品类别前10(销售最多前10的产品类别) 10.统计各省男女用户数量(gender 0:男 1:女 2:未知) 亲测好用

【淘宝用户购物行为分析】数据挖掘实验四

Apriori算法的基本思想是利用频繁项集的性质,即如果一个项集是频繁的,那么它的所有子集也是频繁的。该算法从单个项集开始,逐渐生成更大的项集,直到不能再生成频繁项集为止。算法采用逐层扫描的方法,通过连接步骤生成候选项集,然后通过剪枝步骤排除非频繁项集,最终得到频繁项集。生成候选项集: 初始阶段,生成所有单个项的候选项集。扫描数据集: 统计候选项集在数据集中的支持度(出现次数)。剪枝: 剪枝步骤通过判断候选项集的支持度是否满足最小支持度阈值,从而剪除非频繁项集。

Lenhart001的博客 2370

淘宝用户行为数据集

3182257条数据,可做推荐系统,数据分析 它包含字段(id, uid,age,gender,item_id, behavior_type, item_category, date, province) //1.浏览、2.收藏、3.加购物车 4.购买 7.统计各省的前十热门关注产品(浏览+收藏+添加购物车+购买总量最多前10的产品) 8.统计各省的前十热门购买产品(销售最多前10的产品) 9.统计各省销售最好的产品类别前10(销售最多前10的产品类别) 10.统计各省男女用户数量(gender 0:男 1:女 2:未知)

Python实战:5分钟搞定VCF文件中每个样本的SNP统计(附bcftools安装指南)

本文介绍了三种高效统计VCF文件中每个样本SNP数量的Python方法,包括原生解析、结合bcftools的推荐方案以及使用PyVCF3专业库。特别推荐bcftools结合Python的方法,适用于中大型VCF文件,显著提升处理效率。文章还提供了bcftools安装指南和进阶统计技巧,帮助生物信息学分析人员快速完成SNP统计任务。

weixin_30555125的博客 494

基于SPARK的淘宝用户购物行为可视化分析

这篇文章旨在练习大数据Spark操作,做一些简单的分析。后续阶段将基于三台虚拟机情况下进行调优,以期实现性能最优化。

番茄薯仔 3978

SD-WAN组网案例——数据中心

SD-WAN组网案例——数据中心

2301_78457663的博客 708

【免费下载】 淘宝用户购物行为数据分析项目数据集

淘宝用户购物行为数据分析项目数据集 【下载地址】淘宝用户购物行为数据分析项目数据集 本仓库提供了一个用于淘宝用户购物行为数据分析项目的数据集。该数据集包含了丰富的用户购物行为信息,适用于数据分析、机器学习模型训练等多种应用场景 项...

gitblog_09726的博客 2222

并网逆变器学习笔记5---三电平DPWM

三电平DPWM

圆桌骑士的博客 1万+

从服装打版到激光切割:二维异形件排版算法在实际生产中的避坑指南

本文深入探讨二维异形件排版算法在服装、家具等行业的实际应用,对比NFP和重叠移除两种核心策略的优缺点,并提供算法落地的五大实战陷阱与解决方案。通过案例分析和技术要点解析,帮助生产管理者提升材料利用率5%-15%,优化生产效率。

weixin_28717431的博客 418

淘宝用户购物行为数据分析MYSQL

数据分析学习自存。

bushi404的博客 477

卸载重装Ubuntu22.04双系统

先说一下写此篇文章的背景吧,我在Windows下配置了三个cornerNet深度学习环境分别是cuda10.3(显卡版本太高不支持),cuda11.3(配置后偶然看到一篇说这个版本win下只能用CPU跑),最后是cuda11.1终究还是没能跑通代码,因为它的代码是在Liunx系统写的,就想着装个Ubuntu试试看,在网上看说一般软件不要装太高版本,我就下载了470版的显卡驱动,跟着步骤升级了系统内核,结果第二天开机Ubuntu就崩了,开机黑屏左上角只有一道横杠显示,只能按ctrl+shift+f5进入命令窗

编程小白的博客 8122

淘宝用户购物行为数据的研究与分析(源码+万字报告+讲解)

目录一、 绪论 51.1研究背景 51.2研究意义 51.3国内外研究现状 51.4研究思路 6二、研究内容与方法 72.1研究内容 72.1.1 淘宝用户购物行为数据采集 72.1.2 消费者购买习惯和行为模式研究 72.1.3 电商企业营销策略的定制 72.1.4 电商产品设计优化研究 82.1.5 购物行为数据的应用价值研究 82.2研究方法 82.2.1 数据挖掘技术 82.2.2 基于机器学习的研究分析 8三、数据分析案例 8。

qq_40828705的博客 1179

从0开始部署基础的AlwaysOn

在这个快餐文化盛行的时代,应该没多少人真的会沉下心来看理论和具体步骤,加上我自己也需要一篇可以扩展的快速搭建环境的指引,所以特别写了这篇文章。 我们在这里要做的事情有以下几个:安装环境。包括虚拟机和网络配置等。安装Windows域、配置必要的账号密码及功能。搭建域环境并进行配置。安装配置Windows Server Failover Cluster(WSFC)。安装SQL Server。配置Alw

MVP黄钊吉(發糞塗牆) 7577

南 京 农 业 大 学 试 题 纸 附表(rape.csv)是25个油菜材料,测得每个材料的千粒重、亚油酸等的含量. (1) 对物质含量的八个指标作主成分分析,画出碎石图和主成分得分图; (2) 选

(1)请用n1

Mrrunsen的博客 498

基于Mysql和Tableau实现的淘宝用户购物行为可视化分析

可以看出,平常周的周五为访问最低点,周三/四和周日为访问高峰期,猜测是因为淘宝的用户主要为工薪阶层,周五下班以后忙着休息、放松,淘宝使用率较低;商户可以考虑在特定的节日采取一定的优惠策略,提高商品的曝光量及用户的留存度。可以看出,商品总操作top10和商品消费人数top10具有相当一部分重合的品类,说明受到关注的商品,消费者有较高的倾向性去购买。再用tableau制作Pv和Uv的图像,从图像中可以看出,不管是Pv还是Uv都在12月12日达到了峰值,这正是因为双十二购物节优惠,用户集中性进行消费。

A12351133的博客 2216

uniapp APP端:蓝牙报错writeBLECharacteristicValue:fail property not support(uni.writeBLECharacteristicVal)

uni-app 蓝牙fail property not support、发现不了服务特征值的问题、突然发现微信蓝牙小秘密,使用uni-app编译成安卓APP后报错writeBLECharacteristicValue:fail property not support,发现不了服务特征值,uniApp APP调用蓝牙API发送指令过快导致,uniapp 蓝牙 writeBLECharacteristicValue property_not_support iOS Android BLE GATT 特征值写入

✅ 精选推荐文章 2944
上一篇: Databend 开源周报第 133 期
下一篇: Databend 开源周报第 134 期
Databend
博客等级 码龄5年 1458粉丝 363原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值