如何简单、高效的进行留存和漏斗分析

用户行为分析模型-(行为事件分析、用户留存分析、漏斗分析、行为路径分析、用户分群、点击分析) 最近有些忙,但是看到了很好的分析模型也要跟大家分享的,这篇博客有些粗糙,主要是po上一些链接供大家学习,有时间的话,我也会写出自己关于用户行为分析的理解的。 下面是关于用户行为分析常见的分析维度,有助于为新手入门找到方向。 1.行为事件分析模型 行为事件分析法来研究某行为事件的发生对企业组织价值的影响以及影响程度。企业借此来追踪或记录的用户行为或业务过程,如用户注册、浏览产品详情页、成功投资... 阅读详情

Databend 是一个使用 Rust 研发、开源的、完全面向云架构的新式数仓,致力于提供极速的弹性扩展能力,打造按需、按量的 Data Cloud 产品体验。
开源地址:https://github.com/datafuselabs/databend

前言

随着移动互联网的发展,我们时刻都在生产着数据。

如果你做了一款 APP,3 月份新增用户 1000 人,你是不是想了解在未来的某些时间段内,这部分用户里有多少人持续使用了你的 APP?

如果你在经营一个电商,你可能更加关注用户在登录,访问(某个商品),下单,付款流程里每个环节的转化率,了解用户行为轨迹变化,以精准优化产品设计。比如,如果 Andorid 用户在 下单 到 付款这个环节转化率明显低于其他客户端,说明 Andorid 客户端在 付款 这个环节上存在一些问题。

这就是我们经常说的用户留存和漏斗转化率分析。

大部分数仓要满足这两个需求,基本都要写一堆 SQL 来进行复杂表达,且性能低下,因为这两个分析会重度依赖 GROUP BY,百万级数据可能就会在分钟级。

本篇就来聊聊 Databend 如何做到简洁、高效的满足这两个需求,使用一个简单的 SQL, 在千万级的数据集上也可以轻松搞定。

留存分析

数据表

CREATE TABLE events(`user_id` INT, `visit_date` DATE);
  • user_id - 用户 ID

  • visit_date - 用户访问日期

构造数据集

构造用户访问记录。

# user_id 从 0 到 10000000 在 2022-05-15 访问数据
INSERT INTO events SELECT number AS user_id, '2022-05-15' FROM numbers(10000000);

# user_id 从 0 到 5000000 在 2022-05-16 访问数据
INSERT INTO events SELECT number AS user_id, '2022-05-16' FROM numbers(5000000);

# user_id 从 0 到 100000 在 2022-05-17 访问数据
INSERT INTO events SELECT number As user_id, '2022-05-17' FROM numbers(100000);

留存分析

SELECT
    sum(r[0]) AS r1,
    sum(r[1]) AS r2,
    sum(r[2]) AS r3
FROM
(
    SELECT
        user_id,
        retention(login_date = '2022-05-15', login_date = '2022-05-16', login_date = '2022-05-17') AS r
    FROM events
    GROUP BY user_id
);

这里使用 Databend retention 函数轻松搞定:

+----------+---------+--------+
| r1       | r2      | r3     |
+----------+---------+--------+
| 10000000 | 5000000 | 100000 |
+----------+---------+--------+
  • 2022-05-15 有 10000000 人访问

  • 2022-05-16 有 5000000 个用户持续访问,用户留存率 5000000/10000000 = 50%

  • 2022-05-17 有100000个用户持续访问,用户留存率 100000/10000000 = 10%

漏斗分析

数据表

CREATE TABLE events(user_id BIGINT, event_name VARCHAR, event_timestamp TIMESTAMP);
  • user_id - 用户 ID

  • event_name - 事件类型:登录, 访问 ,下单 ,付款

  • event_timestamp - 事件时间(Databend TIMESTAMP 类型精度是小数点后 6 位, 微秒(microsecond))

构造数据集

# 用户 100123 事件
INSERT INTO events VALUES(100123, '登录', '2022-05-14 10:01:00');
INSERT INTO events VALUES(100123, '访问', '2022-05-14 10:02:00');
INSERT INTO events VALUES(100123, '下单', '2022-05-14 10:04:00');
INSERT INTO events VALUES(100123, '付款', '2022-05-14 10:10:00');

# 用户 100125 事件
INSERT INTO events VALUES(100125, '登录', '2022-05-15 11:00:00');
INSERT INTO events VALUES(100125, '访问', '2022-05-15 11:01:00');
INSERT INTO events VALUES(100125, '下单', '2022-05-15 11:02:00');

# 用户 100126 事件
INSERT INTO events VALUES(100126, '登录', '2022-05-15 12:00:00');
INSERT INTO events VALUES(100126, '访问', '2022-05-15 12:01:00');

# 用户 100127 事件
INSERT INTO events VALUES(100127, '登录', '2022-05-15 11:30:00');
INSERT INTO events VALUES(100127, '访问', '2022-05-15 11:31:00');

漏斗分析

SELECT
    level,
    count() AS count
FROM
(
    SELECT
        user_id,
        window_funnel(3600000000)(event_timestamp, event_name = '登录', event_name = '访问', event_name = '下单', event_name = '付款') AS level
    FROM events
    GROUP BY user_id
)
GROUP BY level ORDER BY level ASC;
+-------+-------+
| level | count |
+-------+-------+
|     2 |     2 |
|     3 |     1 |
|     4 |     1 |
+-------+-------+

这里使用 Databend window_funnel 函数对用户在 1 小时窗口内,进行事件链下钻分析。

一小时内:有多少用户登录(level-1) –> 有多少用户访问(level-2) –> 有多少用户下单(level-3) –> 有多少用户付款(level-4)

从结果来看:

  • 登录 --> 访问 这条事件链上总共有 2 个用户,100126 和 100127

  • 登录 --> 访问 --> 下单 这条事件链上有 1 位用户,100125

  • 登录 --> 访问 --> 下单 --> 购买 这条事件链上总共有 1 位用户,100123

这样我们就可以轻松计算出每个阶段的转化率。

性能

从上面示例可以看出,留存和漏斗分析都重度依赖 GROUP BY user_id,如果 user_id 较多,对 GROUP BY 计算速度有比较高的要求,Databend 在 GROUP BY上做了大量的优化,目前性能已经非常强悍,具体机制可以参考这篇文章 Databend 的 Group By 聚合查询为什么跑的这么快?

总结

Databend 留存(RETENTION)函数和漏斗分析(WINDOW_FUNNEL)函数去年已经实现,把复杂的逻辑进行封装,让用户使用起来更加方便。

Databend 作为一个新一代云数仓,在设计上做了一个很大的转变:数据不再是重心,用户的体验才是。

对于一个数仓产品,相信大部分用户都希望:

  • 不再为存储空间发愁

  • 不再为计算资源发愁

  • 开箱即用,真正的按需、按量付费

随着云基础设施的发展,我们在 Databend Platform 里让这一切都变成了可能。

基于开源 Databend 内核、AWS EC2 计算资源、S3 的对象存储,加上自研的 Serverless Infrastructure,Databend 团队即将推出他们的第一个企业级产品:Databend Platform。

来,让我们一起看看在 Databend Platform 里如何做漏斗分析:

1.选择 Worksheet

2.选择休眠的 Warehouse

3.执行漏斗分析 SQL,自动唤醒 Warehouse

4.Warehouse 自动休眠

5.就是这么简单

关于 Databend

Databend 是一款开源、弹性、低成本,基于对象存储也可以做实时分析的新式数仓。期待您的关注,一起探索云原生数仓解决方案,打造新一代开源 Data Cloud。

  • Databend 文档:https://databend.rs/

  • Twitter:https://twitter.com/Datafuse_Labs

  • Slack:https://datafusecloud.slack.com/

  • Wechat:Databend

  • GitHub :https://github.com/datafuselabs/databend

《增长黑客》- 读书笔记(五)实战之拉新、激活、留存、变现 文章目录1. 拉新1.1 语言-市场匹配1.2 渠道-产品匹配1.3 设计病毒循环2. 激活2.1 定位激活实验的三个关键步骤2.2 触发物策略3. 留存3.1 初期留存3.2 中期留存3.3 长期留存4. 变现4.1 绘制变现漏斗4.2 群组分析4.3 了解消费者心理Reference 用户在使用产品的时候,可以根据用户进入的时间、使用频率等,对生命周期划分为不同阶段。 在数据分析中,常用的生命... 阅读详情

相关推荐

运营数据分析模型—漏斗分析

漏斗分析可以很好的量化我们各个环节的用户流转和转化的情况漏斗分析的关键是提取出用户路径。

6万+

StarRocks docker 环境编译,测试最新留存retention和漏斗window_funnel函数

近期在做留存,漏斗等用户行为分析调研时,留存retention函数随着官网2.2 rc版本发布已经可以下载,然后漏斗函数window_funnel已经开发完成,合并到main版本,预计2.3版本会发布,现阶段通过编译,提前测试调研漏斗函数,一下为操作过程: 1.部署docker环境 mac环境下载docker.dmg,安装好,然后调整好docker资源: 可以编译好后,把docker资源再调整回来,之间就因为docker资源不够,编译不过,各种被kill,报错: be部分编译到一半,

gongxiucheng的专栏 2704

探索Vortex开源GPGPU:RISC-V SIMT架构(2),指令Decode

本文分析了Vortex RISC-V内核的Decode模块设计。文章详细介绍了指令译码过程,包括操作码、功能码和寄存器字段的提取,以及不同类型指令(R/I/S/B/U/UJ)的立即数处理。重点阐述了基于操作码和功能码的分层译码逻辑,包括ALU运算、分支跳转、系统调用等指令的译码规则。此外,还描述了定制指令的处理机制以及与调度器的握手协议。Decode模块通过组合逻辑实现快速译码,并将结果传递给下级Issue模块,同时协调指令流控制。

weixin_55313207的博客 1795

如何基于 Apache Doris 构建简易高效的用户行为分析平台?

用户行为分析是企业了解用户的重要方式之一,可以从点击、登录、观看、跳出、下单购买等多维角度还原用户动态使用场景和用户体验,通过对用户行为埋点数据进行分析,可以详细、清楚地了解用户的行为习惯,从中发现用户使用产品的规律,以用于精确营销、产品优化,从而驱动业务实现增长。

SmartSi 616

如何在windows电脑上搭建Linux环境(手把手教安装虚拟机软件和使用云服务器)

手把手教学如何搭建Linux环境

纪宁的博客 1万+

SAP采购订单中项目类别B(限制)的控制逻辑

在笔者所在企业中,框架类采购订单中项目类别需要选择B(限制)。今天笔者从比较全面的角度分析了一下这个项目类别B到底可以决定些什么?控制到什么?先从后台SPRO中打开相应的配置菜单。 打开项目类别B之后,可以看到一些配置信息,这里有一点与其它配置不同的地方,即无法新增项目,也无法修改现有项目。这个疑惑今后再去解决吧。当前只研究项目类别B的控制逻辑。 下面就参考上图中的配置分段来分析和测试其控制逻辑, 1、如项目类别配置图,所需材料值为不允许;经测试,如下图在采购订单创建时,不能输入物料编号条目。

专注SAP应用技术文章写作,致力于拉近用户与系统间的距离; 6035

方法选对,事半功倍:数据分析方法

给您带来的不便,深表歉意。最值是作为典型代表和异常值进行分析的,比如说销售团队里的销售冠军,电商爆款商品等,我们可以将销售额最大的几款商品提出来,然后我们去总结共性,找到原因,然后复制到其他的商品,最终提高平均转化率。以上就是常见的数据分析方法,在不同领域的工作中,它们通常都是以不同的形式展现出来的。中位数主要是反映的是一组数据的集中趋势,像我们比较常见的正态分布,比如说我们想去统计某市的人均收入,其实,大部分的人均收入都是在一定范围之内的,只有少部分是处于最低的和最高的,其实这是中位数带来的意义。

派可数据的博客 517

Win11实时字幕还能这么玩?手把手教你打造专属‘AI字幕机’,告别视频网站无字幕困扰

本文详细介绍了如何利用Win11的实时字幕功能打造全平台通用的AI字幕系统。通过C#抓取程序、Node.js中转服务和前端展示界面的组合,实现自动抓取系统字幕并实时推送到任意网页视频的方案,有效解决在线视频无字幕的困扰。

weixin_33735077的博客 395

三步解锁:如何让小爱音箱实现全网音乐自由播放?

你是否遇到过这样的烦恼:想听的歌曲在各大音乐平台都有版权限制,无法跨平台播放?小爱音箱的原生功能有限,只能播放特定平台的音乐?本地音乐文件分散各处,缺乏统一管理?别担心,XiaoMusic正是为解决这些痛点而生的开源解决方案。这个革命性的项目能将你的小爱音箱变身为全能音乐播放器,支持从网络下载并播放任意歌曲,彻底告别音乐版权限制。 ## 问题引入:传统音乐播放的三大痛点 想象一下这样的场景:深

gitblog_01133的博客 332

YOLOv11改进策略【Neck】| SEAM:分离和增强注意模块,解决复杂场景下的小目标遮挡问题

本文记录的是利用 SEAM 模块优化 YOLOv11 的目标检测网络模型。的设计出发点在于解决复杂场景下的人脸遮挡问题,相当于是小目标被其他物体部分遮挡时,传统方法因特征缺失导致检测精度下降的问题。该模块通过增强未遮挡区域的特征响应并补偿被遮挡区域的信息损失,提升模型对遮挡小目标的检测能力。YOLO-FaceV2: A Scale and Occlusion Aware Face DetectorSEAM模块(Separated and Enhancement Attention Module)的设计出发点

Limiiiing的博客 2281

微信小程序 - 最新详细实现用户保存下载视频到手机相册,将视频临时路径、在线播放地址(网络路径)URL存储到手机,弹出访问手机相册权限询问,支持视频格式mp4、avi、mov、wmv、flv、webm

微信小程序,视频,手机相册,保存,另存为,小程序保存到相册权限,writePhotosAlbum,一键保存视频到手机相册功能(视频来源为链接),第一次要获取用户授权,授权使用相册权限,小程序视频下载,如何把视频下载到相册,下载一个视频到本地相册,显示下载进度,可取消下载,视频下载到本地,微信小程序视频如何下载,保存视频到相机,页面播放视频并下载到本地,安卓系统,苹果ios保存到相册报错,权限拒绝后打不开,添加相册授权弹框拒绝后再也出不来了,实现保存视频到手机相册功能,将mp4在线视频下载并存储到用户的手机中

🏆 前端领域优质创作者 7632

CohortMe:轻松实现Rails应用的用户留存分析

CohortMe:轻松实现Rails应用的用户留存分析 项目介绍 在当今的互联网时代,数据驱动的决策变得越来越重要。然而,对于许多开发者来说,分析用户行为和留存率仍然是一个令人头疼的问题。为了解决这一痛点,Nate Kontny开发了一个名为CohortMe的开源项目,旨在帮助Rails开发者轻松实现用户留存分析。 CohortMe通过简单的API调用,利用现有的数据库数据,帮助开发者快速生成用户...

gitblog_00142的博客 519

SAP-MM-采购过账接口(与WMS集成)-代码

1、判断传入值非空检验; 2、判断过账日期是否允许在当前期间; 3、判断是否为集采订单业务,是否审批完成; 4、判断是否发布标准成本发布(此业务场景与价格控制3+S有关) 5、保存日志表; 6、判断业务公司订单审批状态; 7、创建STO交货单、集采公司订单过账、STO公司间创建交货单、交货单过账(两步法)、过账失败回滚(冲销交货、删除交货单、冲销集采入库)

qq_32198063的博客 421

pydata-book用户行为分析:漏斗分析、留存分析、路径分析

pydata-book是Wes McKinney编写的《Python for Data Analysis》一书的源代码仓库,涵盖了使用pandas、NumPy和其他相关库进行数据处理和分析的实践案例和技术指南,是数据分析师和开发者进行用户行为分析的强大工具。 ## 一、如何使用pydata-book进行漏斗分析 📊 漏斗分析是用户行为分析中的重要方法,能清晰展示用户在转化路径上的流失情况。p

gitblog_00755的博客 913

history 历史命令记录功能如何防坏人(高级)

在 Linux 下面可以使用 history 命令查看用户的所有历史操作,同时 shell 命令操作记录默认保存在用户目录的 .bash_history 文件中。通过这个文件可以查询 shell 命令的执行历史,有助于运维人员进行系统审计和问题排查,同时在服务器遭受黑客攻击后,也可以查询黑客登录服务器的历史命令操作。但是黑客在入侵后,为了抹除痕迹,会删除 .bash_history 文件,这个就需...

墨痕诉清风的博客 1658

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

使用 Amazon Athena 做漏斗分析——实现更高效的数据湖检索

在日常的业务运营过程中,管理者常常需要快速了解业务的运转健康状况,识别出瓶颈和问题,并制订应对的计划。要概览业务全景,我们可以借助一些统计工具。「漏斗分析」就是一种常见的工具,它很适合多个环节按时间顺序串联的业务。

亚马逊云科技专栏 817

温度PID控制PLC程序

温度PID稳定控制程序,适用于欧姆龙PLC,对其他PLC也具有很大参考价值

ClickHouse实战留存、路径、漏斗、session

什么是留存,比如在20200701这天操作了“点击banner”的用户有100个,这部分用户在20200702这天操作了“点击app签到”的有20个,那么对于分析时间是20200701,...

huzechen的博客 2321

efm32 入门.pdf

本PDF共计22页,介绍的是操作驱动API,下载与否自己斟酌。

精雕软件(JDpaint) 5.5 绿色版

精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版

留存分析:如何高效实现活跃用户增长?(含产品化方法)

公众号后台回复“图书“,了解更多号主新书内容 作者:首席数据科学家 来源:NK冬至 “留存分析,是用户运营的重要方法与分析思路。”最近一直在写数据理论和机器学习相关的...

数据森麟 517

数仓用户行为漏斗分析如何SQL实现(第二节)

目录需求一:用户活跃主题需求二:用户新增主题需求三:用户留存主题需求四:沉默用户数需求五:本周回流用户数需求六:流失用户数需求七:最近连续3周活跃用户数需求八:最近七天内连续三天活跃用户数...

huzechen的博客 984

【干货】3种高效数据分析方法,快速解决业务难题!

不用盲目自学,考取CDA,既能吃透AI工具落地逻辑,又能掌握核心业务分析能力,轻松摆脱工具内卷,解锁升职加薪、转行进阶的硬核竞争力!同期群分析( cohort )就是把同一时间发生某行为的用户归为一组,追踪他们后续表现的变化‌,帮你避开整体数据的平均值陷阱,看清真实业务趋势。在业务场景中,当领导问"为什么这个月销售额跌了20%?使用用户留存分析方法,发现6月15日的留存明显下滑,排查发现当天上线了一个新功能,导致新用户上手困难。留存分析告诉你"整体留存率",但不同批次进来的用户,留存表现可能天差地别。

sjfxscz的博客 163

产品分析平台实践:用事件、漏斗与留存验证产品迭代

本文从行为事件、路径、漏斗与留存分析出发,说明产品分析平台如何验证页面改版、注册激活和新功能上线效果,并介绍 GrowingIO 增长分析在产品迭代复盘中的实践。

shujudang的博客 246

用户运营的常用工具和运营策略

漏斗分析是重要的数据运营工具,常见有以下。(1)基础用法其核心逻辑在于整个漏斗的路径是固定的,即预设好的,在后续运营中该漏斗分析的步骤不会变化。(2)进阶应用在产品中,对于同一个业务流程,用户通常会有不同的使用路径,甚至有些路径是我们在设计阶段难以预料的,而这些预料之外的用户路径极有可能成为事实上的业务流程,而非我们设计和规划的流程。所以漏斗分析的进阶应用即是。所谓智能路径,是根据用户实际产生的浏览数据来分析出实际用户的使用流程,并为之建立漏斗模型,甚至不同客群的路径也不一致。

rubyw的博客 1355

ClickHouse留存、路径、漏斗、session实战

什么是留存,比如在20200701这天操作了“点击banner”的用户有100个,这部分用户在20200702这天操作了“点击app签到”的有20个,那么对于分析时间是20200701,且“点击banner”的用户在次日“点击app签到”的留存率是20%。 关于用户留存模型是各大商业数据分析平台必不可少的功能,企业一般用该模型衡量用户的活跃情况,也是能直接反应产品功能价值的直接指标;如,boss想要了解商城改版后,对用户加购以及后续下单情况的影响等。如下图,这就是一个典型的留存分析功能: ...

格子衫 641

伴鱼事件分析平台设计

背景在伴鱼,服务器每天收集的用户行为日志达到上亿条,我们希望能够充分利用这些日志,了解用户行为模式,回答以下问题:最近三个月,来自哪个渠道的用户注册量最高?最近一周,北京地区的,发生过绘本...

大数据星球-浪尖 397

数据分析师 知识体系 业务篇

目录机器学习监督学习三要素模型评估与选择模型介绍感知机k近邻朴素贝叶斯法 机器学习 监督学习 三要素 模型:凭借某种思想得到的条件概率分布或决策函数。模型的假设空间包含所有可能的条件概率分布或决策函数。 策略:按照什么样的准则(损失函数)选择最优模型。回归问题mse,分类问题负对数似然损失,交叉熵损失等。详情见此 算法:解析解不存在时采用的数值计算的方法。 模型评估与选择 经验误差/训练误差:模型在训练集上的误差。 泛化误差:模型在新样本集上的误差。 过拟合:模型学习能力太好了,把训练样本的一些自身特点,(

andylklk的博客 1490
上一篇: 如何为开源项目撰写 RFC
下一篇: 将 Paxos 和 Raft 统一为一个协议: Abstract-paxos
Databend
博客等级 码龄5年 1458粉丝 363原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值