用户行为分析-埋点实时数仓实践(附用户关联源码)

原创

已于 2022-05-20 18:12:25 修改 · 5.7k 阅读

36 ·

CC 4.0 BY-SA版权

文章标签：

#大数据 #数据分析

于 2020-11-18 21:58:07 首次发布

本文重点讲述埋点的数据模型、格式、实时采集、加工、存储及用户关联。介绍了业界流行的事件、用户模型，数据存储使用ClickHouse的不同引擎。阐述了事件埋点和用户关联的格式，还说明了架构图、动态添加ClickHouse列、用户关联逻辑及批量写入方法，并附上用户关联源码。

一、概述

埋点采集、用户行为分析、实时数仓、IdMapping

此文重点讲述埋点的数据模型、数据格式、数据实时采集、加工、存储及用户关联。关于用户行为分析的概念、意义以及埋点相关的东西此文不作赘述

二、数据模型

业界比较流行的事件、用户模型；即：

* who: 设备ID、登录ID
* when: 事件发生时间、上报时间
* where: 设备环境、网络环境、业务环境等
* what: 事件标识、事件参数

我们的数据存储也只有events和users两张表

events：不会变的日志表且数据量大；我们用ClickHouse的分布式表存储

users：我们只有几百万用户，且做用户关联时会频繁根据用户id查询、更新，而且做数据分析时要和事件表关联；我们用ClickHouse的mysql Engine存储

events建表语句：

-- 事件local表;按日期周分区
CREATE TABLE analytics.events_replica ON CLUSTER ck_cluster(
	`track_id` String COMMENT '埋点',
	`event_id` Int64 COMMENT '事件id',
	`distinct_id` String COMMENT '设备id/用户中心id',
	`user_id` Int64 COMMENT '用户表id',
	`type` String COMMENT '埋点类型',
	`event` String COMMENT '埋点事件',
	`date` Date COMMENT '埋点日期',
	`time` DateTime64 ( 3, 'Asia/Shanghai' ) COMMENT '埋点上传时间',
	`receive_time` DateTime64 ( 3, 'Asia/Shanghai' ) COMMENT '埋点接受时间',
	`day` Int64 COMMENT '埋点距1970/01/01的天数',
	`week_id` Int64 COMMENT '埋点距1970/01/01的周数',
	`month_id` Int64 COMMENT '埋点距1970/01/01的月数'
	其他业务公共字段
	所有事件属性
	
) ENGINE = ReplicatedMergeTree ( '/clickhouse/tables/analytics/events_replica/{shard}', '{replica}' )
PARTITION BY toMonday ( date ) 
ORDER BY
	( track_id ) SETTINGS index_granularity = 8192

-- 事件分布式表
CREATE TABLE analytics.events ON CLUSTER ck_cluster
AS analytics.events_replica ENGINE =Distributed('ck_cluster', 'analytics', 'events_replica', rand())

users建表语句：