实时数据仓库之客户行为分析

本文链接：https://blog.youkuaiyun.com/ddyun/article/details/113735566

该项目旨在通过收集前端的客户行为日志，如下载、注册、登录等信息，利用大数据平台进行实时分析。ods日志信息包含丰富的用户活动细节，并通过KafkaSource接入，以JSON格式存储。日志数据将用于深入了解客户行为模式，为业务决策提供数据支持。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

实时数据仓库之客户行为分析

项目背景：

前端收集客户从各个渠道下载、注册、登陆、操作菜单、浏览页面等信息，统一发到日志数据收集服务器，日志收集服务器统一转发到大数据平台做客户行为分析。

项目目标：

实现与设计：

采集日志格式：

-- -------------------------
-- ods 日志信息
-- Kafka Source
-- -------------------------
CREATE TABLE ods_hxd_log(
sdate varchar ,
cdate varchar ,
ky varchar ,
id varchar ,
ch varchar ,
av varchar ,
sv varchar ,
ui varchar ,
mc varchar ,
im varchar ,
ut varchar ,
qq varchar ,
mf varchar ,
md varchar ,
sd varchar ,
ip varchar ,
op varchar ,
tn varchar ,
cn varchar ,
ov varchar ,
lg varchar ,
sr varchar ,
tz varchar ,
jb varchar ,
si varchar ,
ts varchar ,
pi varchar ,
rf varchar ,
et varchar ,
tags varchar ,
ei varchar ,
ar varchar ,
kv varchar ,
du varchar ,
er varchar ,
ea varchar ,
ext1 varchar ,
ext2 varchar ,
ext3 varchar ,
ext4 varchar ,
ext5 varchar ,
ext6 varchar ,
ext7 varchar ,
ext8 varchar ,
ext9 varchar ,
ext10 varchar ,
ext11 varchar ,
ext12 varchar ,
ext13 varchar ,
ext14 varchar ,
ext15 varchar ,
fm varchar ,
di varchar ,
uid varchar ,
ec varchar
) WITH (
'connector.type' = 'kafka',
'connector.version' = '0.11',
'connector.topic' = 'hxd_log',
'connector.startup-mode' = 'earliest-offset',
--'connector.specific-offsets' = 'partition:0,offset:0;partition:1,offset:0;partition:2,offset:0',
'connector.properties.group.id' = 'hxd_log_group1',
'connector.properties.zookeeper.connect' = 's1:2181,s2:2181,s3:2181',
'connector.properties.bootstrap.servers' = ''m1:9092,m2:9092,s1:9092',
'format.type' = 'json'
);