Spark-ClickHouse-ES实时项目第十四天-需求分析

SmallScorpion

于 2020-09-22 15:53:21 发布

阅读量324

点赞数

分类专栏： Spark-ClickHouse-ES实时项目文章标签：大数据

本文链接：https://blog.youkuaiyun.com/qq_40180229/article/details/108718766

版权

本项目聚焦实时大数据处理，利用Spark对接HBase和ES，进行日志分析。需求涉及按地区、性别和年龄段统计新增付费用户的首单平均消费。项目架构包括将维表数据存入HBase以查询用户状态，并结合其他数据得出详细结果。已提供代码位置和相关工具测试。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

代码位置

日志生成：https://github.com/SmallScorpion/gmall-mock.git
日志服务器：https://github.com/SmallScorpion/gmall-spark-ch-es-realtime.git

需求

按地区（用户性别、用户年龄段）统计当日新增付费用户首单平均消费

架构

在实时数仓中，通过将维表数据放入HBASE中达到查询以前用户状态(是否为首单)，且通过其他为表数据可以得到需求的最终结果数据(用户性别、用户年龄段…)
在这里插入图片描述

HBase 建表

create table spark_ch_es_realtime_user_state( user_id varchar primary key ,state.if_consumed varchar ) SALT_BUCKETS = 3

pom

        <!--hbase-->
        <dependency>
            <groupId>org.apache.phoenix</groupId>
            <artifactId>phoenix-spark</artifactId>
            <version>4.14.2-HBase-1.3</version>

最低0.47元/天解锁文章