（从电商项目认识数仓体系三）行为数仓数据路径

哒哒达

于 2020-06-05 18:12:09 发布

阅读量307

点赞数

分类专栏：数仓实例

本文链接：https://blog.youkuaiyun.com/z774884795/article/details/106573182

版权

该博客讲述了电商项目中日志的采集流程，重点介绍了日志如何通过Kafka进行分发，以及自定义拦截器和ETL过程。讨论了Kafka的生产者和消费者测试，如何确定Kafka机器数量，日志留存设置，监控策略，以及分区数和冗余数的设定。日志量大约为8亿，压缩后60GB。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1 日志采集

（1）日志在生成之后分发时，对于本项目来说会分发至kafka，而kafka中会有多个主题，某些公司甚至会一张表一个主题进行分发，对于本项目来说分为两个主题，一个start主题，一个event主题

（2）图示

注释：

（1）TailDir有断点续传功能

2 拦截器

（1）interceptor配置

a1.sources.s1.interceptors=i1 i2

a1.sources.s1.interceptors.i1.type=自己的jar包

a1.sources.s1.interceptors.i2.type=自己的jar包

3 自定义ETL拦截器

（1）LogUtils

public class LogUtils{
    //具体校验方法
    public static boolean validateLog(String json){
        // 1 切割数据
        String[] jsonArray = json.split(regex:"\\|");
        // 2 根据需要进行定义
    }

}

（2）LogETLInterceptor

import org.a

最低0.47元/天解锁文章