2.4 离线数仓—数据采集模块总结

前言

数据采集模块已经全部完整，这里对数据采集模块做一个总结。

一、数据采集模块整体架构图

数据采集模块整体架构图如下：

数据采集模块又可以划分为两部分，第一部分是前端埋点用户日志行为数据的采集；第二部分是业务数据的采集。

二、日志数据采集

1.日志数据采集流程图

三、业务数据采集

1.业务数据采集流程图

1）全量表同步说明

特别需要主要的是：生成一天的数据导入一次

2）增量表同步说明

需要注意的是：
1）首日同步使用maxwell-bootstrap命令，需要指明maxwell的config.properties文件路径，因此需要先进行配置。
2）首日同步写入HDFS路径上的时间就是执行bootstrap的时间。
3）在真实生产环境中，每日同步写入HDFS路径上的时间是数据发生变动的时间（也是maxwell生成数据里的ts字段的时间），这是很正确的时间，因为实际上就是当天的数据发生了变化传入了HDFS中当天日期的路径。
4）但是如果，本项目中，在今天2022-02-17使用模拟生成数据的jar包，想要生成2020-06-14这个日期的时间。然而实际上maxwell记录的变更的数据里的ts就是当前的系统时间2022-02-17，数据将会写入到HDFS的2022-02-17的文件夹里（这个是maxwell规定的）。