采集数据零点漂移问题解析

最新推荐文章于 2024-12-20 16:36:05 发布

Brook?

最新推荐文章于 2024-12-20 16:36:05 发布

阅读量2.9k

点赞数 7

文章标签： flume hadoop kafka 大数据

本文链接：https://blog.youkuaiyun.com/lq13697179942/article/details/120683949

版权

本文讨论了在日志处理过程中出现的零点漂移现象，即日志数据在经过不同组件传输后，时间戳发生错误导致归档错误的问题。通过介绍一个自定义的Flume拦截器`TimestampInterceptor`，展示了如何从日志内容中提取原始时间戳并添加到Event的header中，从而确保日志被正确地归档到对应的时间目录下。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

为什么会发生零点漂移？

比如2021-10-10 23:59:59生成的日志文件，然后数据经过第一层的flume采集，加上kafka的缓冲，然后到集群的另一台上的第二层的flume的时候，时间肯定就会到2020-10-11 00:00:XX了，这样一来，如果采用当前系统时间作为timestamp的话，2020-10-10 的日志数据就会上传到hdfs上的2020-10-11 的目录下。因为Kafka Source会为其加上该header，value为当前系统的时间戳Kafka Source会为其加上该header，value为当前系统的时间戳

所以我们需要再第二层flume里面写这么一个加时间戳的拦截器，把日志文件里面的时间添加到event的header里面

public class TimestampInterceptor implements Interceptor {
    @Override
    public void initialize() {

    }

    @Override
    public Event intercept(Event event) {

        //获取Event中的body,并转为String字符串
        byte[] body = event.getBody();
        String log = new String(body, StandardCharsets.UTF_8);

        //解析日志，得到json对象
        JSONObject jsonObject = JSON.parseObject(log);

最低0.47元/天解锁文章