Flume拦截器使用-实现分表、解决零点漂移等

最新推荐文章于 2024-12-29 00:14:52 发布

tuoluzhe8521

最新推荐文章于 2024-12-29 00:14:52 发布

阅读量1.5k

点赞数 11

分类专栏：数据同步文章标签： flume 大数据

本文链接：https://blog.youkuaiyun.com/Brother_ning/article/details/136038612

版权

1.场景分析

使用flume做数据传输时，可能遇到将一个数据流中的多张表分别保存到各自位置的问题，同时由于采集时间和数据实际发生时间存在差异，因此需要根据数据实际发生时间进行分区保存。
鉴于此，需要设计flume拦截器配置conf文件实现上述功能，废话不多说，直接上代码。

2.配置文件

<dependencies>
        <dependency>
            <groupId>org.apache.flume</groupId>
            <artifactId>flume-ng-core</artifactId>
            <version>1.9.0</version>
            <scope>provided</scope>
        </dependency>

        <dependency>
            <groupId>com.alibaba</groupId>
            <artifactId>fastjson</artifactId>
            <version>1.2.83_noneautotype</version>
        </dependency>
    </dependencies>

3.主程序

public class test implements Interceptor  {
   
    @Override
    public void initialize() {
   

    }

    @Override
    public Event intercept(Event event) {
   
        //1、获取header和body的数据
        try {
   
            byte[] body = event.getBody();
            Map<String, String> headers = event.getHeaders();
            String log = new String(body, StandardCharsets.UTF_8);
            //2、判断字符串是否是一个合法的json，是：返回当前event；不是：返回null
            JSONObject jsonObject = JSONObject.parseObject(log);
            //3、header中timestamp时间字段替换成日志生成的时间戳（解决数据漂移问题和历史数据同步）
            Long ts = DateFormatUtil.toTsAddTimeZone(jsonObject.getString("@timestamp"));
            String topicHeader = headers.get("topic");
//            System.out.println("topicHeader主题名称为:"+topicHeader);
            String httpUserAgent = jsonObject.getString("topicHeader");
            //数据筛选
            if("clb-healthcheck".equals(httpUserAgent) || (StringUtils.isNotEmpty(httpUserAgent) && httpUserAgent.startsWith("kube-probe")

最低0.47元/天解锁文章