Flink多sink输出

最新推荐文章于 2024-12-19 23:30:00 发布

原创

最新推荐文章于 2024-12-19 23:30:00 发布 · 1.2w 阅读

16 ·

CC 4.0 BY-SA版权

文章标签：

#flink

本文介绍了Flink如何实现多sink输出。首先讲解了Flink单一流如何使用OutputTag侧输出多个计算结果，虽然同一对象无法多次输出。接着阐述了Flink多阶段sink的策略，通过OutputTag侧输出先进行一次sink，然后主流继续计算，最终再进行最后一次sink操作。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Flink多sink

Flink单一流多sink

通过OutputTag侧输出多个计算结果(同一结果对象需要进行copy再设置至侧输出流, 暂不支持同对象多次输出)进行sink

Flink多阶段sink

通过OutputTag侧输出第一次计算结果进行sink
主流继续计算, 最后再sink

package com.gin.demo;

import lombok.*;
import org.apache.flink.api.common.functions.MapFunction;
import org.apache.flink.api.common.state.StateTtlConfig;
import org.apache.flink.api.common.state.ValueState;
import org.apache.flink.api.common.state.ValueStateDescriptor;
import org.apache.flink.api.common.time.Time;
import org.apache.flink.api.common.typeinfo.TypeInformation;
import org.apache.flink.configuration.Configuration;
import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.datastream.DataStreamSource;
import org.apache.flink.streaming.api.datastream.SingleOutputStreamOperator;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.streaming.api.functions.KeyedProcessFunction;
import org.apache.flink.streaming.api.functions.sink.PrintSinkFunction;
import org.apache.flink.util.Collector;
import org.apache.flink.util.OutputTag;

import java.io.IOException;

/**
 * 场景:
 * 先以IP维度计算IP关联次数, 再以userId维度计算userId关联次数
 *