flink reduce算子

reduce算子是flink流处理中的一个聚合算子,可以对属于同一个分组的数据进行一些聚合操作。

但有一点需要注意,就是在需要对聚合结果进行除聚合操作之外的操作时,有可能会失效。

比如下面一段代码:

public static void main(String[] args) throws Exception {
        StreamExecutionEnvironment environment = StreamExecutionEnvironment.getExecutionEnvironment();
        
        DataStreamSource<String> source = environment.fromElements("a", "b", "c", "d");

        SingleOutputStreamOperator<Tuple3<String, Integer,String>> map = source.map(new MapFunction<String, Tuple3<String, Integer,String>>() {
            @Override
            public Tuple3<String, Integer,String> map(String value) throws Exception {
                Tuple3<String, Integer,String> tuple2 = new Tuple3<>();
                tuple2.f0 = value;
                tuple2.f1 = 1;
                tuple2.f2 = "z";
                return tuple2;
            }
        });

        map.keyBy(0)
                .reduce(new RichReduceFunction<Tuple3<String, Integer,String>>() {
                    @Override
                    public Tuple3<String, Integer,String> reduce(Tuple3<String, Integer,String> value1, Tuple3<String, Integer,String> value2) throws Exception {
                        String s = "f";
                        value1.f1=value1.f1+value2.f1;
                        value1.f2=s;
                        return value1;
                    }
                }).print();

        JobExecutionResult execute = environment.execute();

    }

我在代码中想将聚合结果的第三个元素都改成"f",运行代码的时候会发现并没有改变,甚至都没有进入reduce方法。

这是因为输入的流中每个元素都不一样,因此每个分组都只有一个元素。这时候是不会进入reduce方法的,而是直接返回。

因此,如果要对聚合结果进行非聚合操作的话,可以通过reduce后map里进行。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值