Flink基本编程.wordcount实现思路

环境:
并行度设置:
读取文件:
        文件中:readTextFile()
        端口:socketTextStream()

flatMap():
    两个泛型:输入in、输出out
    in.split(" ");for ( String s      :arr);out.collect(tuple2.of(word ,1)) 

注意 :tuple2.of (word,1) = new tuple2<String,Integer>(woed,1),flink为java实现了元组

keyby( )
    两个泛型:输入in、输出out
    return in.f0

shuffle阶段

sum ("f1") 维护内部状态,为每个key维护一个累加器,更新累加器,维护累加器,将数据丢弃。

或者

.reduce(new ReduceFunction<Tuple2<String, Integer>>() {
    @Override
    public Tuple2<String, Integer> reduce(Tuple2<String, Integer> value1, Tuple2<String, Integer> value2) throws Exception {
        return Tuple2.of(value1.f0,value1.f1+value2.f1);

文件当成流,一条条的消费,流批统一

env.execute();

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值