Flink实现WordCount(java和scala)

最新推荐文章于 2022-07-04 11:17:42 发布

帅气迷人的老害虫

最新推荐文章于 2022-07-04 11:17:42 发布

阅读量505

点赞数

文章标签： flink 大数据

本文链接：https://blog.youkuaiyun.com/weixin_43861104/article/details/107406177

版权

本文详述了使用Flink进行WordCount计算的三种实现方式，包括Java版从socket读取数据、Scala版从socket读取数据以及Java版从Kafka读取数据的实现过程，是初学者的实用教程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

本文是自己在初学flink时，多种方法实现的wordcount，特此记录一下！

1.java版读取socket实现wordcount

package com.bigdata.flink.wc;

import org.apache.flink.api.common.functions.FlatMapFunction;
import org.apache.flink.api.common.functions.MapFunction;
import org.apache.flink.api.java.tuple.Tuple2;
import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.datastream.SingleOutputStreamOperator;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.streaming.api.windowing.time.Time;
import org.apache.flink.util.Collector;

/**
 * @ author spencer
 * @ date 2020/5/22 14:07
 */
public class StreamWordCount {

    public static void main(String[] args) throws Exception {
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        // 主机名和端口号在提交的时候按照参数传进来
        DataStream<String> lines = en