apache flink hello world 示例 wordcount

本文通过一个简单的'WordCount'示例,介绍如何使用Apache Flink进行实时计算。首先启动监听服务,然后创建一个Maven工程,添加Flink依赖,并编写程序代码。运行main方法后,可以在监听服务端口输入数据,程序会实时处理并每隔5秒更新输出结果,窗口期为20000秒。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

1. 启动服务监听端口

C:\Users\Administrator>nc -L -p 9000

我的是windows,若是linux 则用 nc -l 9000 即可

2. demo工程

maven dependecy


    <dependencies>
        <!-- https://mvnrepository.com/artifact/org.apache.flink/flink-java -->
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-java</artifactId>
            <version>1.7.2</version>
        </dependency>

        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-streaming-java_2.12</artifactId>
            <version>1.7.2</version>
        </dependency>

        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-clients_2.12</artifactId>
            <version>1.7.2</version>
        </dependency>


    </dependencies>

程序代码

import org.apache.flink.api.common.functions.FlatMapFunction;
import org.apache.flink.api.java.utils.ParameterTool;
import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.datastream.DataStreamSource;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.streaming.api.windowing.time.Time;
import org.apache.flink.util.Collector;

public class WordCount {

    public static void main(String[] args) throws Exception {
        //定义socket的端口号
        int port;
        try{
            ParameterTool parameterTool = ParameterTool.fromArgs(args);
            port = parameterTool.getInt("port");
        }catch (Exception e){
            System.err.println("没有指定port参数,使用默认值9000");
            port = 9000;
        }

        //获取运行环境
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();

        //连接socket获取输入的数据
        DataStreamSource<String> text = env.socketTextStream("127.0.0.1", port, "\n");

        //计算数据
        DataStream<WordWithCount> windowCount = text.flatMap(new FlatMapFunction<String, WordWithCount>() {
            public void flatMap(String value, Collector<WordWithCount> out) throws Exception {
                String[] splits = value.split("\\s");
                for (String word:splits) {
                    out.collect(new WordWithCount(word,1L));
                }
            }
        })//打平操作,把每行的单词转为<word,count>类型的数据
                .keyBy("word")//针对相同的word数据进行分组
                .timeWindow(Time.seconds(20000),Time.seconds(5))//指定计算数据的窗口大小和滑动窗口大小
                .sum("count");

        //把数据打印到控制台
        windowCount.print()
                .setParallelism(1);//使用一个并行度
        //注意:因为flink是懒加载的,所以必须调用execute方法,上面的代码才会执行
        env.execute("streaming word count");

    }

    /**
     * 主要为了存储单词以及单词出现的次数
     */
    public static class WordWithCount{
        public String word;
        public long count;
        public WordWithCount(){}
        public WordWithCount(String word, long count) {
            this.word = word;
            this.count = count;
        }

        @Override
        public String toString() {
            return "WordWithCount{" +
                    "word='" + word + '\'' +
                    ", count=" + count +
                    '}';
        }
    }


}

运行 main

"C:\Program Files\Java\jdk1.8.0_172\bin\java.exe" .....
没有指定port参数,使用默认值9000
SLF4J: Failed to load class "org.slf4j.impl.StaticLoggerBinder".
SLF4J: Defaulting to no-operation (NOP) logger implementation
SLF4J: See http://www.slf4j.org/codes.html#StaticLoggerBinder for further details.

3. 测试

在监听服务端输入 

C:\Users\Administrator>nc -L -p 9000
hello flink
what's the flink ?

程序代码的输出结果

WordWithCount{word='flink', count=1}
WordWithCount{word='hello', count=1}

......

WordWithCount{word='flink', count=2}
WordWithCount{word='?', count=1}
WordWithCount{word='the', count=1}
WordWithCount{word='hello', count=1}
WordWithCount{word='what's', count=1}

.......

输出会根据输入不停的刷新

刷新机制是根据代码中的

.timeWindow(Time.seconds(20000),Time.seconds(5))

设定的,这里设定的是在20000秒的窗口期内,每5秒刷新下结果

Flink 中的 WordCount 示例是一个经典的分布式流处理任务,用于展示 Apache Flink 的基本功能和工作流程。它类似于 Hadoop 中的经典 MapReduce 词频统计程序,但在流式计算场景下运行。 ### WordCount 原理简介 WordCount 程序的主要目标是对一段文本数据中的单词进行计数。通过这个简单的例子,我们可以理解如何将输入的数据源拆分成一个个单词,并对每个单词的数量进行汇总。 #### 主要步骤: 1. **读取数据**:从指定的数据源(如文件、套接字等)获取原始字符串形式的数据。 2. **转换成单词序列 (flatMap)**:把每行字符串切分为单独的单词列表。 - 比如 `"hello world"` 可以被切割为 `["hello", "world"]`。 3. **映射操作 (map)**:给每一个单词分配初始值 `(word, 1)` 表示该单词已经出现了 1 次。 4. **分组聚合 (keyBy 和 sum)**:按照相同的键名对结果进行分区并求和,最终得到每个单词在整个数据集中出现的总次数。 例如,在 Flink DataStream API 上实现的基本代码结构可以表示如下: ```java DataStream<String> text = ... // 数据来源 // 使用 flatMap 将句子分割成单词 DataStream<String> words = text.flatMap(new Tokenizer()); // 转换成 <word, count> 格式的二元组 DataStream<Tuple2<String, Integer>> wordCounts = words.map(word -> Tuple2.of(word, 1)) .returns(Types.TUPLE(Types.STRING, Types.INT)); // 对每个 key 进行累加 DataStream<Tuple2<String, Integer>> result = wordCounts .keyBy(value -> value.f0) .sum(1); ``` 其中关键点包括了使用 FlatMap 来打散数据集以及利用 Keyed Stream 实现局部状态管理完成高效统计。 ### 总结 此过程不仅展示了批处理模式下的简单分析能力,也体现了实时流上连续更新的重要性。对于初学者来说是非常好的入门案例之一! ---
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值