flink简单入门小项目 words count

最新推荐文章于 2024-12-04 17:12:11 发布

原创

最新推荐文章于 2024-12-04 17:12:11 发布 · 2.2k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#flink #intellij-idea #java

该博客介绍了使用Apache Flink进行数据处理的基础知识，包括从TXT文件读取数据进行单词计数，以及通过Socket接收实时数据进行统计。文中详细展示了代码实现过程，涉及IDEA环境配置、Maven依赖、FlatMapFunction的使用以及Socket数据流的处理。

这是flink入门的一个小项目，分享出来一起学习，路过就给个赞呗~~~~~~
words count 简而言之就是统计单词出现的次数，项目分成两部分：1、数据来源于 txt 文件， 2、通过socket在线发送数据，模拟实时系统。

开发环境：
IDEA + JDK1.8 + MAVEN

一、通过maven引入需要的jar包

<dependencies>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-java</artifactId>
            <version>1.2.0</version>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-streaming-java_2.10</artifactId>
            <version>1.2.0</version>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-clients_2.10</artifactId>
            <version>1.2.0</version>
        </dependency>
    </dependencies>