Flink入门之wordcount

最新推荐文章于 2024-04-09 15:24:13 发布

一个好名字会让对方记住你

最新推荐文章于 2024-04-09 15:24:13 发布

阅读量685

点赞数

CC 4.0 BY-SA版权

分类专栏：大数据文章标签： flink

本文链接：https://blog.youkuaiyun.com/qq_37457432/article/details/114193707

本文将引导你入门Apache Flink，通过一个经典的WordCount案例，介绍如何使用Flink进行数据处理。我们将探讨Flink环境配置、数据源、数据转换及数据输出等核心概念。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Flink入门之wordcount的写法

import org.apache.flink.api.common.functions.FlatMapFunction;
import org.apache.flink.api.java.DataSet;
import org.apache.flink.api.java.ExecutionEnvironment;
import org.apache.flink.api.java.tuple.Tuple2;
import org.apache.flink.util.Collector;

public class wordCount {

    public static void main(String[] args) throws Exception {
       ExecutionEnvironment env= ExecutionEnvironment.getExecutionEnvironment();

       String filePath="E:\\MyPro\\FlinkTutor\\src\\main\\resources\\words.txt";

        DataSet<String> stringDataSet = env.readTextFile(filePath);

        DataSet<Tuple2<String,Integer>> res=stringDataSet.flatMap(new MyFlatMapper())
                .groupBy(0)
                .sum(1);

        res.print();

    }
    public static class MyFlatMapper implements FlatMapFunction<String, Tuple2<String,Integer>>
    {
        @Override
        public void flatMap(String s, Collecto