flink的slot如何配置？

最新推荐文章于 2024-09-10 09:31:24 发布

DSJ_ kohler

最新推荐文章于 2024-09-10 09:31:24 发布

阅读量3.8k

点赞数

分类专栏：大数据日常记录文章标签： flink

本文链接：https://blog.youkuaiyun.com/qq_38705144/article/details/124209339

版权

大数据日常记录专栏收录该内容

41 篇文章

订阅专栏

本文探讨了Flink配置设置中的TaskSlot策略，如何通过调整并行度来提高容错性和资源使用效率。作者解释了为何TaskSlot配置等于最大并行度，并对比了传统分配方式与Flink的slot聚合策略，以减少网络延迟和资源浪费。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Task Solt的配置为什么等于提交代码运行的最大的并行度？

1、为了提高容错，如果一个slot失败，可以直接分配到其他slot执行
2、由于每个算子的执行速度不同，flink为了保证并行执行的效率，
不是将每个合并后的操作分配到一个Task Slot中(有些执行快，有些执行慢，慢的还会一直占用该slot)，而是采用在每个slot中存所有的操作

例如：

public class BatchWordCount {

    public static void main(String[] args) throws Exception {

        ExecutionEnvironment env = ExecutionEnvironment.getExecutionEnvironment();
        env.setParallelism(2);

        DataSource<String> ds = env.readTextFile("E:\\IdeaProjects\\flink\\flinkdemo\\src\\main\\resources\\words.txt");

        ds.flatMap((String line, Collector<Tuple2<String,Long>> out ) ->{
            String[] words = line.split(" ");
            for (String word : words) {
                out.collect(Tuple2.of(word,1L));
            }
        })
                //在java中不支持函数式编程，lamb表达式可能存在泛型擦除的情况，需要定义结果的返回类型
//                .returns(Types.TUPLE(Types.STRING, Types.LONG))
                .groupBy(0).sum(1).print();
    }
}

在这里插入图片描述
如果采用下图的这种方式，不仅需要的slot的开销大，同时，存在slot没有充分利用的情况，且source的执行速度很快，而keyby之后的一些处理需要网络传输，数据处理效率会变低，但source所在的slot在快速执行完成之后就一直处于等待状态，造成资源的浪费。
在这里插入图片描述
flink采用的是如下图的方式，每个slot上保存所有的操作过程，解决了资源利用率低的缺点，