Flink: Parallelism & Slot

Flink大数据计算：Parallelism与Slot的配置与优化
原创 已于 2023-06-07 16:24:38 修改 · 置顶 · 1.5k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#Flink

于 2021-10-28 15:32:52 首次发布

序言

因为所以.

Flink大数据计算的横向扩展是一定要考虑Parallelism 和Slot的.

slot决定了parallelism的可行性以及数量.如果强行分配很多的Paralelism则会报错显示资源不够cuiyaonan2000@163.com

Parallelism 

Parallelism是我们算子的并行度的设置,默认是1.即启动多少个线程并行执行.

同时有3个层级可以设置他们的关系是:

算子设置并行度 > env 设置并行度 > 配置文件默认并行度

算子设置并行度

data.keyBy(new xxxKey())
    .flatMap(new XxxFlatMapFunction()).setParallelism(5)
    .map(new XxxMapFunction).setParallelism(5)
    .addSink(new XxxSink()).setParallelism(1)

Env设置并行度

这里没用代码直接用管理平台的配置设置

Slot

  • slot指的是插槽的意思(计算资源)，flink中任务的并行性由每个 Task Manager 上可用的 slot 决定。
  • slot的数量跟CPU的内核的数量成正比,一台机器有多少个内核就配置多少个slot

总结

Non-Keyed

首先Parallelism 必须要根据slot的数量来程序上或者配置上控制,否则报错显示资源不够.有点不完美的是程序不能动态的去识别算子应该有多少Parallelism.

在这如果算子设置了Parallelism那要特别注意分发的机制,下游选自子的子任务可能分发的任务量并不均匀造成了资源有的特别紧张,有的特别宽松.比如使用dataStream.rebalance() 则当前的算子会把任务均匀的分发给下游算子.cuiyaonan2000@163.com

如上的是根据Non-Keyed的情况做的说明.即没有使用窗口.特别注意:cuiyaonan2000@163.com

Keyed

那如果对应Keyed的流我们就可以使用窗口,窗口的意思其实就是批量处理(类似kafka的批量).且要使用窗口则必须Keyed的流才能支持大于1的并发.否则所有窗口计算都是单线程的.

这里举个例子说明个情况 即:keyed的流,在设置窗口后,则针对window的算子只能以hash的形式被分配到数据.且不能使用reblance来负载均衡.其它的没啥特别的.

另外有一点是keyed的window并不会自动的去创建多个并发度.这个亲身经历~~~~

目前业务上的相关需要的点都搞清楚了.来劈个叉吧

Flink系列：parallelism和Slot的理解
NIO4444
04-05 677
目录 slot（taskmanager 具备的并发能力） 例子（每个taskmanager 有3 个 TaskSlot） parallelism（taskmanager 实际使用的并发能力） flink-conf.yaml中配置 以shell的方式-p指定程序的并行度 在flink job程序内设置并行度 每个算子指定并行度； slot（taskmanager 具备的并发能力） slot是一个TaskManager上任务能配置的最大并行度（默认为CPU核数） 系统创建一个Ta...
Flink 并行度的理解(parallel)
chanyue123的博客
02-20 2275
讲解flink的并行度的理解
flink算子的并行度设置方法
qq_39889944的博客
11-04 2384
本文汇总了flink中算子并行度的所有配置方法。
【BigData】Flink(框架原理)
weixin_32709317的博客
10-12 376
Flink是什么有状态流处理有状态流处理（Stateful Stream Processing）指的是一种流式计算模型，其中计算操作可以记住和访问之前处理过的数据或状态信息。这与无状态流处理不同，无状态流处理每个事件都是独立的，没有记忆或上下文信息。Flink 特点。
Flink 运行时架构（三）
JiaXingNashishua的博客
09-03 873
（Operator），所以我们的程序可以看作是一串算子构成的管道，数据则像水流一样有序 地流过。比如在之前的 WordCount 代码中，基于执行环境调用的 socketTextStream()方法，就是一个读取文本流的算子；而后面的 flatMap()方法，则是将字符串数据进行分词、转换成二元组的算子。所有的 Flink 程序都可以归纳为由三部分构成： Source、 Transformation 和 Sink。⚫。
Flink parallelism和Slot介绍
METON的博客
09-11 1646
什么是parallelism？ 一个Flink程序是由多个任务组成（source、transformation和sink）。一个任务由多个并行的实例（线程）来执行，一个任务的并行实例（线程）数目就被称为该任务的并行度。 并行的意思，在Flink中代表每个任务的并行度，适当的提高并行度可以大大提高job的执行效率，比如当你的job消费kafka的速度过慢，适当调大就消费正常了。在flink配置文件中可以看到其默认并行度是1。 如何设置并行度？ 命令行：./bin/fli...
《从0到1学习Flink》—— Flink parallelism 和 Slot 介绍
http://www.54tianzhisheng.cn/
03-03 2306
转载请务必注明原创地址为：http://www.54tianzhisheng.cn/2019/01/14/Flink-parallelism-slot/ , 未经允许禁止转载。 前言 之所以写这个是因为前段时间自己的项目出现过这样的一个问题： Caused by: akka.pattern.AskTimeoutException: Ask timed out on [Actor[akka:/...
Flink基础（十二）：Parallelism 和 Slot 详解
weixin_42155491的博客
04-05 3520
Parallelism parallelism 是并行的意思，在 Flink 里面代表每个算子的并行度，适当的提高并行度可以大大提高 Job 的执行效率，比如你的 Job 消费 Kafka 数据过慢，适当调大可能就消费正常了。 parallelism的设置有三个地方： flink-conf.yaml 配置文件中 parallelism.default: 1 代码中设置全局的并行度 env...
大数据学习之Flink——05Flink的Parallelism和Slot
bingque6535的博客
07-10 624
本文借鉴了: http://www.54tianzhisheng.cn/2019/01/14/Flink-parallelism-slot/ 一. Parallelism(并行度) 1. 什么是Parallelism parallelism 是并行的意思，在 Flink 里面代表每个任务的并行度，适当的提高并行度可以大大提高 job 的执行效率 2. 设置Parallelism 一个任务的并行度设置可以从 4 个层面指定: Operator Level（算子层面） Execution Environm.
Flink parallelism 和 Slot 介绍
王小工小工历程
05-17 979
并行度（Parallelism）：指的是一个算子（Operator）或任务（Task）的并行实例数量。换句话说，它决定了 Flink 集群中同时处理输入数据的子任务数量。Slot：在 Flink 中，一个 Slot 可以看作是一个 TaskManager 上的一个资源子集，用于执行一个或多个 Task（任务）。每个 TaskManager 可以拥有多个 Slot，而每个 Slot 可以执行一个或多个 Task。
Flink 调优：Slot and Parallelism
GatsbyNewton
04-07 2068
Flink 的并发度的设置直接影响应用程序的性能，本文介绍了应该如何设置并发度的方法。
Flink Parallelism
Claroja
12-12 448
setParallelism 最好不设置全局并行度，而设置每个算子的并行度。 如果需要source算子，设置为1，可以保证读取的顺序。 package com.claroja; import org.apache.flink.streaming.api.datastream.DataStream; import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment; public class Parallelism {
Flink Parallelism 与 Slot 理解
Java大数据
01-17 3144
文章目录what Parallelism Slot ?Slot 和 Parallelism 的关系1.Slot 是指 TaskManager 最大能并发执行的能力2.parallelism 是指 TaskManager 实际使用的并发能力总结 what Parallelism Slot ? parallelism 是并行的意思 slot 槽位的意思 先来看一张Flink官网中一张经典图 图中...
Flink的Parallelism并行度
qq_41627514的博客
09-20 1213
Flink的Parallelism并行度
FLINK 并行度配置
最新发布
ada2014的博客
02-06 250
并行度配置的几个层次如下所示。从上到下作用范围依次增大，但是上面的配置可以覆盖下面的配置。并行度一般配置为CPU核心数的2-3倍。
flink的slot如何配置？
科小勒的博客
04-16 3951
Task Solt的配置为什么等于提交代码运行的最大的并行度？ 1、为了提高容错，如果一个slot失败，可以直接分配到其他slot执行 2、由于每个算子的执行速度不同，flink为了保证并行执行的效率， 不是将每个合并后的操作分配到一个Task Slot中(有些执行快，有些执行慢，慢的还会一直占用该slot)，而是采用在每个slot中存所有的操作 例如： public class BatchWordCount { public static void main(String[] args) th
Flink教程：并行度
学亮编程手记
08-30 1075
Flink的并行度（Parallelism）是指在Flink作业中并行执行任务的程度。它决定了作业中任务的数量以及任务之间的数据划分和分配方式。并行度是一个重要的概念，对于实现高吞吐量和低延迟的流处理非常关键。作业级别并行度（Job Parallelism）：作业级别并行度是指整个作业中任务的数量，它决定了作业的整体并行执行能力。作业级别并行度可以在提交作业时通过编程API或命令行参数进行指定。例如，可以设置作业级别并行度为4，表示将作业划分为4个并发任务进行执行。
简述Flink的Slot和parallelism区别
05-13
在 Flink 中，Slot 和 parallelism 都是与任务调度相关的概念，但它们有着不同的含义。 - Slot：是 Flink 集群中物理计算资源的最小单元，是 Flink 任务执行的基本单位。Flink 任务需要在集群中申请一定数量的 Slot 来运行，Slot 的数量决定了 Flink 任务的并发度，也就是能够同时执行的任务数量。一个 Slot 可以执行一个或多个任务，但是同一个 Slot 中的任务必须共享一定的资源，例如 CPU 和内存等。 - Parallelism：是 Flink 任务执行的并行度，表示在 Flink 集群中同时执行的任务数量。Parallelism 可以理解为任务的拆分程度，即将一个大任务拆成多个小任务并行执行。Parallelism 可以在 Flink 任务中配置，也可以在运行时动态调整。 因此，Slot 和 parallelism 的区别在于： - Slot 是物理资源的最小单位，parallelism 是任务拆分的最小单位。 - Slot 数量决定了 Flink 任务的并发度，parallelism 决定了任务的拆分程度和并行执行的任务数量。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

cuiyaonan2000

给包烟抽吧

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值