Flink系列：setParallelism 并行度使用方法示例Demo

最新推荐文章于 2024-05-30 23:05:33 发布
原创 最新推荐文章于 2024-05-30 23:05:33 发布 · 4.5k 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文详细介绍了Apache Flink中设置并行度的方法，包括算子层面的并行度调整，深入讲解了Slots的概念及其优先级，并通过示例Demo展示了如何在实践中配置并行度。

并行度

一个任务（Source、Transformation、Sink）的并行实例（线程〉数目称为该任务的并行度

 

Slots 

Task Manager为集群提供Slots，一个Task Manager节点的Slots数通常是CPU的核数。

 

并行度优先级

一个任务的并行度设置包含下面4个层面：
• Operator Level （算子层面〉
• Execution Environment Level （执行环境层面〉

 

• Client Level （客户 层面〉
• System Level （系统层面）

 

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Flink系列：Parallelism理解实战
NIO4444
04-11 847
目录 Parallelism pom java 实战 setParallelism(1); setParallelism(3) Parallelism 每个任务的并行度 Flink系列：parallelism和Slot的理解：https://xdoctorx.blog.youkuaiyun.com/article/details/115450468 pom <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http
Flink 运行时架构（三）
JiaXingNashishua的博客
09-03 882
（Operator），所以我们的程序可以看作是一串算子构成的管道，数据则像水流一样有序 地流过。比如在之前的 WordCount 代码中，基于执行环境调用的 socketTextStream()方法，就是一个读取文本流的算子；而后面的 flatMap()方法，则是将字符串数据进行分词、转换成二元组的算子。所有的 Flink 程序都可以归纳为由三部分构成： Source、 Transformation 和 Sink。⚫。
【BigData】Flink(框架原理)
weixin_32709317的博客
10-12 391
Flink是什么有状态流处理有状态流处理（Stateful Stream Processing）指的是一种流式计算模型，其中计算操作可以记住和访问之前处理过的数据或状态信息。这与无状态流处理不同，无状态流处理每个事件都是独立的，没有记忆或上下文信息。Flink 特点。
Flink Parallelism
Claroja
12-12 450
setParallelism 最好不设置全局并行度，而设置每个算子的并行度。 如果需要source算子，设置为1，可以保证读取的顺序。 package com.claroja; import org.apache.flink.streaming.api.datastream.DataStream; import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment; public class Parallelism {
flink中setParallelism并行度 在算子，执行环境，客户，系统配置的优先级及如何通过命令提交flink 任务
weixin_39098944的博客
09-23 2769
前言 并行度：一个任务（Source、Transformation、Sink）的并行实例（线程〉数目称为该任务的并行度 Slots Task Manager为集群提供Slots，一个Task Manager节点的Slots数通常是CPU的核数。 并行度优先级 一个任务的并行度设置包含下面4个层面： • Operator Level （算子层面〉 • Execution Environment Level （执行环境层面〉 • Client Level （客户 层面〉 • System Level （系统
flink05 并行度与事件时间
最新发布
qq_34714700的博客
05-30 1133
1、在代码中设置:env.setParallelism(并行度数量) （优先级高，会将代码并行度定死）3、在配置文件中统一设置4、每一个算子可以单独设置并行度。
Flink源码剖析：flink-examples-streaming 自带demo示例
foureyes
05-02 4213
文章目录1.wordcount2.socket3.async4.iteration5.join6.sideoutput7.windowing7.1 session window7.2 count window7.2.1 slide count window7.2.2 tumble count window 本文主要分析下 Flink 源码中 flink-examples-streaming 模块，...
Flink原理：定时器
welcome to daijiguo's blog
09-01 1790
文章目录1. 用途2. 示例3. 原理3.1 注册3.2 触发3.3 延迟队列state3.4 定时器注意事项 1. 用途 Flink定时器存在于窗口的触发，窗口状态的清理，TTL等诸多用途，因此搞清楚其原理对于理解这些知识点至关重要。 2. 示例 在flink实时处理中，涉及到延时处理可使用KeyedProcessFunction来完成，KeyedProcessFunction是flink提供面向用户的low level api，可以访问状态、当前的watermark或者当前的processingtime
精选资源
Flink 实战 - 源码 java 源码demo
03-19
8. **并行度与分布式执行**：Flink的任务可以在分布式环境中并行执行，源码中可能包含设置并行度的示例，以及如何利用Flink的并行计算模型优化性能。 通过对这些Java源码的深入学习和实践，读者不仅可以掌握Flink的...
《从0到1学习Flink》—— Flink parallelism 和 Slot 介绍
http://www.54tianzhisheng.cn/
03-03 2307
转载请务必注明原创地址为：http://www.54tianzhisheng.cn/2019/01/14/Flink-parallelism-slot/ , 未经允许禁止转载。 前言 之所以写这个是因为前段时间自己的项目出现过这样的一个问题： Caused by: akka.pattern.AskTimeoutException: Ask timed out on [Actor[akka:/...
Flink的Parallelism并行度
qq_41627514的博客
09-20 1219
Flink的Parallelism并行度
flink sql设置并行度_flink的slot 和parallelism
weixin_39755824的博客
11-30 4315
Flink架构1.flink是一个主从结构的分布式程序，它由client和cluster两部分组成。2.cluster由主节点JobManager（JM）和从节点TaskManager组成(TM)。 a.JM负责协调分布式执行：调度Task、协调检查点、协调失效恢复等工作。 JM至少要有一个，也可有多个。多个JM可基于zookeeper做HA,一个active，其余standby。...
Flink（八）Flink的Parallelism并行度
热门推荐
ThinkMore
04-18 1万+
一、Flink的Parallel Execution 实例 1.Operator Level final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); ​ DataStream<String> text = [...] DataStream&...
Flink-slot与parallelism
文天大人
09-25 904
怀念二抱三抱
Flink手动设置并发度parallelism源码解读
海若_matrix的博客
08-17 450
1.源码片段 2.源码解读 StreamExecutionEnvironment类的setParallelism（）方法去调用Flink core模块的common api中的ExecutionConfig setParallelism(int parallelism)方法。
flink sql设置并行度_Flink Slot 插槽和 Parallelism 并行度
weixin_39779528的博客
11-30 3143
1 总结这次一上来就讲结论吧，在实际应用时，需要注意以下几个要点：slot 是静态的概念，表示 TaskManager 具有多少并发执行能力。parallelism 是动态的概念，表示程序运行时实际使用时的并发能力。设置合适的 parallelism 可以提高运行效率，大小要适中 例如设置了 slot 为 4，但设置 parallelism 为 1，那么只使用了一个 slot，空闲了 3 个，这样...
Apache Flink 并行度 Parallelism
lucklilili
12-23 823
把一个算子操作，“复制”多份到多个节点，数据来了之后就可以到其中任意一个执行。这样一来，一个算子操作就被拆分成了多个并行的“子任务”（subtasks），再将它们分发到不同节点，就真正实现了并行计算。在Flink执行过程中，每一个算子（operator）可以包含一个或多个子任务（operator subtask），这些子任务在不同的线程、不同的物理机或不同的容器中完全独立地执行。
Flink中Sink时分别不设置setParallelism，setParallelism(1)和setParallelism(n)之间区别
知其然，知其所以然
07-04 4595
大家好，我是Jackson，是一名计算机学院大数据专业大二的学生。作为一名互联网行业的小白，博主写博客一方面是为了记录自己的学习过程，另一方面是总结自己所犯的错误希望能够帮助到很多和自己一样处于起步阶段的萌新。但由于水平有限，博客中难免会有一些错误出现，有纰漏之处恳请各位大佬不吝赐教！个人VX：LQ1518123002，欢迎与大家交流。 前言：基础不牢，地动山摇。 1.不设置setParallelism代码 import org.apache.flink.streaming.api....
Flink基础（十二）：Parallelism 和 Slot 详解
weixin_42155491的博客
04-05 3530
Parallelism parallelism 是并行的意思，在 Flink 里面代表每个算子的并行度，适当的提高并行度可以大大提高 Job 的执行效率，比如你的 Job 消费 Kafka 数据过慢，适当调大可能就消费正常了。 parallelism的设置有三个地方： flink-conf.yaml 配置文件中 parallelism.default: 1 代码中设置全局的并行度 env...
flink 并行度 checkpoint
06-07
在 Flink 中，Checkpoint 是一种机制，用于实现流处理的容错和恢复。Checkpoint 会将流处理任务的状态信息保存到持久化存储中，以便在出现故障时可以恢复任务并继续处理数据。而并行度和Checkpoint之间的关系是，每个并行任务都会独立地生成和管理自己的Checkpoint。 下面是一个简单的示例，展示了如何在 Flink 中设置并行度和Checkpoint： ```java // 创建 ExecutionEnvironment StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); // 设置并行度为 4 env.setParallelism(4); // 开启Checkpoint，设置Checkpoint间隔为 10 秒 env.enableCheckpointing(10000); // 设置Checkpoint模式为 Exactly Once env.getCheckpointConfig().setCheckpointingMode(CheckpointingMode.EXACTLY_ONCE); // 设置Checkpoint超时时间为 1 分钟 env.getCheckpointConfig().setCheckpointTimeout(60000); // 设置同时进行的最大Checkpoint数量为 2 env.getCheckpointConfig().setMaxConcurrentCheckpoints(2); // 设置Checkpoint存储的位置 env.setStateBackend(new FsStateBackend("file:///tmp/checkpoints")); // 定义数据源，执行计算操作 DataStream<String> input = env.socketTextStream("localhost", 9999); input.flatMap(new FlatMapFunction<String, String>() { @Override public void flatMap(String s, Collector<String> collector) throws Exception { collector.collect(s.toUpperCase()); } }).print(); // 启动任务 env.execute("Flink Checkpoint Demo"); ``` 在这个示例中，我们首先创建了一个 `StreamExecutionEnvironment` 实例，并设置了并行度为 4。接着开启了Checkpoint，并设置了Checkpoint间隔为 10 秒，Checkpoint模式为 Exactly Once，Checkpoint超时时间为 1 分钟，同时进行的最大Checkpoint数量为 2，Checkpoint存储的位置为本地文件系统 `/tmp/checkpoints`。最后定义了一个数据源，并执行计算操作。 总之，Flink 中的并行度和Checkpoint是密切相关的，每个并行任务都需要独立地生成和管理自己的Checkpoint，以保证流处理任务的容错和恢复能力。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

NIO4444

如果对您有帮助，欢迎打赏支持！

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值