sparkstreaming和flink的区别

最新推荐文章于 2025-04-02 16:00:14 发布

yaoyaobird11

最新推荐文章于 2025-04-02 16:00:14 发布

阅读量2.6k

点赞数

分类专栏：大数据文章标签： flink big data spark

本文链接：https://blog.youkuaiyun.com/yaoyaobird11/article/details/120218322

版权

sparkstreaming和flink的区别

参考 https://blog.youkuaiyun.com/b6ecl1k7BS8O/article/details/81350587

–

组件：

sparkstreaming：
Master:主要负责整体集群资源的管理和应用程序调度；
Worker:负责单个节点的资源管理，driver 和 executor 的启动等；
Driver:用户入口程序执行的地方，即 SparkContext 执行的地方，主要是 DGA 生成、stage 划分、task 生成及调度；
Executor:负责执行 task，反馈执行状态和执行结果。

flink：
Jobmanager: 协调分布式执行，他们调度任务、协调 checkpoints、协调故障恢复等。至少有一个 JobManager。高可用情况下可以启动多个 JobManager，其中一个选举为 leader，其余为 standby；
Taskmanager: 负责执行具体的 tasks、缓存、交换数据流，至少有一个 TaskManager；
Slot: 每个 task slot 代表 TaskManager 的一个固定部分资源，Slot 的个数代表着 taskmanager 可并行执行的 task 数。

–