
flink原理源码分析-功能组件
文章平均质量分 92
本系列是flink源码分析的第二个系列,上一个《flink源码分析之集群与资源》分析集群与资源,本系列分析功能组件,kubeclient,rpc,心跳,高可用,slotpool,rest,metric,future
中间件XL
这个作者很懒,什么都没留下…
展开
-
flink源码分析之功能组件(五)-高可用组件
本系列是flink源码分析的第二个系列,上一个《flink源码分析之集群与资源》分析集群与资源,本系列分析功能组件,kubeclient,rpc,心跳,高可用,slotpool,rest,metrics,future。本文解释高可用组件,包括两项服务,主节点选举和主节点变更通知* 高可用服务常见有两种实现,zookeeper和k8s,本文介绍zookeeper原创 2023-12-14 18:42:08 · 1147 阅读 · 0 评论 -
flink源码分析之功能组件(六)-心跳组件
本系列是flink源码分析的第二个系列,上一个《flink源码分析之集群与资源》分析集群与资源,本系列分析功能组件,kubeclient,rpc,心跳,高可用,slotpool,rest,metrics,future。本文解释心跳组件,心跳组件监听组件间连接活性,触发重连,保证连接有效性;断连后通知并释放资源,心跳可以带荷载,作为组件间数据交换的方式心跳组件依赖rpc组件实现通讯,rpc的解释可参考。原创 2023-12-08 00:35:05 · 1339 阅读 · 0 评论 -
flink源码分析之功能组件(四)-slot管理组件II
本系列是flink源码分析的第二个系列,上一个《flink源码分析之集群与资源》分析集群与资源,本系列分析功能组件,kubeclient,rpc,心跳,高可用,slotpool,rest,metrics,future。本文解释slotpool组件,严格来说,slotpool组件不属于功能组件,而是业务组件,资源消费者申请到资源后,在本地管有资源slot,避免资源管理器异常导致作业运行失败,同时资源管理器不可用也不会影响作业的继续执行,只有资源不足时才会导致作业执行失败。原创 2023-11-29 17:42:14 · 1315 阅读 · 0 评论 -
flink源码分析之功能组件(四)-slot管理组件I
本系列是flink源码分析的第二个系列,上一个《flink源码分析之集群与资源》分析集群与资源,本系列分析功能组件,kubeclient,rpc,心跳,高可用,slotpool,rest,metrics,future。本文解释slotpool组件,严格来说,slotpool组件不属于功能组件,而是业务组件,资源消费者申请到资源后,在本地管有资源slot,避免资源管理器异常导致作业运行失败,同时资源管理器不可用也不会影响作业的继续执行,只有资源不足时才会导致作业执行失败。原创 2023-11-29 17:39:16 · 1318 阅读 · 0 评论 -
flink源码分析之功能组件(三)-rpc组件
本系列是flink源码分析的第二个系列,上一个《flink源码分析之集群与资源》分析集群与资源,本系列分析功能组件,kubeclient,rpc,心跳,高可用,slotpool,rest,metrics,future。本文解释rpc组件,rpc组件用于个核心组件,包括作业管理器,资源管理器和任务管理器之间的通讯。原创 2023-11-27 11:02:22 · 1226 阅读 · 0 评论 -
flink源码分析之功能组件(二)-kubeclient
本系列是flink源码分析的第二个系列,上一个《flink源码分析之集群与资源》分析集群与资源,本系列分析功能组件,kubeclient,rpc,心跳,高可用,slotpool,rest,metrics,future。其中kubeclient上一个系列介绍过,为了系列完整性,这里“copy”一下。原创 2023-11-25 15:00:25 · 1409 阅读 · 0 评论 -
flink源码分析之功能组件(一)-metrics
本系列是flink源码分析的第二个系列,上一个《flink源码分析之集群与资源》分析集群与资源,本系列分析功能组件,kubeclient,rpc,心跳,高可用,slotpool,rest,metric,future。其中kubeclient上一个系列介绍过,本系列不在介绍。本文介绍flink metrics组件,metrics透视系统内状况,是系统预警,查错,性能改进的利器。原创 2023-11-20 23:01:06 · 1989 阅读 · 0 评论