flink算子动态编排 - 技术调研历程_flink 算子编排-优快云博客

本文链接：https://blog.youkuaiyun.com/AinUser/article/details/121761611

本文详细记录了对Flink算子动态编排的技术调研过程，深入探讨了在大数据处理中如何实现算子的灵活配置和流程编排，以提升数据处理效率和系统适应性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

# 1. 首先，先展示一张常规编写算子计算流程的示意图

# 2. 如上图所示，常规编写算子，相当于死代码，

我们不能够在服务运行的时候，动态的去变更算子流程，

不过这个地方受限于flink生成的计算流图，当服务启动至运行的过程中，flink会将算子的计算流图生成好，不能够进行动态的变更。

当然下面的技术调研，也没有突破这个瓶颈，只是可以在不停止服务，不影响原有算子编排任务前提下，创建新的算子编排任务

以下内容，仅供参考，我会通过几个案例讲述，技术调研过程

# 1. Flink SQL任务自动生成与提交

原博文地址：https://www.cnblogs.com/eryuan/p/15406486.html

大致思想，flink sql通过页面编写代码，可以实现交互式自动生成任务，如下图所示

# 远程提交

上图中作者参考实现效果，编写的实现代码，地址如下所示

github地址：https://github.com/nyingping/flink_remotesubmit

大致思想，通过java编译打包项目文件，将打包后的jar，通过flink-web-API
提交job任务

# 2. 第二种，远程提交job方式

原博文连接地址：https://www.cnblogs.com/gcwell/p/15570295.html

大致思想，通过flink的createRemoteEnvironment远程创建env