17、Spring Cloud Data Flow 内部机制与电影流管道 DSL 实践

Spring Cloud Data Flow 内部机制与电影流管道 DSL 实践

1. 应用类型

在深入了解各个组件之前，先介绍一下应用类型。符合流处理的应用主要有 Spring Cloud Stream 和 Spring Cloud Task 应用，它们存在重要区别：
- 长生命周期应用 ：具有输入和输出，通常需要一个消息代理来进行通信。部分应用可能有多个输入和输出，在某些情况下也可不依赖消息代理。多数长生命周期应用是使用 Spring Cloud Stream 模块创建的。
- 短生命周期应用 ：运行时间有限，启动、处理并完成任务后结束。这些应用属于任务类型，可将状态保存到 Data Flow 数据库中，一般使用 Spring Cloud Task，其扩展应用会使用 Spring Batch，能保存状态并在失败处恢复执行。

创建长或短生命周期应用并非必须使用 Spring，实际上可以使用任何编程语言。创建这些应用时，可将其打包为 Spring Boot Uber - JAR，通过 Maven（托管在 Maven 仓库）以文件或 HTTP 方式访问，也可作为 Docker 镜像托管在 Docker 注册表中。

2. 客户端工具

连接 Spring Data Flow 服务器有多种方式，在使用客户端工具前，需准备以下辅助工具：
- jq ：用于处理 JSON 对象，官网：https://stedolan.github.io/jq/
- yq ：用于处理 YAML 对象