Spring Cloud Data Flow 初尝试

Spring Cloud Data Flow 初尝试

安装Spring Cloud Data Flow

在Spring Cloud Data Flow文档中介绍了几种在本地安装Spring Cloud Data Flow的方式。

参考：https://dataflow.spring.io/docs/installation/local/

我们这里就尝试使用最后一种方式在本地进行安装。

根据文档上的要求，我们下载好如下的jar包。

然后我们用如下的命令启动：

start java -jar spring-cloud-dataflow-server-2.5.3.RELEASE.jar
start java -jar spring-cloud-skipper-server-2.4.3.RELEASE.jar

然后我们通过下面的url就可以访问到Spring Cloud Data Flow的dashboard页面了。
http://localhost:9393/dashboard

Create Task

然后我们点击左边的菜单栏的Apps，然后我们点击添加application

这里展示了几种添加application的方式

之后我们可以看到如下的页面。然后我们选择第二种方式，并且选择Task Apps(Maven)

导入完成之后我们可以看到如下页面，上面有一些之前就注册在上面的Task

接下来我们点击左边菜单栏的Tasks，然后我们点击Create Tasks的按钮

我们来创建一个Task，可以选择之前已经存在的Task，我们就选择timestamp这个Task

点击Create Task，并给task命名

创建完成之后我们就可以看到我们的task显示如下

然后我们就可以点击启动按钮去启动我们的task

然后我们点击启动task

等待task执行

然后我们还可以查看task的detail信息，可以看到他启动的logs

最后等到task执行完毕之后，我们还可以看到他的启动时间和结束时间

Create Stream

在此之前我们需要安装Kafka还有zookeeper。安装的步骤这里就不多介绍了。可以参考：
WINDOWS上KAFKA运行环境安装

然后启动好我们的zookeeper还有kafka。

接下来我们点击左边菜单栏的Apps，然后选择第二项，还有选择Stream Apps(Kafka/Maven)，点击导入

之后就可以看到如下的页面

然后我们点击左边菜单栏的Streams，然后我们创建一个Stream

我们想要的目的就是读取一个input file 输出到 output file中，所以我们创建了如下的流程。

然后我们给我们的stream命名

点击创建完毕之后就可以看到如下的页面

然后我们点击deploy

然后加上一些配置信息

分别给inFile和outFile添加对应的输入和输出的目录

填写完毕之后我们就可以点击Deploy Stream了

然后我们就可以看到如下的界面

还可以查看detail的信息

可以查看到运行的日志信息

最后我们在input的目录下添加一个inputFile.txt，输入Hello, World!，保存之后我们去看看output的路径。

在output的路径中，我们可以看到新生成了一个文件，打开之后我们可以看到里面的内容就是Hello, World!

接下来我们来create一个http stream，把一个http stream输出到file中。

还是一样我们create stream

然后命名为http-to-file

接下来我们进行deploy

配置监听的端口

配置输出的文件路径

然后通过如下命令发送输出到指定端口

curl --data "DATA1,DATA2,DATA3" -H "Content-Type:text/plain" http://localhost:9300/

然后查看输出的文件路径，就可以看到生成了文件，内容也是显示我们上面输入的数据

参考

Introduction to Spring cloud data flow in 15 minutes