StreamingPro支持Flink的流式计算了

最新推荐文章于 2024-10-10 21:37:29 发布

祝威廉

最新推荐文章于 2024-10-10 21:37:29 发布

阅读量243

点赞数

CC 4.0 BY-SA版权

本文链接：https://blog.youkuaiyun.com/allwefantasy/article/details/81039553

本文介绍如何使用StreamingPro适配Flink作为流式引擎的过程。通过简单的配置即可实现Socket数据源接入，并通过Flink SQL进行数据处理，最后输出到控制台。文章提供了从下载安装到任务提交的完整步骤。

前言

有的时候我们只要按条处理，追求实时性而非吞吐量的时候，类似Storm的模式就比较好了。Spark 在流式处理一直缺乏改进，而Flink在流式方面做得很棒，两者高层的API也是互相借鉴，容易形成统一的感官，所以决定让StreamingPro适配Flink,让其作为StreamingPro底层的流式引擎。

StreamingPro自身设计之初就是为了支持多引擎的，所以改造成本很低，昨天花了一下午，晚上加了会班就重构完了。这次增强可以让我司的流式引擎有了新的选择。

准备工作

下载安装包

为了跑起来，你需要下载一个flink的包，我用的是1.2.0版本的。

接着就是下载StreamingPro的 flink版本：

https://pan.baidu.com/s/1slCpxxV

启动flink

进入flink安装目录运行如下命令：

./bin/start-local.sh

之后写一个flink.json文件：

{
  "example": {
    "desc": "测试",
    "strategy": "flink",
    "algorithm": [],
    "ref": [],
    "compositor": [
      {
        "name": "flink.sources",
        "params": [
          {
            "format": "socket",
            "port": "9000",
            "outputTable": "test"
          }
        ]
      },
      {
        "name": "flink.sql",
        "params": [
          {
            "sql": "select * from test",
            "outputTableName": "finalOutputTable"
          }
        ]
      },
      {
        "name": "flink.outputs",
        "params": [
          {
            "name":"jack",
            "format": "console",
            "inputTableName": "finalOutputTable"
          }
        ]
      }
    ],
    "configParams": {
    }
  }
}

目前source 只支持 kafka/socket ，Sink则只支持console和csv。准备好这个文件你就可以提交任务了：

./bin/flink run  -c streaming.core.StreamingApp \ /Users/allwefantasy/streamingpro/streamingpro.flink-0.4.14-SNAPSHOT-online-1.2.0.jar 
-streaming.name god \
-streaming.platform flink_streaming \
-streaming.job.file.path file:///Users/allwefantasy/streamingpro/flink.json

然后皆可以了。

你也可以到localhost:8081 页面上提交你的任务。