ETLCloud结合kafka的数据集成

一、ETLCloud中实时数据集成的使用

在ETLCloud中数据集成有两种方式，一种是离线数据集成，另一种便是我们今天所要介绍的实时数据集成了，两者的区别从名字便可以得知，前者处理的数据是离线的没有时效性的，后者的数据是有时效性的，所以要根据自己需要的场景来使用这两个模块。

实时数据集成常见的场景有，CDC监听，Kafka监听，MQ监听（商业版），今天我们结合一些常用的场景来演示一下Kafka监听的使用。

二、场景演示

在实时数据集成中有一个重要的对象便是监听器，顾名思义是用来监听数据的变动的，一旦数据有变动那么监听器就能监听到并对数据进行原先设置好的方式去处理。

1、创建监听器

点击实时数据集成模块，进入模块首页，选择Kafka监听器，点击新增监听器

2、监听器的配置，Kafka的数据源我们需要在数据源管理中去新建

数据源选择Kafka然后新建数据源填写服务相关信息即可。

监听器配置图如下：

选择我们刚刚创建好的Kafka数据源，点击载入主题列表按钮