kafka批量写mysql_《StreamSets实现Kafka数据实时写入Mysql》

上一篇按照官网介绍实现了Mysql  -> Mysql的数据同步。但订阅数据库过于死板，当源表数据结构发生变化时管道就要从新写，不够灵活。这一篇咱们来看下数据经过kafka同步到mysql是如何配置的。html

kafka origin的安装就不介绍了，直接在Package Manager里点击安装就能够了。咱们重点看下实现。java

啰嗦一句吧。kafka origin目前支持Avro、Binary、Datagram、Delimited、JSON、Log、Protobuf、SDC Record、Text、XML这几种数据格式。咱们使用最经常使用的JSON格式。mysql

好，开干！sql

1. 新建管道数据库

2. 选取KafkaConsumer Origin数据结构

3. 配置kafkaide

3.1 kafka测试

都能看懂，我就不说了。ui

3.2 Data Format编码

选择JSON