Kafka（二）Kafka Connector与Debezium

Kafka Connector与Debezium

1.介绍

kafka connector 是连接kafka集群和其他数据库、集群等系统的连接器。kafka connector可以进行多种系统类型与kafka的连接，主要的任务包括从kafka读（sink），向kafka写（Source），所以连接器也可以分为两种：Source Connector、Sink Connector。

而kafka本身自带的Connector只有三个：file connector、Sqlite connector、hdfs connector. 像连接类似于Mysql、Mongodb等数据库需要有对应的第三方库以Plugins的形式注册到kafka connector 上。在这里，我使用了debezium 来提供mysql connector 和mongodb connector的jar包。

2.Quickstart

在发起一个连接的过程中我们，不仅需要指明connector的配置属性，同样也需要指明kafka的schema属性，以表明以何种方式去存贮或者读取数据记录。

命令格式：

path/to/kafka/bin/[connector-standalone/connector-distributed] [schema-properties] [connector-properties]

举个例子：

./bin/connect-standalone ./etc/schema-registry/connect-avro-standalone.properties \
      ./etc/kafka/connect-file-source.