kafka connect

kafka connect是kafka和外部存储系统交互的工具

bootstrap.servers
key.converter：JSON and Avro.
value.converter：JSON and Avro.
一、standalone模式
1、在config/connect-standalone.properties中配置
plugin.path=libs/connect-file-3.6.1.jar
2、在test.txt文件中写入一些数据
3、启动两个连接器，传入三个参数
bin/connect-standalone.sh config/connect-standalone.properties config/connect-file-source.properties config/connect-file-sink.properties
一个连接器是源连接器，读取输入文件发送到kafka，另一个是接收连接器，读取kafka的消息发送到文件test.sink.txt中
connect-standalone.properties:配置kafka参数

offset.storage.file.filename - standalone中独有的配置
二、分布式：最好在使用connect之前创建好topic，包含分区，offset等
bin/connect-distributed.sh config/connect-distributed.properties
group.id：不能与消费者组的相同
config.storage.topic:用于存储连接器和任务配置的主题,配置成删除
offset.storage.topic:用于存储偏移量的主题，配置成压缩
status.storage.topic：用于存储状态的主题

通用配置：
name：connector的名称，唯一
connector.class：连接器的java 类
tasks.max：最大任务数

Sink connectors的配置
topics
topics.regex

配置rest api
listeners=http://localhost:8080,https://localhost:8443

使用HTTPS时，配置必须包括SSL配置