码农无双的博客

在应用中需要将实体类分别发送到kafka和插入mongodb中。 重写了实体类的toString方法： private static final Gson gson = new Gson(); @Override public String toString() { return gson.toJson(this); }发送kafka的时候...

笔者之前启动kafka connect进程后，发现过一段时间，日志太大。启动kafka connect的命令如下：cd /home/tidb/confluent-4.1.1./bin/connect-distributed -daemon ./etc/schema-registry/connect-avro-distributed.properties 但是会在如下目录生成一个con...

       原文链接：https://www.confluent.io/blog/exactly-once-semantics-are-possible-heres-how-apache-kafka-does-it/ &amp

       原文链接：https://docs.spring.io/spring-kafka/reference/htmlsingle/#transactions事务Transactions    &

集群信息kafka集群有三台broker，id分别为：0，1，2查看topic的replication-factor信息：[root@ali-37 bin]# ./kafka-topics.sh --zookeeper localhost:2182 --describe --topic connect-configsTopic:connect-configs Partitio...

       由于公司业务需要，需要把MySQL中的binlog信息发送到kafka上，给相关应用去消费，对数据变化作出响应。        笔者

{ "name":"dev_hdfs-sink", "config":{ "connector.class":"io.confluent.connect.hdfs.HdfsSinkConnector&amp

原文参考官网：https://debezium.io/docs/connectors/mysql/#collapse4       本文将深入Debezium的MySQL连接器（一种kafka connector）的工作细节，包括跟踪表结构（structure of t

运行在Kafka Connect 分布式worker上的debezium for mysql connector报错：{"name":"debezium-mysql-source-dev","connector":{"state":"RUNNING","worker_id":&q

笔者用confluent的schema-registry来实现Avro格式kafka消息的发送和接收。 但是当发送的消息中的字段(导致了schema变化了)增加了的时候报错了：Caused by: org.apache.kafka.common.errors.SerializationException: Error registering Avro schema: {"type":"rec...

Kafka Connect 是distributed模式，分别运行在192.168.1.204和192.168.1.100和192.168.1.200这三台机器上，开放了18083端口（因为默认的8083端口被占用了）用于向kafka connect的worker进程提交connector。在用confluent hdfs sink connector把kafka中的数据导入到hdfs并导入到...

Debezium mysql 连接器属性原文链接：http://debezium.io/docs/connectors/mysql/#connector-properties 属性 默认值 属性含义 name 连接器的名字，不能和其他连接器的名字重复，如果用已经存在的连接器名字去注册会失败。这个属性也是所有Kafka Connect连接器都需要的属性...

1.什么是Debezium       Debezium是一个开源项目，为捕获数据更改(change data capture,CDC)提供了一个低延迟的流式