码农无双的博客

如下图所示，scala的源文件显示的反编译级别不对，attach source文件也没有用。查看了idea的scala插件，发现插件不兼容，于是从idea官网下载了一个2018.1.6的插件，官网地址：https://plugins.jetbrains.com/plugin/1347-scala安装后，重启idea，就可以看到源码了：...

在docker中运行spark程序，发现docker日志打印如下内容：[Timer-0] o.a.spark.scheduler.TaskSchedulerImpl : Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and ha...

笔者之前启动kafka connect进程后，发现过一段时间，日志太大。启动kafka connect的命令如下：cd /home/tidb/confluent-4.1.1./bin/connect-distributed -daemon ./etc/schema-registry/connect-avro-distributed.properties 但是会在如下目录生成一个con...

       原文链接：https://www.confluent.io/blog/exactly-once-semantics-are-possible-heres-how-apache-kafka-does-it/ &amp

集群信息kafka集群有三台broker，id分别为：0，1，2查看topic的replication-factor信息：[root@ali-37 bin]# ./kafka-topics.sh --zookeeper localhost:2182 --describe --topic connect-configsTopic:connect-configs Partitio...

原文参考官网：https://debezium.io/docs/connectors/mysql/#collapse4       本文将深入Debezium的MySQL连接器（一种kafka connector）的工作细节，包括跟踪表结构（structure of t

       由于公司业务需要，需要把MySQL中的binlog信息发送到kafka上，给相关应用去消费，对数据变化作出响应。        笔者

{ "name":"dev_hdfs-sink", "config":{ "connector.class":"io.confluent.connect.hdfs.HdfsSinkConnector&amp

运行在Kafka Connect 分布式worker上的debezium for mysql connector报错：{"name":"debezium-mysql-source-dev","connector":{"state":"RUNNING","worker_id":&q

Kafka Connect 是distributed模式，分别运行在192.168.1.204和192.168.1.100和192.168.1.200这三台机器上，开放了18083端口（因为默认的8083端口被占用了）用于向kafka connect的worker进程提交connector。在用confluent hdfs sink connector把kafka中的数据导入到hdfs并导入到...