
【监控】
_laomei_
Debezium Contributor;
Schema Registry Contributor;
flink大数据、微服务体系开发;
展开
-
Grafana + mysql数据源
1.首先去官网下载grafana 传送官网 2.解压后进入conf目录,修改default.ini(虽然官网不推荐直接修改这个文件),要使用mysql作为数据源,需要修改的内容:[database]# You can configure the database connection by specifying type, host, name, user and password# as原创 2017-10-18 21:18:53 · 20915 阅读 · 2 评论 -
单台kafka,启动kafka connect必须配置副本数为1
在自己电脑上跑了单台kafka, 之后尝试启动kafka connect,会启动失败, 因为启动的时候会创建config.storage.topic, offset.storage.topic, status.storage.topic相应的Topic; 默认创建这3个Topic时, 副本个数都为3, 但是我们只有一台kafka, 所以创建几个配置Topic失败; 也就导致启动失败;还有一种情原创 2018-01-21 16:29:44 · 2138 阅读 · 0 评论 -
利用jmx_exporter获取kafka metrics数据
1.下载kafka,链接 https://kafka.apache.org/downloads; 2.配置kafka的JMX PORT,修改bin/kafka-server-start.sh,添加一行export JMX_PORT="9999",我这里用了9999端口。 3.下载jmx_exporter,链接 https://github.com/prometheus/jmx_exporter...原创 2018-01-17 21:22:57 · 10547 阅读 · 7 评论 -
基于kafka interceptor监控kafka client消息延迟、数量
kafka interceptor能够拦截,所有kafka client接收或发送的消息, 基于这一点,我们可以在消息被拦截到时,进行消息统计以及相应的延时计算;需要明白一个点kafka在0.10.0版本, 开始支持每个record带一个timestamp. KafkaProducer发送的record所带有的ts比较特别, 你可以在创建ProducerRecord时,设置该recor原创 2018-02-05 12:26:19 · 2098 阅读 · 0 评论