
Kafka
Fan_-_
菜的不行
展开
-
Kafka版本升级
Kafka版本升级本文档介绍kafka_2.11_2.1.1升级到2.12-2.4.1的具体操作方法. 其他版本大同小异, 详见1.5 Upgrading From Previous Versions升级前检查项1.确认是否有副本因子是1的Topicbin/kafka-topics.sh --zookeeper localhost:2182 --describe|grep "Replica...原创 2020-04-15 23:35:34 · 2038 阅读 · 0 评论 -
Kafka SASL/SCRAM+ACL实现动态创建用户及权限控制
文章目录SASL_SCRAM+ACL实现动态创建用户及权限控制使用SASL / SCRAM进行身份验证1. 创建SCRAM Credentials创建broker建通信用户(或称超级用户)创建客户端用户fanboshi查看SCRAM证书删除SCRAM证书2. 配置Kafka Brokers客户端配置kafka-console-producerkafka-console-consumerACL配置授...原创 2019-01-26 21:50:11 · 9903 阅读 · 6 评论 -
假如Kafka集群中一个broker宕机无法恢复, 应该如何处理?
假如Kafka集群中一个broker宕机无法恢复, 应该如何处理?坐地铁时想到这个问题, 印象中书中说添加新的broker, 是不会自动同步旧数据的.笨办法环境介绍三个broker的集群, zk,kafka装在一起| broker | IP | broker.id ||---------|---------------|-----------|| broker1 | 172.18.1...原创 2019-02-22 13:38:00 · 8784 阅读 · 15 评论 -
使confluent_kafka支持SASL_PLAINTEXT
文章目录安装confluent-kafka安装librdkafka替换库文件验证同事之前一直使用kafka-python开发. 上了ACL以后发现kafka-python居然不支持SASL_PLAINTEXThttps://kafka-python.readthedocs.io/en/master/apidoc/KafkaProducer.htmlsasl_mechanism (str) ...原创 2019-03-08 18:54:51 · 4024 阅读 · 1 评论 -
MySQL Error log监控
MySQL Error log监控告警日志监控其实比较简单了, 怎么做都行. 目前我们这里是使用下面的方法FileBeat采集日志 -> Kafka -> 自己写脚本消费出来 -> 企业微信机器人告警[外链图片转存失败(img-HYnGH6Bz-1563676664427)(https://raw.githubusercontent.com/Fanduzi/Fandb.gi...原创 2019-07-21 10:38:19 · 494 阅读 · 0 评论