
kafka
文章平均质量分 63
kafka部署及配置记录
yunson_Liu
在工作中学习,在学习中工作;活到老学到老,学到老活到老;我一直在学习的路上活着,我也一直活在学习的路上;你呢??希望所有的爱好学习的朋友和不爱好学习但又想学习的朋友,我们一同进步吧!期待。。。巅峰之巅
展开
-
查看kafka消息消费堆积情况
比如在ISR(In-Sync-Replicas)副本数等于3的情况下(如下图所示),消息发送到Leader A之后会更新LEO的值,Follower B和Follower C也会实时拉取Leader A中的消息来更新自己,HW就表示A、B、C三者同时达到的日志位移,也就是A、B、C三者中LEO最小的那个值。消息堆积是消费滞后(Lag)的一种表现形式,消息中间件服务端中所留存的消息与消费掉的消息之间的差值即为消息堆积量,也称之为消费滞后(Lag)量。原创 2024-03-06 20:10:15 · 3837 阅读 · 0 评论 -
docker-compose部署kafka
kafka-topics.sh --create --zookeeper 127.0.0.1:2181 --replication-factor 1 --partitions 1 --topic small 创建topic=small。docker exec -it small-kafka /bin/bash 打开客户端。给服务器开通9000端口,即可通过浏览器访问kafka 管理界面。原创 2023-02-26 00:47:44 · 992 阅读 · 0 评论 -
记一次kafka报错解决方法
报错问题kafka[14106]: [2020-04-20 10:24:03,705] ERROR Fatal error during KafkaServer startup. Prepare to shutdown (kafka.server.KafkaServer)kafka[14106]: kafka.common.InconsistentClusterIdException: T...原创 2020-04-20 10:34:49 · 4551 阅读 · 2 评论 -
ELK日志管理系统优化之filebeat+kafka+zookeeper集群
Note:安装包下载urlfilebeat下载网址:https://artifacts.elastic.co/downloads/kibana/kibana-7.5.1-linux-x86_64.tar.gzkafka下载网址:https://mirrors.cnnic.cn/apache/kafka/2.4.1/kafka_2.13-2.4.1.tgzzookeeper下载网址:ht...原创 2020-03-26 11:15:18 · 595 阅读 · 0 评论