
kafka
文章平均质量分 80
sunny05296
这个作者很懒,什么都没留下…
展开
-
Kafka高低版本的心跳(heartbeats)和会话(session)超时机制
Kafka高低版本的心跳(heartbeats)和会话(session)超时机制Kafka 0.10.0.0 & Kafka 0.10.1.00.10.0.0 的心跳和超时机制:心跳(heartbeats)与轮询(poll)是耦合在一起的,只提供了 session.timeout.ms 参数,没有独立的的控制 poll 轮询的参数。假设消费者处理消息需要1分钟,则需要将 session.timeout.ms 设置大于1分钟才行,否则消费者会超时。session.timeout.ms原创 2020-06-16 20:36:04 · 5297 阅读 · 0 评论 -
Kafka常见错误
Kafka常见错误:1)Malformed line in offset checkpoint filecat logs/server.log.2020-03-27-12[2020-03-27 12:59:50,150] ERROR [KafkaApi-100] Error when handling request {controller_id=100,controller_epoc...原创 2020-03-27 18:23:22 · 3212 阅读 · 1 评论 -
kafka client 源码编译
kafka client源码编译1.下载源码,源码里面自带了一个gradlew的编译脚本:下载地址:http://kafka.apache.org/downloads.html下载自己需要的版本,我这里下载0.10.0.0版本为例Source download: kafka-0.10.0.0-src.tgz (asc, md5)2.解压kafka-0.10.0.0-src.tgz...原创 2018-01-16 12:33:01 · 3264 阅读 · 0 评论 -
KAFKA-1304 unregistered mbean exception in new producer
KAFKA-1304 unregistered mbean exception in new producer多线程环境下 KafkaProducer.close() 可能导致竞争错误kafka producer close异常:Error unregistering AppInfo mbeanERROR Error when closing producer (kaf原创 2018-01-16 12:39:05 · 1854 阅读 · 0 评论 -
kafka常用命令
kafka常用命令查看topic列表bin/kafka-topics.sh --zookeeper kafkanode1:2181 --list查看指定topic信息bin/kafka-topics.sh --zookeeper kafkanode1:2181 --describe --topic test-20180830-1732命令行终端向topic生产数据bin/kafk...原创 2018-08-30 20:49:33 · 3306 阅读 · 1 评论 -
编译kafka时执行报错:找不到或无法加载主类 org.gradle.wrapper.GradleWrapperMain
编译kafka时执行报错:找不到或无法加载主类 org.gradle.wrapper.GradleWrapperMain编译kafka执行 gradlew releaseTarGz 报错:错误: 找不到或无法加载主类 org.gradle.wrapper.GradleWrapperMain原因:和build.gradle同级目录下的gradle\wrapper目录不存在。需要下载,该目...原创 2019-03-14 11:55:39 · 2043 阅读 · 0 评论 -
Kafka服务器配置的offsets.retention.minutes & log.retention.minutes默认参数配置导致offset失效的问题
关于kafka 0.10.0.0 的默认参数 offsets.retention.minutes &log.retention.minutes 的默认值问题。默认参数前者是7天,后者是24小时。会导致数据虽然保存但offset失效导致客户端数据重复消费的问题。0.10.0.0官方的参数说明:http://kafka.apache.org/0100/documentation.ht...原创 2019-07-23 20:28:58 · 2767 阅读 · 0 评论