kafka
关注
分享
扫一扫
文章平均质量分 97
迷路剑客
弱小和无知不是生存的障碍，傲慢才是。
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Kafka-Consumer指定消费者offset及消费条数
Kafka-Consumer指定消费者offset及消费条数摘要依赖引入代码实现更多好文摘要本文会给出一个KafkaConsumer指定消费者offset及消费条数的java demo，基于Kafka 1.1.1。依赖引入<dependency> <groupId>org.apache.kafka</groupId> <artifactId&g...原创 2019-12-11 10:08:24 · 7363 阅读 · 0 评论 -
Kafka-常见问题
Kafka-0.8.2.1常见问题Consumer报错问题描述：WARN [console-consumer-23149_hadoop2-1476872289945-6edaec5e-leader-finder-thread], Failed to add leader for partitions [filelog_v3_json_test_1019,13],....; will ...原创 2018-09-28 15:57:03 · 7665 阅读 · 3 评论 -
Kafka学习
Kafka学习0x01 摘要本文是一篇Kafka学习的综述。0x02 Kafka是什么2.1 基本概念2.2 可用性和持久性保证Kafka生产者中有一个很重要的配置项：request.required.acks不同的值决定生产者发送消息后不同的等待行为，这就影响着写入kafka的数据可靠性和持久性保证，具体来说如下：request.required.acks含义使用场...原创 2018-11-07 17:03:55 · 2569 阅读 · 2 评论 -
Kafka-topicCountMap
Kafka-topicCountMap本文转自聊聊kafka0.8的topic的partition以及topicCountMaptopicCountMap告诉Kafka我们在Consumer中将用多少个线程来消费该topic。topicCountMap的key是topic name，value针对该topic是线程的数量。假设有个topic，有6个partiton，然后启动了两个consu...转载 2018-11-19 22:32:09 · 716 阅读 · 2 评论 -
Kafka-0.8.2.x Consumer API
Kafka-0.8.2.x Consumer API摘要本文主要说下此版本消费者API重要的一些代码含义。0x01 完整例子1.1 Consumer消费代码class ConsumerTest implements Runnable { private KafkaStream m_stream; private int m_threadNumber; publ...原创 2018-12-11 15:34:45 · 1087 阅读 · 0 评论 -
Kafka水位(HW)与leader epoch的讨论
Kafka水位(HW)与leader epoch的讨论转载声明：本文系转载自以下两篇文章：Kafka水位(high watermark)与leader epoch的讨论作者： huxihx转载仅为方便学习查看，一切权利属于原作者，本人只是做了整理和排版，如果带来不便请联系我删除。摘要本文主要讨论0.11版本之前Kafka的副本备份机制的设计问题以及0.11是如何解决的。简单来说...转载 2018-12-11 18:46:32 · 2888 阅读 · 3 评论