
kafka
农村外出务工男
不创出另一片天地,不删此状态
展开
-
Kafka多线程生产消费
一、kafka生产者 kafka目前在0.9版本后采用java版本实现,生产者KafkaProducer是线程安全对象,所以我们建议KafkaProducer采用单例模式,多个线程共享一个实例 package com.kafka.singleton;import java.io.IOException;import java.io.InputStream;import j...原创 2018-03-20 10:00:35 · 7566 阅读 · 6 评论 -
Kafka生产端源码分析之RecordAccmulator
一、RecordAccmulator分析 注意,当前使用的kafka版本是0.10.1.0。 在kafkaProducer发送消息的时候,其实它并不是直接和kafka server进行通信,而是将消息暂存在一个缓冲区里面,主线程通过send方法发送后就可以立即返回而无需阻塞,业务线程不断通过KafkaProducer.send方法将消息发送到RecordAcccmulat...原创 2018-04-09 14:43:36 · 1467 阅读 · 1 评论 -
kafka提交异常org.apache.kafka.clients.consumer.CommitFailedException
一、背景 kafka使用版本为0.10.1.0,今天在测试kafkaConsumer的时候,代码如下public static void main(String[] args) { Properties props = new Properties(); props.put("bootstrap.servers", "192.168.80.132:909...原创 2018-06-03 14:08:55 · 21710 阅读 · 0 评论 -
深入分析KafkaProducer消息发送流程
一、Kafka生产者发送消息示例 注意:以下所用kafka版本为0.10.1.0 KafkaProducer是线程安全对象,建议可以将其封装成多线程共享一个实例,效率反而比多实例更高,在深入分析前,先简单看一个生产者生产消息的demo package com.tanjie.kafka;import java.util.List;import java.util.P...原创 2018-04-06 13:20:09 · 17780 阅读 · 3 评论