Kafka
关注
分享
扫一扫
cjf_wei
这个作者很懒，什么都没留下…
展开
-
Kafka基本概念及环境搭建
Kafka是一种分布式的，基于发布/订阅的消息系统。支持高吞吐量的数据实时存储，结合合适的消费者模式（实时计算/离线计算），同时支持消息的实时/离线处理。本文仅是简单的介绍基本概念，以及动手搭建简单的kafka练习环境。原创 2017-02-10 22:11:47 · 1054 阅读 · 0 评论 -
librdkafka问题小记
librdkafka问题小纪本文介绍在使用kafka的C++客户端librdkafka时遇到的一些问题及解决方法。1.生产者消息尺寸太大；2.生产者没有定期回调poll()方法原创 2017-04-02 11:04:54 · 9371 阅读 · 1 评论 -
Kafka集群生产/消费的负载均衡(Rebalance)测试
基于Kafka客户端的高级API，配合zookeeper的使用，可以有效的实现Kafka集群的Rebalance，提高生产环境下的健壮性。本文使用librdkafka(https://github.com/edenhill/librdkafka) 提供的高级API来实现生产/消费，作为测试的基础。原创 2017-02-25 20:42:53 · 22389 阅读 · 1 评论 -
KafkaConsumer-kafka消费者的Java客户端
本文介绍KafkaConsumer，一个从kafka集群消费记录的java客户端。该客户端是非线程安全的，关于多线程的使用，参见文章的“Multi-threaded Processing”部分。原创 2017-09-24 10:15:21 · 15950 阅读 · 0 评论 -
KafkaProducer-kafka生产者Java客户端
KafkaProducer(org.apache.kafka.clients.producer.KafkaProducer)是一个用于向kafka集群发送数据的Java客户端。该Java客户端是线程安全的，多个线程可以共享同一个producer实例，而且这通常比在多个线程中每个线程创建一个实例速度要快些。原创 2017-09-10 10:12:05 · 37065 阅读 · 0 评论