
kafka
z2012c
这个作者很懒,什么都没留下…
展开
-
kafka windows环境的搭建之路
简介:kafka是一个分布式的、可分区的、可复制的消息系统,它常常用于处理日志信息,是Apache下的一个开源项目(觉得Apache简直太牛逼了。。) (一)基本的消息术语: Kafka将消息以topic为单位进行归纳。 将向Kafka topic发布消息的程序成为producers. 将预订topics并消费消息的程序成为consumer. Kafka以集...2015-08-29 19:08:33 · 297 阅读 · 0 评论 -
kafka入门示例(Java)
上篇说到kafka在window环境下的搭建之后,这篇我们就开始尝试写一个简单的producer和consumer来测试了依次启动bin/windows下的zookeeper-start.bat和kafak-start.bat(这2个.bat是我自己为了方便启动而写的)。下面就开始测试了:kafak jar包版本:kafak_2.9.2-0.8.1.jar Produce端:i...2015-08-29 19:12:31 · 537 阅读 · 0 评论 -
【疑难杂症】记录 kafka.common.ConsumerRebalanceFailedException:异常
最近用到kafka,使用过程中发送和接收数据却出现了诸多异常。有一个异常很诡异,如下: Exception in thread "main" kafka.common.ConsumerRebalanceFailedException:groupB_ip-10-38-19-230-1414174925481-97fa3f2a can't rebalance after 4retr...2015-09-02 14:08:39 · 425 阅读 · 0 评论 -
【原创】探讨kafka的分区数与多线程消费
若要转载,请标明出处,谢谢!http://raising.iteye.com/blog/2252456=========================================================首先,容我吐一口老血。。。。。。kafka算是很麻烦的一件事儿,起因是最近需要采集大量的数据,原先是只用了典型的high-level Consumer的API,最经...2015-10-27 14:52:25 · 2132 阅读 · 0 评论