linyu123的专栏

对于kafka的consumer接口，提供两种版本， high-level 一种high-level版本，比较简单不用关心offset, 会自动的读zookeeper中该Consumer group的last offset 参考， https://cwiki.apache.org/confluence/display/KAFKA/Consumer+Group+Example ...

前言: Kafka是一个轻量级的/分布式的/具备replication能力的日志采集组件,通常被集成到应用系统中,收集"用户行为日志"等,并可以使用各种消费终端(consumer)将消息转存到HDFS等其他结构化数据存储系统中.因为日志消息通常为文本数据,尺寸较小,且对实时性以及数据可靠性要求不严格,但是需要日志存储端具备较高的数据吞吐能力,这种"宽松"的设计要求,非常适合使用kafka。 一...

介绍      http://kafka.apache.org     kafka是一种高吞吐量的分布式发布订阅消息系统     kafka是linkedin用于日志处理的分布式消息队列，linkedin的日志数据容量大，但对可靠性要求不高，其日志数据主要包括用户行为（登录、浏览、点击、分享、喜欢）以及系统运行日志（CPU、内存、磁盘、网络、系统及进程状态）     当前很多的消息队列服务提供...

原文地址：http://www.aboutyun.com/thread-9938-1-1.html 问题导读1.Kafka提供了Producer类作为java producer的api,此类有几种发送方式？2.总结调用producer.send方法包含哪些流程？3.Producer难以理解的在什么地方？ producer的发送方式剖析Kafka提供了Producer类作为java produ...

标签： KafkaSpout的核心逻辑都是由PartitionManager来实现的。 但是这个类实现时候需要考虑的东西有些多，0.92至0.93，至当前(2015.3.14)的master一直在变化。在这里，先分析一下最近的发布版0.93里的逻辑。也提出一些问题，希望以后Apache Storm会把这个类实现地更完美一些。 PartitionManager的主要功能 Partitio...