jinfeiteng2008的专栏

前言: kafka是一个轻量级的/分布式的/具备replication能力的日志采集组件,通常被集成到应用系统中,收集"用户行为日志"等,并可以使用各种消费终端(consumer)将消息转存到HDFS等其他结构化数据存储系统中.因为日志消息通常为文本数据,尺寸较小,且对实时性以及数据可靠性要求不严格,但是需要日志存储端具备较高的数据吞吐能力,这种"宽松"的设计要求,非常适合使用kafka.  一

Kafka Consumer接口 http://www.cnblogs.com/fxjwind/p/3794255.html 对于kafka的consumer接口，提供两种版本，   high-level 一种high-level版本，比较简单不用关心offset, 会自动的读zookeeper中该Consumer group的last offset 参考，https

原文地址：http://blog.youkuaiyun.com/wisgood/article/details/51815845 Spark-Streaming获取kafka数据的两种方式-Receiver与Direct的方式，可以从代码中简单理解成Receiver方式是通过zookeeper来连接kafka队列，Direct方式是直接连接到kafka的节点上获取数据了。 一、基于Receiver

转载自 http://www.klion26.com/spark-streaming-save-offset-to-zookeeper.html http://www.klion26.com/spark-streaming-saving-offset-in-zookeeper-2.html 在 Spark Streaming 中消费 Kafka 数据的时候，有两种方式分别

原文链接：http://blog.youkuaiyun.com/liuzhenfeng/article/details/50688842 Kafka Producer 工作流程 消息发送流程 Kafka Producer 发送消息的两种方式：同步发送、异步发送。 同步发送的流程图 异步发送流程图 发送流程说明（以异步发送为例）： 客户端创建Produc

转自：http://tec.5lulu.com/detail/105djn2i536s98s6a.html 引言 Kafka中的Message是以topic为基本单位组织的，不同的topic之间是相互独立的。每个topic又可以分成几个不同的partition(每个topic有几个partition是在创建topic时指定的)，每个partition存储一部分Message