Kafka
关注
分享
扫一扫
文章平均质量分 83
axxbc123
这个作者很懒，什么都没留下…
展开
-
【Kafka一】Kafka入门
这篇文章来自Spark集成Kafka(http://bit1129.iteye.com/blog/2174765)，这里把它单独取出来，作为Kafka的入门吧 下载Kafka http://mirror.bit.edu.cn/apache/kafka/0.8.1.1/kafka_2.10-0.8.1.1.tgz 2.10表示Scala的版本，而0.8.1.1表示Kafka的版...原创 2015-01-11 16:38:28 · 385 阅读 · 0 评论 -
【Kafka十三】Kafka Simple Consumer
代码中关于Host和Port是割裂开的，这会导致单机环境下的伪分布式Kafka集群环境下，这个例子没法运行。实际情况是需要将host和port绑定到一起， package kafka.examples.lowlevel;import kafka.api.FetchRequest;import kafka.api.FetchRequestBuilder;import k...原创 2015-04-13 13:28:22 · 299 阅读 · 0 评论 -
【Kafka十二】关于Kafka是一个Commit Log Service
Kafka is a distributed, partitioned, replicated commit log service.这里的commit log如何理解？ A message is considered "committed" when all in sync replicas for that partition have applied it to their lo...原创 2015-04-08 11:09:07 · 324 阅读 · 0 评论 -
【Kafka十一】关于Kafka的副本管理
1. 关于request.required.acks request.required.acks控制者Producer写请求的什么时候可以确认写成功，默认是0，0表示即不进行确认即返回。1表示Leader写成功即返回，此时还没有进行写数据同步到其它Follower Partition中-1表示根据指定的最少Partition确认后才返回，这个在 This value...原创 2015-04-07 18:38:55 · 396 阅读 · 0 评论 -
【Kafka十】关于Kafka的offset管理
对Kafka offset的管理，一直没有进行系统的总结，这篇文章对它进行分析。 什么是offsetoffset是consumer position，Topic的每个Partition都有各自的offset.Keeping track of what has been consumed, is, surprisingly, one of the key performance ...原创 2015-04-07 13:45:07 · 2151 阅读 · 0 评论 -
【Kafka九】Kafka High Level API vs. Low Level API
1. Kafka提供了两种Consumer APIHigh Level Consumer APILow Level Consumer API(Kafka诡异的称之为Simple Consumer API，实际上非常复杂)在选用哪种Consumer API时，首先要弄清楚这两种API的工作原理，能做什么不能做什么，能做的话怎么做的以及用的时候，有哪些可能的问题 2. Hi...原创 2015-04-02 10:16:52 · 443 阅读 · 0 评论 -
【Kafka八】Zookeeper上关于Kafka的配置信息
问题：1. Kafka的哪些信息记录在Zookeeper中2. Consumer Group消费的每个Partition的Offset信息存放在什么位置3. Topic的每个Partition存放在哪个Broker上的信息存放在哪里4. Producer跟Zookeeper究竟有没有关系？没有关系！！！ //consumers、config、brokers、contro...原创 2015-04-01 10:34:34 · 487 阅读 · 0 评论 -
【Kafka七】使用Kafka Consumer Offset Monitor 进行Kakfa监控
1. 获取Kafka Consumer Offset Monitor安装包http://pan.baidu.com/s/1kT5KeQ7 2. Kafka Consumer Offset Monitor启动脚本kafkacom.shjava -Xms128M -Xmx256M -Xss1024K -XX:PermSize=128m -XX:MaxPermSize=256m...原创 2015-04-01 10:10:51 · 645 阅读 · 0 评论 -
【Kafka六】Kafka Producer和Consumer多Broker、多Partition场景
0.Kafka服务器配置3个broker1个topic，6个partition，副本因子是22个consumer，每个consumer三个线程并发读取 1. Producerpackage kafka.examples.multibrokers.producers;import java.util.Properties;import java.util.Ra...原创 2015-03-31 19:03:59 · 501 阅读 · 0 评论 -
【Kakfa五】Kafka Producer和Consumer基本使用
0.Kafka服务器的配置一个Broker，一个TopicTopic中只有一个Partition（） 1. Producer：package kafka.examples.producers;import kafka.producer.KeyedMessage;import kafka.javaapi.producer.Producer;import...原创 2015-03-31 17:00:18 · 354 阅读 · 0 评论 -
【Kafka四】Kakfa伪分布式安装
在http://bit1129.iteye.com/blog/2174791一文中，实现了单Kafka服务器的安装，在Kafka中，每个Kafka服务器称为一个broker。本文简单介绍下，在单机环境下Kafka的伪分布式安装和测试验证 1. 安装步骤 Kafka伪分布式安装的思路跟Zookeeper的伪分布式安装思路完全一样，不过比Zookeeper稍微简单些(不需要创建my...原创 2015-02-22 11:25:20 · 213 阅读 · 0 评论 -
【Spark六十一】Spark Streaming结合Flume、Kafka进行日志分析
第一步，Flume和Kakfa对接，Flume抓取日志，写到Kafka中第二部，Spark Streaming读取Kafka中的数据，进行实时分析 本文首先使用Kakfa自带的消息处理（脚本）来获取消息，走通Flume和Kafka的对接1. Flume配置1. 下载Flume和Kafka集成的插件，下载地址：https://github.com/beyondj2ee/flu...原创 2015-02-14 13:20:18 · 378 阅读 · 0 评论 -
【Kafka二】Kafka工作原理详解
Kafka系统的角色Broker ：一台kafka服务器就是一个broker。一个集群由多个broker组成。一个broker可以容纳多个topic。一个Broker上可以有一个Topic的多个Partition，每个Partition的Lead随机存在于某一个Broker，这样实现了Topic的读写的负载均衡topic： 可以理解为一个MQ消息队列的名字Partition：...原创 2015-02-14 12:59:54 · 266 阅读 · 0 评论 -
【Kafka十四】关于auto.offset.reset[Q/A]
I got serveral questions about auto.offset.reset. This configuration parameter governs how consumer read the message from Kafka when there is no initial offset in ZooKeeper or if an offset is out of...原创 2015-04-14 13:59:42 · 349 阅读 · 0 评论