南北雪树的专栏

一、Kafka初识         在我们大量使用分布式数据库、分布式计算集群的时候，是否会遇刡返样的一些问题：我想分析一下用户行为（pageviews），以便我能设计出更好的广告位我想对用户的搜索关键词迕行统计，分析出弼前的流行赺势。返个徆有意怃，在经济学上有个长裙理        论，就是说，如果长裙的销量高了，说明经济丌景气了，因为姑娘们没钱买各种丝袜了。有些

（1）kafka和flume都是日志系统。kafka是分布式消息中间件，自带存储，提供push和pull存取数据功能。flume分为agent（数据采集器）,collector（数据简单处理和写入）,storage（存储器）三部分，每一部分都是可以定制的。比如agent采用RPC（Thrift-RPC）、text（文件）等，storage指定用hdfs做。（2）kafka做日志缓存应该是更

4-5、Kafka原理：消费者作为Apache Kafka消息队列，它的性能指标相当一部分取决于消费者们的性能——只要消息能被快速消费掉不在Broker端形成拥堵，整个Apache Kafka就不会出现性能瓶颈问题。4-5-1、基本使用我们首先使用Kafka Client For JAVA API为各位读者演示一下最简单的Kafka消费者端的使用。以下示例代码可以和上文中所

4-3、复制功能我们在上文中已经讨论了Kafka使用分区的概念存储消息，一个topic可以有多个分区它们分布在整个Kafka集群的多个Broker服务节点中，并且一条消息只会按照消息生产者的要求进入topic的某一个分区。那么问题来了：如果某个分区中的消息在被消费端Pull之前，承载该分区的Broker服务节点就因为各种异常原因崩溃了，那么在这个Broker重新启动前，消费者就无法收到消息

在本月初的写作计划中，我本来只打算粗略介绍一下Kafka（同样是因为进度原因）。但是，最近有很多朋友要求我详细讲讲Kafka的设计和使用，另外两年前我在研究Kafka准备将其应用到生产环境时，由于没有仔细理解Kafka的设计结构所导致的问题最后也还没有进行交代。所以我决定即使耽误一些时间，也要将Kafka的原理和使用场景给读者详细讨论讨论。这样，也算是对两年来自己学习和使用Kafka的一个总结。

问题导读：1.zookeeper在kafka的作用是什么？2.kafka中几乎不允许对消息进行“随机读写”的原因是什么？3.kafka集群consumer和producer状态信息是如何保存的？4.partitions设计的目的的根本原因是什么？一、入门    1、简介   Kafka is a distributed,partitioned,replicate

1.Kafka独特设计在什么地方？2.Kafka如何搭建及创建topic、发送消息、消费消息？3.如何书写Kafka程序？4.数据传输的事务定义有哪三种？5.Kafka判断一个节点是否活着有哪两个条件？6.producer是否直接将数据发送到broker的leader(主节点)？7.Kafa consumer是否可以消费指定分区消息？8.Kafka消息是采用Pull模式

本编文章将介绍如何搭建 kafka 环境，我们会仍单机版开始，然后逐渐彽分布式扩展。

Kafka集群搭建

kafka之分布式环境搭建

1、Kafka概览1.1、卡夫卡组件，角色简介1.2、分区副本机制1.3、创建副本的2种模式——同步复制和异步复制1.4、判断一个broker节点是否存活1.5、卡夫卡高性能详解1.6、数据可靠性保证1、Kafka概览Apache下的项目Kafka(卡夫卡)是一个分布式流处理平台，它的流行是因为卡夫卡系统的设计和操作简单，能充分利用磁盘的顺序读写特性。kafka每秒...