Just Do IT

Kafka之所以快的原因有三个：顺序读写、页缓存、零拷贝。

每个分区有且仅有一个leader，负责消息的读写，当leader挂掉后，由zookeeper从ISR列表中选举新的leader。消费者组，每个消费者属于一个消费者组，每条消息只能被同一消费者组中的一个消费者消费。主题，Kafka可以有多个主题，并支持多个生产者和消费者订阅同一主题。分区，主题中存放多个分区，分区内消息有序，每个分区可以有多个副本。负责管理集群，如：增加、删除topic，监听broker等。生产者，将消息发布到Kafka集群的终端或客户端。消费者，从Kafka分区中取用消息的终端或服务。

Kafka最早由Linkedin公司开发，是一个分布式、分区的、多副本的、多订阅者的，基于zookeeper的消息系统，可以用于消费web日志，消息服务等。Kafka可以有多个主题（topic），且每个主题包含多个分区（partition），分区分布在不同的主机（broker）中。Kafka收发消息非常迅速，Kafka每秒可以处理几十万条消息，最低延迟只有几毫秒。Kafka采用发布-订阅模式，即：生产者往队列写消息，消费者从队列取消息。Kafka允许数据持久化到磁盘中，并支持数据备份以防止丢失。

生产者代码中主要通过KafkaProducer类生成生产者对象，传入Properties配置的参数。通过KafkaConsumer类创建消费者对象，可以设置自动或者手动提交offset。注意send方法可以同步也可以异步，异步时需要实现Callback接口。

本文将会简单介绍Kafka如何整合Flume，从而实现"日志 -> Flume -> Kafka"操作环境：Kafka版本：1.0.1Flume版本：1.6.0测试前需满足以下条件:已安装Kafka和FlumeKafka已启动1. 配置Flume的conf文件vi /home/hadoop/flume-kafka.conf#2. 创建Flume的监控目录...

1. 创建topic[hadoop@node03 bin]$ kafka-topics.sh --create --partitions 3 --replication-factor 2 --topic test --zookeeper node01:2181,node02:2181,node03:2181Created topic "test".参数说明：partitions： 指定...

前期环境准备准备好相应的服务器本文中服务器共三台: node01,node02,node03服务器已安装zookeeper集群Kafka安装步骤下载安装包下载地址: http://kafka.apache.org/downloads上传安装包到node01的指定目录请选择合适的工具上传,过程略.解压到指定目录tar -zxvf kafka_2....