Kafka的安装和测试

首先还是要啰嗦一大堆，讲一下它主要是干嘛用的，怎么用，设计原理，等等

 

简单的说，Kafka是由Linkedin开发的一个分布式的消息队列系统(Message Queue)

目标Scope（解决什么问题）

kafka开发的主要初衷目标是构建一个用来处理海量日志，用户行为和网站运营统计等的数据处理框架。在结合了数据挖掘，行为分析，运营监控等需求的情况下，需要能够满足各种实时在线和批量离线处理应用场合对低延迟和批量吞吐性能的要求。从需求的根本上来说，高吞吐率是第一要求，其次是实时性和持久性。

组成

kafka的集群有多个Broker服务器组成，每个类型的消息被定义为topic，同一topic内部的消息按照一定的key和算法被分区(partition)存储在不同的Broker上，消息生产者producer和消费者consumer可以在多个Broker上生产/消费topic

=采取各种方式最大化数据传输效率 =

比如生产者和消费者可以批量读写消息减少RPC开销

使用Zero Copy方式在内核层直接将文件内容传送给网络Socket，避免应用层数据拷贝

使用合理的压缩格式等

 

下载

Kafka官网下载安装包 http://kafka.apache.org/downloads.html

tar -xzvf kafka_2.8.0-0.8.1.tgz