Kafka集群分布式搭建 | 生产与消费者测试

1.Kafka简介

Kafka是一个分布式、分区的、多副本的、多订阅者的，基于zookeeper协调的分布式日志系统，主要应用场景是：日志收集系统和消息系统。在大数据的场景中常用于数据的缓冲与流转收集。

在没有使用消息系统之前，许多传统的系统业务对于消息的处理一般会采用串行方式或者并行方法；

例如，你去网站注册一个账号，下面是串行跟并行的处理方式。

串行方式：

用户注册例子：用户主责，将注册信息记录到数据库后，发送注册消息邮件，再发送注册短信验证，每个过程小号50毫秒，一共就需要150毫秒

并行方式：

与串行不同的就是，在数据库记录完注册信息之后，发送消息跟发送邮件的动作同步完成，缩短了用户的等待时间：

消息系统：

消息系统负责将数据从一个应用程序传送到另一个应用程序，因此应用程序可以专注于数据，但是不必担心 如何共享它。分布式消息系统基于可靠的消息队列的概念。消息在客户端应用程序和消息传递系统之间的异步排队。

2.kafka集群搭建详细步骤

1.解压安装包

在主节点node1进行操作。前置环境可以查看Hadoop的教程先配置好。 安装前每台机器都需要搭建好有zookeeper，详细可以查看集群搭建系列的文章这里我们采用的版本是kafka_2.11-2.4.1，解压的路径可以自己定义。

tar -zxvf k