Linux安装Kafka

1.Kafka简介

1.1Kafka介绍

Kafka也是开源与Apache开源基金会的项目，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统。
Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。 这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。 对于像Hadoop的一样的日志数据和离线分析系统，但又要求实时处理的限制，这是一个可行的解决方案。Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理，也是为了通过集群来提供实时的消息。

Kafka官网地址为：http://kafka.apache.org/，感兴趣的可以多多查看官网文档。

1.2.准备工作

安装环境
本文所安装的Kafka为2.10版本，Linux系统版本为CentOS 7.2，使用Zookeeper是Kafka自带的，安装目录为/usr/soft/kafka/。

准备工具
1.Java
Kafka是依赖Java环境运行，所以需要在Linux系统内安装Java环境。

2.安装Kafka

2.1步骤大致分为如下几步：

## 下载Kafka
wget http://labfile.oss.aliyuncs.com/courses/859/kafka_2.10-0.10.2.1.tgz
tar -zxvf kafka_2.10-0.10.2.1.tgz 
cd /usr/soft/kafka/kafka_2.10-0.10.2.1/config

2.2 修改配置文件server.properties，添加下面内容：

broker.id=0
listeners=PLAINTEXT://localhost:9092
port=9092 #端口号
#服务器IP地址，修改为自己的服务器IP
host.name=47.74.214.10
#日志存放路径，上面创建的目录
log.dirs=/usr/local/logs/kafka 
#zookeeper地址和端口，单机配置部署，localhost:2181
zookeeper.connect=localhost:2181 

2.3 编写启动脚本 和 关闭脚本

启动脚本

#启动zookeeper  进入bin目录
#./zookeeper-server-start.sh /usr/local/software/kafka_2.10-0.10.2.1/config/zookeeper.properties &
#等3秒后执行
sleep 3 
#启动kafka
./kafka-server-start.sh /usr/soft/kafka/kafka_2.10-0.10.2.1/config/server.properties &

关闭脚本

#关闭zookeeper   进入bin目录
#./zookeeper-server-stop.sh /usr/local/software/kafka_2.10-0.10.2.1/config/zookeeper.properties &
#等3秒后执行
sleep 3 
#关闭kafka
./kafka-server-stop.sh /usr/soft/kafka/kafka_2.10-0.10.2.1/config/server.properties &

赋予权限
chmod 777 kafkastart.sh
chmod 777 kafkastop.sh