ELK——ELK+filebeat+kafka部署——（3）部署kafka

部署kafka

为了防止收集的日志信息太多或者是服务器down机导致的信息丢失，我们这里引入kafka消息队列服务器，我们这里搭建单节点的kafka，生产环境中应该使用集群方式部署。部署过程参考kafka文档

部署jdk

由于zookeeper依赖java环境，所以我们需要安装jdk，官网建议最低安装jdk 1.8版本

上传软件包

[root@kafka01 ~]# ls

解压jdk

[root@kafka01 ~]# tar -zxvf jdk-8u171-linux-x64.tar.gz -C /usr/local/

配置JDK环境变量

[root@kafka01 ~]# vim /etc/profile  #在文件最后加入一下行

JAVA_HOME=/usr/local/jdk1.8.0_171 
PATH=$JAVA_HOME/bin:$PATH
CLASSPATH=$JAVA_HOME/jre/lib/ext:$JAVA_HOME/lib/tools.jar 
export PATH JAVA_HOME CLASSPATH

 [root@kafka01 ~]# source /etc/profile   #使环境变量生效

查看java环境

[root@kafka01 ~]# java -version

安装zookeeper

配置hosts

[root@kafka01 ~]# vim /etc/hosts

192.168.10.6 kafka01

解压安装装包

[root@kafka01 ~]# tar -zxf apache-zookeeper-3.5.5-bin.tar.gz -C /usr/local/

创建快照日志存放目录：

[root@kafka01 ~]# mkdir -p /data/zk/data

创建事务日志存放目录：

[root@kafka01 ~]# mkdir -p /data/zk/datalog

生成配置文件

[root@kafka01 ~]# cd /usr/local/apache-zookeeper-3.5.5-bin/conf/

[root@elk01 conf]# cp zoo_sample.cfg  zoo.cfg  #复制一份zoo_sample.cfg文件并命名为zoo.cfg

修改主配置文件zoo.cfg

[root@kafka01 ~]# vim zoo.cfg 

dataDir=/data/zk/data        #修改这一行为我们创建的目录

dataLogDir=/data/zk/datalog   #添加这一行

添加path环境变量

这里必须是修改配置文件添加path环境变量，不然启动报错

[root@kafka01 ~]# vim /etc/profile

export ZOOKEEPER_HOME=/usr/local/apache-zookeeper-3.5.5-bin
export PATH=$ZOOKEEPER_HOME/bin:$PATH

[root@elk01 ~]# source /etc/profile

启动Zookeeper

[root@kafka01 conf]# zkServer.sh start

验证

[root@ka