基于Heka+Flume+Kafka+ELK的日志系统

前期准备

ELK官网：https://www.elastic.co/，  软件包下载和完善的文档资料。

Zookeeper官网：https://zookeeper.apache.org/

Kafka官网：http://kafka.apache.org/documentation.html，软件包下载和完善的文档资料。

Flume官网：https://flume.apache.org/

Heka官网：https://hekad.readthedocs.io/en/v0.10.0/

 

系统是centos6.6，64位机器。

所用软件版本：

Logstash：2.3.3

JDK:1.8.0_25

Elasticsearch:2.3.4

Kibana:4.5.2

Heka:0.10.0

Flume:1.7.0

Zookeeper:3.4.8

Kafka:0.8.2.2

Nginx:1.7.6

Kafka-manager:1.3.1.6

 

整体架构图

 

 

 

 

安装步骤

零．安装JDK

一．安装Zookeeper集群

二．安装Kafka集群

三．安装Elasticsearch集群

四．安装Flume

五．业务机器安装Heka

六．使用Logstash对接Kafka和Elasticsearch集群

七．安装Kibana

八．安装Nginx反向代理

九．安装kafka-manager

 

零．安装JDK

所有相关机器安装JDK，配置PATH, CLASS_PATH, JAVA_HOME

 

一．安装Zookeeper集群

准备

Hostname和IP的对应关系

192.168.0.51  data1

192.168.0.49  data2

192.168.0.72  data3

同时需要配置/etc/hosts文件，添加以上记录

 

安装