ElasticSearch+Flume+Kibana EFK日志系统

ElasticSearch

1.1 Elasticsearch介绍

Elasticsearch是一个实时的分布式搜索和分析引擎。它可以帮助你用前所未有的速度去处理大规模数据。它可以用于全文搜索，结构化搜索以及分析，当然你也可以将这三者进行组合。

Elasticsearch是一个建立在全文搜索引擎Apache Lucene™基础上的搜索引擎，可以说Lucene是当今最先进，最高效的全功能开源搜索引擎框架。

Elasticsearch使用Lucene作为内部引擎，但是在使用它做全文搜索时，只需要使用统一开发好的API即可，而不需要了解其背后复杂的Lucene的运行原理。

当然Elasticsearch并不仅仅是Lucene这么简单，它不但包括了全文搜索功能，还可以进行以下工作:

1. 分布式实时文件存储，并将每一个字段都编入索引，使其可以被搜索；
2. 实时分析的分布式搜索引擎；
3. 可以扩展到上百台服务器，处理PB级别的结构化或非结构化数据；

这么多的功能被集成到一台服务器上，你可以轻松地通过客户端或者任何你喜欢的程序语言与ES的RESTful API进行交流。

1.2 Elasticsearch优点

1. Elasticsearch是分布式的。不需要其他组件，分发是实时的，被叫做”Push replication”；
2. Elasticsearch完全支持 Apache Lucene 的接近实时的搜索；
3. 处理多租户（multitenancy）不需要特殊配置，而Solr则需要更多的高级设置；
4. Elasticsearch采用 Gateway 的概念，使得完备份更加简单；
5. 各节点组成对等的网络结构，某些节点出现故障时会自动分配其他节点代替其进行工作。

1.3 ElasticSearch安装

• 首先要安装JDK

1. ElasticSearch最新版本要求JDK版本在11以上，首先安装JDK11

2. 解压到自定义的文件夹

3. 设置java环境变量

   vim /etc/profile
   Export JAVA_HOME=/opt/source/jdk11（自定义的文件夹）
   
   Export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/jre/lib/rt.jar
   
   export PATH=$PATH:$JAVA_HOME/bin
   

• 安装ElasticSearch
  在官网下载Elasticsearch的安装包，解压到自定义文件夹即可。

Flume

• 安装Flume
  在官网下载Flume的安装包，解压到自定义文件夹即可。

• 配置环境变量

  vi ~/.bashrc
  配置环境变量：
  export FLUME_HOME=（自定义文件夹）/apache-flume-1.8.0-bin
  export FLUME_CONF_DIR=$FLUME_HOME/con
  export PATH=$PATH:$FLUME_HOME/bin
  

• 让配置生效

  source …bashrc

• 配置flume-env.sh文件的JavaHome
  export JAVA_HOME=java路径

Kibana

• 环境准备

  Kibana是ElasticSearch的可视化平台，依赖ElasticSearch，需要对应版本的ElasticSearch

• Kibana安装

• 这里提供了Kibana7.5.1版本的安装包，解压到自定义文件夹

• Kibana配置

  到kibana安装目录的config下，编辑kibana.yml配置文件，添加如下配置：
  配置本机ip

  server.host: "xxx"
  

  配置es集群url

  elasticsearch.url: "http://localhost:9200"
  

• Kibana启动

  1.切换到Kibana安装目录的bin目录下，执行Kibana文件
  cd /run/kibana-7.5.1-linux-x86_64/bib
  ./kibana&
  主要使用&命令启动后，推出当前窗口需要使用exit退出

  2.成功启动后，可以访问：http：//localhost：5601来访问kibana，ip为kibana安装节点ip，端口默认为50615601，可以在config/kibana.yml中配置

KAFKA