ELK实时日志分析平台（二）

安装 Logstash

下载并安装 Logstash ，安装 logstash 只需将它解压的对应目录即可，例如： /opt下：
官网下载地址：https://artifacts.elastic.co/downloads/logstash/logstash-6.3.1.tar.gz

1.解压源码包

tar zxvf /opt/logstash-6.3.1.tar.gz

首先，我们通过运行最基本的Logstash管道来测试您的Logstash安装。
Logstash管道有两个必需的元素，input并且output，以及一个可选的元素，filter。输入插件消耗来自源的数据，过滤器插件会按照您指定的方式修改数据，并且输出插件将数��写入到目的地。

2.安装完成后运行如下命令：

我们可以看到，我们输入什么内容logstash按照某种格式输出，其中-e参数参数允许Logstash直接通过命令行接受设置。这点尤其快速的帮助我们反复的测试配置是否正确而不用写配置文件。使用ctrl-c命令可以退出之前运行的Logstash。

使用-e参数在命令行中指定配置是很常用的方式，不过如果需要配置更多设置则需要很长的内容。这种情况，我们首先创建一个简单的配置文件，并且指定logstash使用这个配置文件。 例如：在 logstash 安装目录下(/usr/local/logstash-5.3.1/config)创建一个“基本配置”测试文件 logstash-simple.conf， 文件内容如下：

[root@sisi logstash-6.3.1]# cat logstash-sample.conf

input { stdin { type => "syslog" } }

filter { }

output {

  elasticsearch { hosts => "192.168.88.154:9200" }    #elasticsearch服务的地址

  stdout { codec => rubydebug }

}

3.创建配置文件

Logstash 使用 input 和 output 定义收集日志时的输入和输出的相关配置，本例中 input 定义了一个叫 "stdin" 的 input ， output 定义一个叫 "stdout" 的 output 。无论我们输入什么字符， Logstash 都会按照某种格式来返回我们输入的字符，其中 output 被定义为 "stdout" 并使用了 codec 参数来指定 logstash 输出格式。

使用logstash的-f参数来读取配置文件，执行如下开始进行测试：

4.启动

如上显示，说明成功了。

我们可以使用 curl 命令发送请求来查看 ES 是否接收到了数据：

至此，你已经成功利用 Elasticsearch 和 Logstash 来收集日志数据了。

四、kibana的安装

1. 解压kibana-6.3.1-linux-x86_64源码包

下载地址：https://artifacts.elastic.co/downloads/kibana/kibana-6.3.1-linux-x86_64.tar.gz

tar zxvf /opt/kibana-6.3.1-linux-x86_64.tar.gz

2.配置kibana

3.启动

4.测试浏览器访问

访问：http://192.168.30.154:5601
如下图所示，说明成功访问了

5.配置ES索引

kibana第一次使用时，会要求创建index，只要按照默认值即可。

注意：
首次会提示没有索引。。。。

首先需要加上我们刚刚建立的索引index => "logstash--%{+YYYY-MM}" 点击setting->indices, 在这里我们可以Configure an index pattern, 也就是说可以配置 正则匹配的index,

cat logstash-simple.confinput {

    stdin{}

}

output {

    elasticsearch {

        action => "index"            # 在ES上操作index

        hosts  => "192.168.30.154:9200"   # ES地址

        index  => "logstash-%{+YYYY-MM}"   #索引名

    }

}

可以看到默认的index是"logstash-*", 默认是从logstash导出的数据, 因为我们在logstash中配置的索引就是logstash开头的，所以这里我们保持默认不变.

下面还有一个Time-field name, 一般来说time都是一个必要的字段, 并且这个字段的类型是date类型! 不是string!!! 如果没有时间字段, 那么将上面的" Index contains time-based events" 取消就OK.

问题
1、出现Configure an index pattern create是灰色的的问题

这个问题是配置文件的问题，修改logstash的配置文件，使其输出到elasticsearch，其中的index选项配置为kibana上的index，比如我是index => "logstash-%{+YYYY-MM}" ，这个时候重启logstash，kibana就保持默认的logstash-*索引既可，应该能够看到Create按钮了