ELK5.x搭建全纪录

一：准备工作

    1.ES集群搭建请参考笔者另一篇文章 http://blog.youkuaiyun.com/qq_26323323/article/details/78222981 ，所需环境也在该文章中有提及

    2.保持logstash、kibana版本与ES版本相同，避免版本不兼容问题，笔者都选择使用5.6.0版本，下载地址为 https://www.elastic.co/cn/downloads 

    3.JDK版本 选择1.7以上的，笔者选择使用1.8.0版本

 

 

 

二：Logstash搭建

    1.解压缩 logstash-5.6.0.tar.gz 到 %LOGSTASH_HOME%

    2.在%LOGSTASH_HOME%/config 下创建 文件 log_to_es_logback.conf ，并写入以下内容

input {  
  tcp {port => 5601}  
}  
filter {  
}  
output {  
  elasticsearch{
   host => "10.187.96.50:9200"
   action => "index"
   index => "uplimitgene"
  }
  stdout {codec => rubydebug}  
}  

 

    注意：tcp port=>5601 意思是监听本机5601端口；output输出一份到es中，用户可自定义index

 

    3.后台启动Logstash

nohup ./bin/logstash -f config/log_to_es_logback.conf > out.txt 2>&1 &

    看到以下日志即启动成功

 

 

 

 

三：Kibana搭建

    1.解压缩kibana-5.6.0.tar.gz到%KIBANA_HOME%

    2.进入%KIBANA_HOME%/config下，修改kibana.yml文件

 

 

 

 

 

    主要修改以上红色内容，最主要的是elasticsearch.url 一定要正确指向es地址和 端口号（http.port）

 

    3.启动Kibana 

./bin/kibana 

 

 

 

 

 

 

    出现以上内容即为启动成功，如果出现fetal或其他错误说明启动异常，（一般都是端口号被占用，或存在已运行的kibana示例，杀死该进程即可）

 

    4.验证

    访问 http://10.187.96.50:5601  即可看到kibana主界面

 

四：Java应用关联Logstash

 

    1.添加logstash依赖

<dependency>  
    <groupId>net.logstash.logback</groupId>  
    <artifactId>logstash-logback-encoder</artifactId>  
    <version>4.4</version>  
</dependency> 

 

    2.在logback.xml中添加logstash appender

<appender name="LOGSTASH" class="net.logstash.logback.appender.LogstashTcpSocketAppender">  
        <param name="Encoding" value="UTF-8"/>  
        <remoteHost>10.187.96.50</remoteHost>  
        <port>5601</port>  
        <encoder class="net.logstash.logback.encoder.LogstashEncoder" />  
</appender> 

<root level="info">  
        <appender-ref ref="LOGSTASH" />   
</root>  

    注意：这里的port需要与 %LOGSTASH_HOME%/log_to_es_logback.conf 文件中的tcp port保持一致

 

五：关联性测试

 

    1.启动Java应用，启动后再访问一些方法

    2.查看kibana index=uplimitgene的数据

 

    

 

    可以看到日志相关数据已导入es中

    测试成功