logstash+es+kibana+redis搭建日志平台_es+logstash+kibia-优快云博客

环境信息：

CentOS 6.5

redis 3.0.4

logstash

elasticsearch

kibana

服务端ip:192.168.0.65

客户端ip:192.168.0.66

关系结构图：

图片引用自： http://www.wklken.me/posts/2015/04/26/elk-for-nginx-log.html

安装redis

首先下载redis

wget http://download.redis.io/releases/redis-3.0.4.tar.gz

下载之后解压，编译安装

tar -zvxf redis-3.0.4.tar.gz

make

make install

然后启动redis

redis-server redis.conf &

添加&符号表示后台启动

安装logstash

服务器端

首先安装java环境这里使用比较简单的方法

yum install jdk –y

如果你手动安装的话建议安装java1.8

下载logstash

wget https://download.elastic.co/logstash/logstash/logstash-1.5.4.tar.gz

下载之后解压

tar –zxvf logstash-1.5.4.tar.gz

然后到logstash目录下，创建config目录并创建一个logstash_server.conf文件，创建logs目录存放日志并创建logstash.log文件

编辑文件

vim logstash_server.conf

将一下内容写入到logstash_server.conf中

input {

redis {

host => "127.0.0.1" #本地的reds地址

port => 6379 #redis端口

type => "redis-input" #输入类型

data_type => "list" #使用redis的list存储数据

key => "key_count"

}

output {

stdout {}

elasticsearch {

host => "127.0.0.1" #elasticsearch地址

cluster => "elasticsearch"

codec => "json"

protocol => "http" #elasticsearch使用的协议

}

配置完成后启动logstash

bin/logstash agent --verbose --config config/logstash_server.conf --log logs/logstash.log &

数据采集端

数据采集端的安装步骤与服务器端的安装步骤相同

只是在配置文件有所不同

在数据采集端创建logstash_client.conf

数据采集端的conf文件配置为：

input {
  file {
    type => "type_count"

                 #日志所在的目录

   	        path => "/data/logs/count/stdout.log", "/data/logs/count/stderr.log"]
    exclude => ["*.gz", "access.log"]   #排除一些不想加入的日志
  }   
}

output {
  stdout {}
  redis {
    host => "192.168.0.65"
    port => 6379
    data_type => "list"         #数据类型也要保持一致
    key => "key_count"          #key 要与服务器端的相同 
  }   
}