LogStash实践日志分析二：收集数据、入库、数据分析和kibana展示

最新推荐文章于 2025-06-10 15:33:12 发布

mergerly

最新推荐文章于 2025-06-10 15:33:12 发布

阅读量2.6k

点赞数

CC 4.0 BY-SA版权

分类专栏：大数据

本文链接：https://blog.youkuaiyun.com/mergerly/article/details/53189136

大数据专栏收录该内容

77 篇文章

订阅专栏

本文介绍了一种通过Logstash从日志文件中提取数据并转换为UTF-8格式的方法，同时增加了IP地址信息并将数据存入Redis。接着，通过Redis将数据传输到Elasticsearch进行时间格式化处理以便于后续分析，最后利用Kibana进行数据展示。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1、原始数据源服务器，从日志拉取数据，并转化为utf8编码，增加ip地址，保存到redis中，上配置如下：

input {
    file {
        path => "/tmp/activityserver.log"
        codec => json {
            charset => "GBK"
        }
        start_position => "beginning"
        sincedb_path => "/dev/null"
        type => "activitysun"
    }
}

filter {
    date {
        match => ["timestamp", "UNIX"]
        remove_field => ["time"]
    }
    #ruby {
    #    code => "event.timestamp.time.localtime"
    #}
    mutate {
        #some pc no host
	replace => { "host" => "192.168.1.11" }	
    }
}

output {
    #stdout {
    #    codec => plain {
    #        charset => "UTF-8"
    #    }
    #}
    file {
        path => "/tmp/logstash.log"
        codec => json {
            charset => "UTF-8"
        }
    }
    redis {
        host => ["192.168.1.18"]
        port => 26379
        data_type => "list"
        key => "activityserver"
        codec => json {
            charset => "UTF-8"
        }
    }
}

采用如下命令启动

/data/logstash-2.3.4/bin/logstash -f activitylog.conf

2、收集服务器，从redis拉取数据，放入elasticsearch，时间做一下处理，方便分析。配置如下：

input {
  redis {
    host => ["192.168.1.18"]
    port => 26379
    data_type => "list"
    key => "activityserver"
    codec => json {
      charset => "UTF-8"
    }
    #type => "activitysun"
  }
}

filter {
    ruby {
        code=>"event['daytag']=event.timestamp.time.localtime.strftime('%Y.%m.%d')"
    }
}

output {
  elasticsearch {
    hosts => ["127.0.0.1:19200"]
    index => "%{type}-%{daytag}"
    #index => "%{type}-%{+yyyy.MM.dd}"
  }
}

3、kibana展示