logstash安装与基础用法

最新推荐文章于 2025-09-13 12:54:57 发布

转载最新推荐文章于 2025-09-13 12:54:57 发布 · 122 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：http://www.cnblogs.com/toSeek/p/6099090.html

文章标签：

#大数据

本文详细介绍如何搭建ELK（Elasticsearch, Logstash, Kibana）日志系统，包括Logstash的安装配置及与Elasticsearch的集成。通过实例演示了基本的日志收集、解析过程，并展示了如何将解析后的日志数据存储到Elasticsearch中。

若是搭建elk，建议先安装好elasticsearch

来自官网，版本为2.3

wget -c https://download.elastic.co/logstash/logstash/packages/centos/logstash-2.3.4-1.noarch.rpm
rpm -ivh logstash-2.3.4-1.noarch.rpm

logstash的配置文件为/etc/sysconfig/logstash，本文不需要修改它，默认即可

日志位于/var/log/logstash/

为防止重复解析，logstash会记录文件的解析进度到/var/lib/logstash/.sincedb_xxxxxxx，如果希望重复解析（比如测试的时候）记得删除这里的缓存

解析日志相关的配置文件放到/etc/logstash/conf.d/，默认文件夹是空的，这个是需要自己写的，下面先来一个简单的：

mkdir -p /data/logs/
touch /data/logs/test.log

vi /etc/logstash/conf.d/first.conf（意思是解析test.log内容，输出到标准输出，这里会重定向输出到/var/log/logstash/logstash.stdout）

input {
    file {
        path => "/data/logs/test.log"
    }
}
output {
    stdout {}
}

启动logstash

/etc/init.d/logstash start

在test.log中追加信息，然后查看输出

echo 'hello world 1' >> /data/logs/test.log
echo 'hello world 2' >> /data/logs/test.log
tail /var/log/logstash/logstash.stdout

可以看到追加的信息被logstash以一定格式输出到了stdout

下面来个复杂的日志文件，下载官方的测试log：https://download.elastic.co/demos/logstash/gettingstarted/logstash-tutorial.log.gz

然后解压到/data/logs/logstash/logstash-tutorial.log

新加一个日志解析配置：

vi /etc/logstash/conf.d/second.conf

input {
    file {
        path => "/data/logs/logstash/*.log"
        start_position => beginning
        ignore_older => 0
    }
}
output {
    stdout {}
}

可以看到指定文件那里可以用匹配模式指定

start_position：默认是从文件末尾开始解析（监控）

ignore_older：默认超过24小时的日志不解析，0表示不忽略任何过期日志

重启logstash，可以看到logstash-tutorial.log的解析结果会输出到stdout

输出到stdout并没有用，我们现在把结果存储到elasticsearch：

output {
    elasticsearch {}
    stdout {}
}
若elasticsearch不是在本机
elasticsearch {
    hosts => "192.168.1.111"
}
若elasticsearch不是默认端口9200
elasticsearch {
    hosts => "192.168.1.111:9292"
}

先停止logstash，清空解析缓存，再启动

/etc/init.d/logstash stop
rm -rf /var/lib/logstash/*
/etc/init.d/logstash start

在elasticsearch中查询可以看到多了一个索引logstash-2016.11.25，数据已经存储在里面

（而且是解析过的，ip、url、时间等，解析是用的过滤器filter，这里没有配置单应该用的是默认filter：grok）

基础用法至此结束

转载于:https://www.cnblogs.com/toSeek/p/6099090.html