ELK 之 Logstash

最新推荐文章于 2025-01-08 23:29:34 发布
转载 最新推荐文章于 2025-01-08 23:29:34 发布 · 169 阅读 · 0

本文详细介绍Logstash的安装配置及应用案例，涵盖日志收集、解析与输出全流程，并提供MySQL慢查询、Elasticsearch慢查询等实际应用场景。


ELK 之 Logstash





原创
2017年08月09日 17:27:49 

        <ul class="article_tags clearfix csdn-tracking-statistics tracking-click" data-mod="popu_377">
            <li class="tit">标签：</li>


  • ELK /
  • logstash /






  • ELK 之 Logstash

    简介:

    ELK 之 LogstashLogstash 是一个接收,处理,转发日志的工具。支持系统日志,webserver 日志,错误日志,应用日志,总之包括所有可以抛出来的日志类型。在一个典型的使用场景下(ELK):用 Elasticsearch 作为后台数据的存储,kibana用来前端的报表展示。Logstash 在其过程中担任搬运工的角色,它为数据存储,报表查询和日志解析创建了一个功能强大的管道链。Logstash 提供了多种多样的 input,filters,codecs 和 output 组件,让使用者轻松实现强大的功能。

    安装:

    (需要 jdk 环境,安装过程这里不再阐述,笔者此处使用 jdk 1.8)
    这里使用 2.4.1 版本,是为了和公司 elasticsearch2.x 配合,版本自行控制。
    注意: ELK 技术栈有 version check,软件大版本号需要一致

    yum -y install https://download.elastic.co/logstash/logstash/packages/centos/logstash-2.4.1.noarch.rpm
 
    • 1

    安装完成后会生成两个主要目录和一个配置文件
    程序主体目录:/opt/logstash
    log 分析配置文件目录:/etc/logstash/conf.d
    程序运行配置文件:/etc/sysconfig/logstash
    先测试是否安装成功

    [root@~]#/opt/logstash/bin/logstash -e 'input{stdin{}}output{stdout{codec=>rubydebug}}'
Settings: Default pipeline workers: 4
Pipeline main started
hello world! # 输入测试字符串
{
"message" => "hello world!",  # 成功输出
"@version" => "1",
"@timestamp" => "2017-08-07T07:47:35.938Z",
"host" => "iZbp13lsytivlvvks4ulatZ"
}
 
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10

    如何执行按指定配置文件执行

    /opt/logstash/bin/logstash –w 2 -f /etc/logstash/conf.d/test.conf
 
    • 1

    参数

    -w # 指定线程,默认是 cpu 核数
    -f # 指定配置文件
    -t # 测试配置文件是否正常
    -b # 执行 filter 模块之前最大能积累的日志,数值越大性能越好,同时越占内
    存

    配置文件写法:

    # 日志导入
input {
}
# 日志筛选匹配处理
filter {
}
# 日志匹配输出
output {
}
 
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9

    日志解析配置文件的框架共分为三个模块,input,output,filter。后面会一一讲解, 每个模块里面存在不同的插件。

    input 模块

    列子1
    input {
    # file为常用文件插件，插件内选项很多，可根据需求自行判断
    file {
        path => "/var/lib/mysql/slow.log"
        # 要导入的文件的位置，可以使用*，例如/var/log/nginx/*.log
        Excude =>”*.gz”
        # 要排除的文件
        start_position => "beginning"
        # 从文件开始的位置开始读,end表示从结尾开始读
        ignore_older => 0  
        # 多久之内没修改过的文件不读取，0为无限制，单位为秒
        sincedb_path => "/dev/null"
        # 记录文件上次读取位置，输出到null表示每次都从文件首行开始解析
        type => "mysql-slow"
        # type字段，可表明导入的日志类型
    }   
}
 
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    例子2
    input {

    # redis插件为常用插件，插件内选项很多，可根据需求自行判断
    redis {
        batch_count => 1 
        # EVAL命令返回的事件数目，设置为5表示一次请求返回5条日志信息
        data_type => "list" 
        # logstash redis插件工作方式
        key => "logstash-test-list" 
        # 监听的键值
        host => "127.0.0.1" 
        # redis地址
        port => 6379 
        # redis端口号
        password => "123qwe" 
        # 如果有安全认证，此项为认证密码
        db => 0 
        # 如果应用使用了不同的数据库，此为redis数据库的编号，默认为0。
        threads => 1 
        # 启用线程数量
      }
}
 
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    • 19
    • 20
    • 21
    • 22

    常用的 input 插件其实有很多,这里只举例了两种。其他还有 kafka,tcp 等等

    filter 模块

    例子
    filter {  # 插件很多，这里选取我使用过的插件做讲述
    if ([message] =~ "正则表达式")  {  drop {}  }
    # 正则匹配=~,!~,包含判断in,not in ，字符串匹配==,!=,等等，匹配之后可以做任何操作，这里过滤掉匹配行，除了做过滤操作，if后面可以作任意操作，甚至可以为匹配到的任意行做单独的正则分割操作

    multiline {
        pattern => "正则表达式"
        negate => true
        what => "previous"
        # 多行合并，由于一些日志存在一条多行的情况，这个模块可以进行指定多行合并，通过正则匹配，匹配到的内容上面的多行合并为一条日志。
    }   

    grok {
        match => { "message" => "正则表达式"
         # 正则匹配日志，可以筛选分割出需要记录的字段和值
        }   
        remove_field => ["message"]
        # 删除不需要记录的字段
   }   

    date {
        match => ["timestamp","dd/MMM/yyyy:HH:mm:ss Z"] 
       # 记录@timestamp时间，可以设置日志中自定的时间字段，如果日志中没有时间字段，也可以自己生成
        target=>“@timestamp”
        # 将匹配的timestamp字段放在指定的字段 默认是@timestamp
    }

    ruby {
        code => "event.timestamp.time.localtime"
        # timestamp时区锁定
    }   
}
 
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    • 19
    • 20
    • 21
    • 22
    • 23
    • 24
    • 25
    • 26
    • 27
    • 28
    • 29
    • 30
    • 31

    output 模块

    例子1
    output {
    # tdout { codec => "rubydebug" }
    # 筛选过滤后的内容输出到终端显示

    elasticsearch {  # 导出到es，最常用的插件
        codec => "json"
        # 导出格式为json
        hosts => ["127.0.0.1:9200"]
        # ES地址+端口
        index => "logstash-slow-%{+YYYY.MM.dd}"
        # 导出到index内，可以使用时间变量
        user => "admin"
        password => "xxxxxx"
        # ES如果有安全认证就使用账号密码验证，无安全认证就不需要
        flush_size => 500
        # 默认500，logstash一次性攒够500条的数据在向es发送
        idle_flush_time => 1
        # 默认1s，如果1s内没攒够500，还是会一次性把数据发给ES
    }   
}
 
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    • 19
    • 20
    例子2
    output {
     redis{  # 输出到redis的插件，下面选项根据需求使用
         batch => true
         # 设为false，一次rpush，发一条数据，true为发送一批
         batch_events => 50
         # 一次rpush发送多少数据
         batch_timeout => 5
         # 一次rpush消耗多少时间
         codec => plain
         # 对输出数据进行codec，避免使用logstash的separate filter
         congestion_interval => 1
         # 多长时间进项一次拥塞检查
         congestion_threshold => 5
         # 限制一个list中可以存在多少个item，当数量足够时，就会阻塞直到有其他消费者消费list中的数据
         data_type => list
         # 使用list还是publish
         db => 0
         # 使用redis的那个数据库，默认为0号
         host => ["127.0.0.1:6379"]
         # redis 的地址和端口，会覆盖全局端口
         key => xxx
         # list或channel的名字
         password => xxx
         # redis的密码，默认不使用
         port => 6379
         # 全局端口，默认6379，如果host已指定，本条失效
         reconnect_interval => 1
         # 失败重连的间隔，默认为1s
         timeout => 5
         # 连接超时的时间
         workers => 1
         # 工作进程
     }
}
 
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    • 19
    • 20
    • 21
    • 22
    • 23
    • 24
    • 25
    • 26
    • 27
    • 28
    • 29
    • 30
    • 31
    • 32
    • 33
    • 34

    常用插件还有很多,更多的插件使用可以查看官方文档
    通过上面的介绍,我们大体知道了 logstash 的处理流程:
    input => filter => output
    接下来就看一完整的应用例子

    完整的应用:

    Elasticsearch slow-log
    input {
    file {
        path => ["/var/log/elasticsearch/private_test_index_search_slowlog.log"]
        start_position => "beginning"
        ignore_older => 0
        # sincedb_path => "/dev/null"
        type => "elasticsearch_slow"
        }   
}

filter {
    grok {
        match =>  { "message" => "^\[(\d\d){1,2}-(?:0[1-9]|1[0-2])-(?:(?:0[1-9])|(?:[12][0-9])|(?:3[01])|[1-9])\s+(?:2[0123]|[01]?[0-9]):(?:[0-5][0-9]):(?:(?:[0-5]?[0-9]|60)(?:[:.,][0-9]+)?)\]\[(TRACE|DEBUG|WARN\s|INFO\s)\]\[(?<io_type>[a-z\.]+)\]\s\[(?<node>[a-z0-9\-\.]+)\]\s\[(?<index>[A-Za-z0-9\.\_\-]+)\]\[\d+\]\s+took\[(?<took_time>[\.\d]+(ms|s|m))\]\,\s+took_millis\[(\d)+\]\,\s+types\[(?<types>([A-Za-z\_]+|[A-Za-z\_]*))\]\,\s+stats\[\]\,\s+search_type\[(?<search_type>[A-Z\_]+)\]\,\s+total_shards\[\d+\]\,\s+source\[(?<source>[\s\S]+)\]\,\s+extra_source\[[\s\S]*\]\,\s*$" }
        remove_field => ["message"]
        }   

    date {
        match => ["timestamp","dd/MMM/yyyy:HH:mm:ss Z"] 
        }   
    ruby {
        code => "event.timestamp.time.localtime"
        }   
    }

output {
     elasticsearch {
         codec => "json"
         hosts => ["127.0.0.1:9200"]
         index => "logstash-elasticsearch-slow-%{+YYYY.MM.dd}"
         user => "admin"
         password => "xxxx"
    }   

}
 
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    • 19
    • 20
    • 21
    • 22
    • 23
    • 24
    • 25
    • 26
    • 27
    • 28
    • 29
    • 30
    • 31
    • 32
    • 33
    • 34
    Mysql-slow log
    input {
    file {
        path => "/var/lib/mysql/slow.log"
        start_position => "beginning"
        ignore_older => 0
        # sincedb_path => "/dev/null"
        type => "mysql-slow"
    }   
}
filter {
    if ([message] =~ "^(\/usr\/local|Tcp|Time)[\s\S]*") { drop {} }
    multiline {
        pattern => "^\#\s+Time\:\s+\d+\s+(0[1-9]|[12][0-9]|3[01]|[1-9])"
        negate => true
        what => "previous"
    }   
    grok {
        match => { "message" => "^\#\sTime\:\s+\d+\s+(?<datetime>%{TIME})\n+\#\s+User@Host\:\s+[A-Za-z0-9\_]+\[(?<mysql_user>[A-Za-z0-9\_]+)\]\s+@\s+(?<mysql_host>[A-Za-z0-9\_]+)\s+\[\]\n+\#\s+Query\_time\:\s+(?<query_time>[0-9\.]+)\s+Lock\_time\:\s+(?<lock_time>[0-9\.]+)\s+Rows\_sent\:\s+(?<rows_sent>\d+)\s+Rows\_examined\:\s+(?<rows_examined>\d+)(\n+|\n+use\s+(?<dbname>[A-Za-z0-9\_]+)\;\n+)SET\s+timestamp\=\d+\;\n+(?<slow_message>[\s\S]+)$"
   }   
        remove_field => ["message"]
   }   
    date {
        match => ["timestamp","dd/MMM/yyyy:HH:mm:ss Z"] 
    }   
    ruby {
        code => "event.timestamp.time.localtime"
    }   
}
output { 
    elasticsearch {
        codec => "json"
        hosts => ["127.0.0.1:9200"]
        index => "logstash-mysql-slow-%{+YYYY.MM.dd}"
        user => "admin"
        password => "xxxxx"
    }   
}
 
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    • 19
    • 20
    • 21
    • 22
    • 23
    • 24
    • 25
    • 26
    • 27
    • 28
    • 29
    • 30
    • 31
    • 32
    • 33
    • 34
    • 35
    • 36
    • 37
    Nginx access.log

    logstash 中内置 nginx 的正则,我们只要稍作修改就能使用
    将下面的内容写入到/opt/logstash/vendor/bundle/jruby/1.9/gems/logstash-
    patterns-core-2.0.5/patterns/grok-patterns 文件中

    X_FOR (%{IPV4}|-)

NGINXACCESS %{COMBINEDAPACHELOG} \"%{X_FOR:http_x_forwarded_for}\"

ERRORDATE %{YEAR}/%{MONTHNUM}/%{MONTHDAY} %{TIME}

NGINXERROR_ERROR %{ERRORDATE:timestamp}\s{1,}\[%{DATA:err_severity}\]\s{1,}(%{NUMBER:pid:int}#%{NUMBER}:\s{1,}\*%{NUMBER}|\*%{NUMBER}) %{DATA:err_message}(?:,\s{1,}client:\s{1,}(?<client_ip>%{IP}|%{HOSTNAME}))(?:,\s{1,}server:\s{1,}%{IPORHOST:server})(?:, request: %{QS:request})?(?:, host: %{QS:server_ip})?(?:, referrer:\"%{URI:referrer})?

NGINXERROR_OTHER %{ERRORDATE:timestamp}\s{1,}\[%{DATA:err_severity}\]\s{1,}%{GREEDYDATA:err_message}
 
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9

    之后的 log 配置文件如下

    input {
    file {
    path => [ "/var/log/nginx/www-access.log" ]
    start_position => "beginning"
    # sincedb_path => "/dev/null"
    type => "nginx_access"
    }   
}
filter {
    grok {
         match => { "message" => "%{NGINXACCESS}"}
    }
    mutate {
        convert => [ "response","integer" ]
        convert => [ "bytes","integer" ]
    }
    date {
        match => [ "timestamp","dd/MMM/yyyy:HH:mm:ss Z"]
    }   
    ruby {
        code => "event.timestamp.time.localtime"
    }   
}
output {
    elasticsearch {
        codec => "json"
        hosts => ["127.0.0.1:9200"]
        index => "logstash-nginx-access-%{+YYYY.MM.dd}"
        user => "admin"
        password => "xxxx"
    }
}
 
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    • 19
    • 20
    • 21
    • 22
    • 23
    • 24
    • 25
    • 26
    • 27
    • 28
    • 29
    • 30
    • 31
    • 32
    Nginx error.log
    input {
    file {
    path => [ "/var/log/nginx/www-error.log" ]
    start_position => "beginning"
    # sincedb_path => "/dev/null"
    type => "nginx_error"
    }
}
filter {
    grok {
        match => [
                   "message","%{NGINXERROR_ERROR}",
                   "message","%{NGINXERROR_OTHER}"
                 ]
    }   
    ruby {
        code => "event.timestamp.time.localtime"
    }   
     date {
         match => [ "timestamp","dd/MMM/yyyy:HH:mm:ss"]
     } 

}

output {
    elasticsearch {
        codec => "json"
        hosts => ["127.0.0.1:9200"]
        index => "logstash-nginx-error-%{+YYYY.MM.dd}"
        user => "admin"
        password => "xxxx"
    }   
}
 
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    • 19
    • 20
    • 21
    • 22
    • 23
    • 24
    • 25
    • 26
    • 27
    • 28
    • 29
    • 30
    • 31
    • 32
    • 33
    PHP error.log
    input {
    file {
        path => ["/var/log/php/error.log"]
        start_position => "beginning"
        # sincedb_path => "/dev/null"
        type => "php-fpm_error"
    }   
}

filter {
    multiline {
        pattern => "^\[(0[1-9]|[12][0-9]|3[01]|[1-9])\-%{MONTH}-%{YEAR}[\s\S]+"
        negate => true
        what => "previous"
    }   
    grok {
        match => { "message" => "^\[(?<timestamp>(0[1-9]|[12][0-9]|3[01]|[1-9])\-%{MONTH}-%{YEAR}\s+%{TIME}?)\s+[A-Za-z]+\/[A-Za-z]+\]\s+(?<category>(?:[A-Z]{3}\s+[A-Z]{1}[a-z]{5,7}|[A-Z]{3}\s+[A-Z]{1}[a-z\s]{9,11}))\:\s+(?<error_message>[\s\S]+$)" }

        remove_field => ["message"]
    }   

    date {
        match => ["timestamp","dd/MMM/yyyy:HH:mm:ss Z"] 
    }   

    ruby {
        code => "event.timestamp.time.localtime"
    }   

}

output {
    elasticsearch {
        codec => "json"
        hosts => ["127.0.0.1:9200"]
        index => "logstash-php-error-%{+YYYY.MM.dd}"
        user => "admin"
        password => "xxxxx"
    }   
}
 
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    • 19
    • 20
    • 21
    • 22
    • 23
    • 24
    • 25
    • 26
    • 27
    • 28
    • 29
    • 30
    • 31
    • 32
    • 33
    • 34
    • 35
    • 36
    • 37
    • 38
    • 39
    • 40
    Php-fpm slow-log
    input {
    file {
        path => ["/var/log/php-fpm/www.slow.log"]
        start_position => "beginning"
        # sincedb_path => "/dev/null"
        type => "php-fpm_slow"
    }   
}

filter {
    multiline {
        pattern => "^$"
        negate => true
        what => "previous"
    }   
    grok {
        match => { "message" => "^\[(?<timestamp>(0[1-9]|[12][0-9]|3[01]|[1-9])\-%{MONTH}-%{YEAR}\s+%{TIME})\]\s+\[[a-z]{4}\s+(?<pool>[A-Za-z0-9]{1,8})\]\s+[a-z]{3}\s+(?<pid>\d{1,7})\n(?<slow_message>[\s\S]+$)" }

        remove_field => ["message"]
    }   

    date {
        match => ["timestamp","dd-MMM-yyyy:HH:mm:ss Z"] 
    }   

    ruby {
        code => "event.timestamp.time.localtime"
    }   

}

output {

    elasticsearch {
        codec => "json"
        hosts => ["127.0.0.1:9200"]
        index => "logstash-php-fpm-slow-%{+YYYY.MM.dd}"
        user => "admin"
        password => "xxxx"
    }   
}
 
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    • 19
    • 20
    • 21
    • 22
    • 23
    • 24
    • 25
    • 26
    • 27
    • 28
    • 29
    • 30
    • 31
    • 32
    • 33
    • 34
    • 35
    • 36
    • 37
    • 38
    • 39
    • 40
    • 41

    log 解析配置文件统一放在/etc/logstash/conf.d 目录下,不过也可以任意放
    置,统一起来最好。
    在多个配置文件的时候,不能使用如下命令运行logstash:

    /opt/logstash/bin/logstash -f /etc/logstash/conf.d/(或者有个*)
 
    • 1

    这个命令会拼接配置文件,不会单个使用,会报错。
    如果有多个配置文件,就一个一个启动:

    /opt/logstash/bin/logstash -f /etc/logstash/conf.d/nginx_error.conf
 
    • 1

    但是这样也很麻烦,如果配置文件很多的情况下需要一个个来,并且启动
    速度还很慢,所以我写了一个测试脚本用来方便使用，仅供参考：

    #!/bin/bash
conf_path=/etc/logstash/conf.d  
# /配置文件存放目录根据需求自己更改
conf_name=$( ls <span class="hljs-variable">${conf_path} ) 

case $1 in

start)
    echo "-----------please wait.----------"
    echo "The start-up process is too slow."
    for cf in ${conf_name}
    do  
        /opt/logstash/bin/logstash  -f $conf_path</span>/<span class="hljs-variable">$cf > /dev/null 2>&1 &
            if [ $? -ne 0 ];then
                echo 'The '${cf}' start-up failed.'
            fi
        sleep 20
    done
    echo "start-up success."
;;    
stop)
    ps -ef |grep logstash |grep -v grep > /dev/null 2>&1 
    if [ $? -eq 0 ];then
        ps -ef|grep logstash |grep -v grep |awk '{print $2}'|xargs  kill -9 > /dev/null 2>&1
        sleep 2
        echo "Stop success."
    fi  
;;
restart)
    ps -ef |grep logstash |grep -v grep 2>&1
    if [ $? -eq 0 ];then
        ps -ef|grep logstash |grep -v grep |awk '{print $2}'|xargs  kill -9 > /dev/null 2>&1
        sleep 3
        echo "Stop success."
    fi  
    echo "-----------please wait.----------"
    echo "The start-up process is too slow."
    for cf in ${conf_name}
    do  
        /opt/logstash/bin/logstash  -f $conf_path</span>/<span class="hljs-variable">$cf > /dev/null 2>&1 &
            if [ $? -ne 0 ];then
                echo 'The '${cf}' start-up failed.'
            fi
        sleep 10
    done 
    echo "start-up success."
;;
*)
    echo "Usage: "$0" {start|stop|restart|}"
    exit 1
esac
 
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    • 19
    • 20
    • 21
    • 22
    • 23
    • 24
    • 25
    • 26
    • 27
    • 28
    • 29
    • 30
    • 31
    • 32
    • 33
    • 34
    • 35
    • 36
    • 37
    • 38
    • 39
    • 40
    • 41
    • 42
    • 43
    • 44
    • 45
    • 46
    • 47
    • 48
    • 49
    • 50
    • 51

    脚本的名字中不要包含 logstash,这里保存为 log_stash.sh
    使用./log_stash.sh (start|stop|restart) 来执行脚本





    $(".MathJax").remove();

ELK日志分析平台实战-----（二）-----logstash数据采集
xrt0211的博客
06-14 1540
ELK日志分析平台实战-----（二）-----logstash数据采集 1.logstash简介 Logstash是一个开源的服务器端数据处理管道。 logstash拥有200多个插件，能够同时从多个来源采集数据，转换数据，然后将数据发送到您最喜欢的 “存储库” 中。（大多都是 Elasticsearch。） Logstash管道有两个必需的元素，输入和输出，以及一个可选元素过滤器。 输入：采集各种样式、大小和来源的数据 4. Logstash 支持各种输入选择 ，同时从众多常用来源捕捉事件。 5.
ELK - LogStash - 安装配置
chuckchen1222的博客
12-24 367
Logstash 是一个具有 real-time pipelining功能的开源数据收集引擎。 Logstash可以动态地统一来自不同源的数据，并将数据规范化到选择的目的地。为不同的高级下游分析和可视化用例清理并民主化所有数据。 虽然Logstash最初推动了日志收集方面的创新，但是它的能力远远超出了这个。任何类型的事件都可以通过广泛的输入、过滤器和输出插件数组来丰富和转换，许多本地编解码器进...
03 ELK——Logstash使用详解
weixin_43812198的博客
03-27 404
03 ELK——Logstash使用详解。
ELK学习笔记之Logstash详解
dengxiangbao3167的博客
11-01 909
0x00 Logstash概述 官方介绍：Logstash is an open source data collection engine with real-time pipelining capabilities。简单来说logstash就是一根具备实时数据传输能力的管道，负责将数据信息从管道的输入端传输到管道的输出端；与此同时这根管道还可以让你根据自己的需求在中间加上滤网...
ELK 之logstash filter grok常见内置模式
weixin_46546303的博客
08-05 1035
QUOTEDSTRING: 匹配带引号的字符串。
【Logstash02】企业级日志分析系统ELK之Logstash 输入 Input 插件
运维&陈同学的博客
01-04 1517
logstash利用 sincedb 文件记录了logstash收集的记录文件的信息，比如位置，以方便下次接着从此位 置继续收集日志。codec 用于输入数据的编解码器，默认值为plain表示单行字符串，若设置为json，表示按照json方式解 析。Logstash 会记录每个文件的读取位置,下次自动从此位置继续向后读取。Logstash 从 Redis 收集完数据后,将删除对应的列表Key。范例: 以配置文件实现标准输入。范例: 交互式实现标准输入。范例: 列出所有插件。
【Logstash03】企业级日志分析系统ELK之Logstash 过滤 Filter 插件
运维&陈同学的博客
01-08 1210
Grok 是一个过滤器插件，可帮助您描述日志格式的结构。有超过200种 grok模式抽象概念，如IPv6地 址，UNIX路径和月份名称。为了将日志行与格式匹配, 生产环境常需要将非结构化的数据解析成 json 结构化数据格式使用 Grok 插件可以基于正则表达式技术利用其内置的正则表达式的别名来表示和匹配上面的日志,如下 效果最终转换为以下格式参考网站范例: Nginx 访问日志。
ELK之Logstash安装与配置及使用
热门推荐
CleverCode的博客
11-26 1万+
1Logstash介绍 Logstash 是开源的服务器端数据处理管道，能够同时 从多个来源采集数据、转换数据，然后将数据发送到您最喜欢的 “存储库” 中。（我们的存储库当然是 Elasticsearch。） 2、安装jdk # yum -y install java-1.8.0 # java -version java version "1.8.0_51" Jav...
ELK 之 logstash 利用 IP 获取地理位置
wei_bo_cai的博客
02-19 2257
ELK 之 logstash 利用 IP 获取地理位置 geoip摘要解决方案解析结果 摘要 在平常使用时，利用logstash获取日志信息，有时需要将日志中的IP地址转换成坐标或是实际的位置，这里提供一种可行的解决方案。（笔者实际生产环境中使用这种方案，仅供参考） 解决方案 将原始IP，利用Maxmind GeoLite2 databases数据库转换成geoip。可以参考官方文档 这里利用两种过滤器，首先利用dissect解析日志，其次利用geoip将IP转换成坐标地址。 input { fil
ELK日志收集分析系统搭建笔记之Logstash篇
clearwater
03-05 787
Logstash篇 这一篇文章记录了我搭建Logstash环境的步骤与一些配置的修改 1.下载RPM安装包 下载地址:https://www.elastic.co/cn/downloads/past-releases 选择对应产品与版本，选中Logstash，版本因为ES是5.6.14,所以Logstash也选择5.6.14 选择好对应的版本之后，点击Downloads，进入之后找到RPM...
elk-logstash 读取日志(2): messages和log日志生成时间替换时间戳
qq_33834493的博客
05-20 1337
目前日志： 2021-05-20 14:26:34.817 [http-nio-9031-exec-9] INFO com.abutment.producer.RocketMqHelper.sendMessage - >>>>生产者发送topic为: dispatch_topic msgId: AC1188CD08496B884D5764F234ACDB4E tag: GID_91610000786990367Y 2021-05-20 14:26:34.817 [http-n...
ELK（九）—logstash
qq_51010919的博客
12-18 1598
Logstash 是一个开源的服务器端数据处理管道，由 Elastic 公司维护和开发。它被设计用于从不同来源收集、处理和转发数据，以供 Elasticsearch 进行存储和检索。数据收集：Logstash 支持从各种来源收集数据，包括日志文件、数据库、消息队列、网络流量等。它具有丰富的插件生态系统，可以轻松地集成到多种数据源。数据处理：Logstash 允许用户对收集到的数据进行处理和转换。通过配置不同的过滤器，可以执行各种任务，如解析结构化数据、过滤不需要的信息、标准化字段等。数据输出。
ELK学习（二）Logstash安装及配置
u011250186的博客
08-17 545
Logstash安装及配置
ELK基础篇3：logstash的安装及使用
u013089490的博客
12-29 474
1、安装logstash logstash的安装并没像elasticsearch和kibana那样要求在linux系统下非root用户运行，我们这里在root用户下安装logstash6.x版本。 但是安装logstash之前必须确定已经按照jdk，如果我们使用的logstash6.x版本，则jdk必须是1.8版本及以上版本。 【安装logstash】 [root@wzy-yunwei ...
logstash使用
Hanyinh的博客
11-07 2774
点击下载logstash logstash介绍 一、简介 Logstash是一个开源数据收集引擎，具有实时管道功能。Logstash可以动态地将来自不同数据源的数据统一起来，并将数据标准化到你所选择的目的地。 Logstash管道有两个必需的元素，输入和输出，以及一个可选元素过滤器。输入插件从数据源那里消费数据，过滤器插件根据你的期望修改数据，输出插件将数据写入目的地 二、使用 把下载的文件放到随便一个目录下，然后解压 用命令行进行配置，然后实现logstash功能 在路径\bin下打开命令窗口，输入命令
logstash篇
liaofeifeifeifei的博客
09-12 439
logstash实操
怎么把Logstash 通过 Kibana 可视化监控起来？
铭毅天下Elasticsearch
08-24 2183
书接上一回，MetricBeat + Elasticsearch + Kibana 实现监控指标可视化。问题来了，Logstash 如何监控起来呢？1、看一下官方文档https://www.elastic.co/guide/en/logstash/8.3/monitoring-with-metricbeat.html说一下大前提：logstash 进程得启动且常在。logstash 启动后得默认端...
【应急响应】日志自动提取分析项目&ELK&Logkit&LogonTracer&Anolog等
今天是几号的博客
05-03 3487
1、七牛Logkit：(Windows&Linux&Mac等)支持的数据源（各类日志，各个系统，各个应用等）File: 读取文件中的日志数据，包括csv格式的文件，kafka-rest日志文件，nginx日志文件等,并支持以grok的方式解析日志。2、观星应急工具：（Windows系统日志）SglabIr_Collector是qax旗下的一款应急响应日志收集工具，能够快速收集服务器日志，并自动打包，将收集的文件上传观心平台即可自动分析。
ELK中Logstash配置
最新发布
03-27
嗯，用户之前问了关于Redis哨兵的配置，现在转向了ELK中的Logstash配置。首先，我需要确认用户对ELK的整体了解程度。ELK是Elasticsearch、Logstash和Kibana的简称，用于日志管理和分析。用户可能已经知道这一点，但...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值