ELK日志分析方案

最新推荐文章于 2024-01-20 19:25:26 发布

转载最新推荐文章于 2024-01-20 19:25:26 发布 · 143 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：https://developer.aliyun.com/article/698712?spm=a2c6h.17698244.wenzhang.1.5674466c98LcNM

文章标签：

#elasticsearch

本文详细讲解如何从日志文件中读取数据，使用Grok进行格式化，然后将数据实时同步到Redis和Elasticsearch，涉及文件操作、日志解析和分布式存储技术。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

从日志文件读取到redis

#从日志文件读取数据
#file{}
#type 日志类型
#path 日志位置
#            可以直接读取文件（a.log）
#            可以所有后缀为log的日志（*.log）
#            读取文件夹下所有文件（路径）
#start_position 文件读取开始位置 （beginning）
#sincedb_path 从什么位置读取（设置为/dev/null自动从开始位置读取）
input {
     file {
        type => "log"
        path => ["/root/logs/info.log"]
        start_position => "beginning"
        sincedb_path => "/dev/null"
     }
}
#根据时间戳分隔日志
#grok 区分日志中得字段
filter {
     multiline {
       pattern => "^%{TIMESTAMP_ISO8601} "
       negate => true
       what => previous
     }
     #定义数据的格式
     grok {
       match => { "message" => "%{DATA:datetime} - %{DATA:logLevel} - %{DATA:serviceName} - %{DATA:ip} - %{DATA:pid} - %{DATA:thread} - %{DATA-msg}"}
     }
}
#输出数据到Redis
#host Redis主机地址
#port Redis端口
#db Redis数据库编号
#data_type Redis数据类型
#key Redis的key
#password Redis密码
output {
    redis {
        host => "ip"
        port => "6379"
        db => "6"
        data_type => "list"
        password => "password"
        key => "test_log"
    }
}

4.2 redis2es

从redis读取到es

#从redis内读取数据
#host Redis主机ip
#port Redis端口
#data_type Redis数据类型
#batch_count
#password Redis密码
#key Redis读取Key
input {
    redis {
        host => "ip"
        port => "6379"
        db => "6"
        data_type => "list"
        password => "password"
        key => "test_log"
    }
}
#数据的输出我们指向了es集群
#hosts Elasticsearch主机地址
#index Elasticsearch索引名称
output {
  elasticsearch {
        hosts => "ip:9200"
        index => "logs-%{+YYYY.MM.dd}"
  }
}