【ELK日志采集】ELK log4j error日志采集

置顶

onenote_1

已于 2022-04-12 15:22:51 修改

阅读量1.5k

点赞数

分类专栏： ELK 文章标签： elasticsearch elk 搜索引擎运维 linux

于 2022-03-01 15:48:44 首次发布

本文链接：https://blog.youkuaiyun.com/duanph/article/details/123207469

版权

本文档介绍了使用ELK Stack（Elasticsearch、Logstash、Kibana）进行日志采集，特别是针对log4j错误日志的处理。通过Kibana的Dev Tools测试自定义规则，并在filebeat中配置日志收集，实现对特定字段的过滤和信息提取，以优化日志展示和资源利用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

文档使用工具：

图形化：kibana_6.7.1

数据存储：elasticsearch-6.7.1

日志采集：filebeat-6.7.1

以下模拟日志数据采集使用工具是：

Kibana >> Dev Tools >> Console

1、错误日志样例：

[2022-02-28 09:02:54] [ERROR] [DubboServerHandler-192.168.1.12:2880-thread-185] {com.test.query.test001.test001query:175}-getTest 查询数据错误！
java.lang.Exception: 查询数据错误！！
at com.test.query.dcws60.test001query.query(test001query.java:155) [longcredit-interface-service-plugin-dcws60-1.0.0-SNAPSHOT.jar:?]
at com.test.query.module.core.plugins.query.AbstractQueryPlugin.execute(AbstractQueryPlugin.java:122) [test-3.0.5-SNAPSHOT.jar:?]
at com.test.query.module.core.plugins.query.QueryMetaDataCombine.execute(QueryMetaDataCombine.java:42) [test-3.0.5-SNAPSHOT.jar:?]

2、GET参数说明：

GET _ingest/pipeline/_simulate? #直接输出测试数据结果

GET _ingest/pipeline/_simulate?verbose #处理过程及最后结果输出

3、自定义规则并模拟数据测试

GET _ingest/pipeline/_simulate?verbose
{
  "pipeline": {
    "processors" : [
      {
        "grok" : {
          "field" : "_source.message",
          "patterns" : [
            "\\[%{MY_DATETIME:times}\\] \\[%{DATA:ERROR}\\] \\[%{DATA:DubboServer}\\] {%{GREEDYDATA:query}}-%{GREEDYDATA:查询错误}[\\s\\S]*?\n(?<错误参数>[\\s\\S]+?)$",
            "\\[%{MY_DATETIME:times}\\] \\[%{DATA:ERROR}\\] \\[%{DATA:DubboServer}\\] {%{GREEDYDATA:query}}-%{GREEDYDATA:查询错误}！%{GREEDYDATA:错误参数}"
          ],
          "pattern_definitions" : {
            "MY_DATE" : "%{YEAR}[/-]%{MONTHNUM}[/-]%{MONTHDAY}",
            "MY_TIME" : "[0-9][0-9]:[0-9][0-9]:[0-9][0-9]",
            "MY_DATETIME" : "%{MY_DATE} %{MY_TIME}"
          }
        }
      },
      {
        "date" : {
          "field" : "times",
          "target_field" : "@timestamp",
          "formats" : [
            "yyyy-MM-dd HH:mm:ss"
          ],
          "timezone" : "Asia/Shanghai"
        }
      }
    ]
  },
  "docs": [
    {
      "_source": {
        "message": """
        [2022-02-28 09:02:54] [ERROR] [DubboServerHandler-192.168.1.12:2880-thr

最低0.47元/天解锁文章