【ELK日志采集】ELK log4j error日志采集

原创 已于 2022-04-12 15:22:51 修改 · 置顶 · 1.6k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#elasticsearch #elk #搜索引擎 #运维 #linux

于 2022-03-01 15:48:44 首次发布
本文档介绍了使用ELK Stack（Elasticsearch、Logstash、Kibana）进行日志采集，特别是针对log4j错误日志的处理。通过Kibana的Dev Tools测试自定义规则，并在filebeat中配置日志收集，实现对特定字段的过滤和信息提取，以优化日志展示和资源利用。

文档使用工具：

 

        图形化：kibana_6.7.1 

        数据存储：elasticsearch-6.7.1

        日志采集：filebeat-6.7.1 

 以下模拟日志数据采集使用工具是：

    Kibana   >> Dev Tools >> Console

1、错误日志样例：

[2022-02-28 09:02:54] [ERROR] [DubboServerHandler-192.168.1.12:2880-thread-185] {com.test.query.test001.test001query:175}-getTest 查询数据错误！
java.lang.Exception: 查询数据错误！！
        at com.test.query.dcws60.test001query.query(test001query.java:155) [longcredit-interface-service-plugin-dcws60-1.0.0-SNAPSHOT.jar:?]
        at com.test.query.module.core.plugins.query.AbstractQueryPlugin.execute(AbstractQueryPlugin.java:122) [test-3.0.5-SNAPSHOT.jar:?]
        at com.test.query.module.core.plugins.query.QueryMetaDataCombine.execute(QueryMetaDataCombine.java:42) [test-3.0.5-SNAPSHOT.jar:?]
 

2、GET参数说明：

GET _ingest/pipeline/_simulate? #直接输出测试数据结果

GET _ingest/pipeline/_simulate?verbose #处理过程及最后结果输出

3、自定义规则并模拟数据测试

GET _ingest/pipeline/_simulate?verbose
{
  "pipeline": {
    "processors" : [
      {
        "grok" : {
          "field" : "_source.message",
          "patterns" : [
            "\\[%{MY_DATETIME:times}\\] \\[%{DATA:ERROR}\\] \\[%{DATA:DubboServer}\\] {%{GREEDYDATA:query}}-%{GREEDYDATA:查询错误}[\\s\\S]*?\n(?<错误参数>[\\s\\S]+?)$",
            "\\[%{MY_DATETIME:times}\\] \\[%{DATA:ERROR}\\] \\[%{DATA:DubboServer}\\] {%{GREEDYDATA:query}}-%{GREEDYDATA:查询错误}！%{GREEDYDATA:错误参数}"
          ],
          "pattern_definitions" : {
            "MY_DATE" : "%{YEAR}[/-]%{MONTHNUM}[/-]%{MONTHDAY}",
            "MY_TIME" : "[0-9][0-9]:[0-9][0-9]:[0-9][0-9]",
            "MY_DATETIME" : "%{MY_DATE} %{MY_TIME}"
          }
        }
      },
      {
        "date" : {
          "field" : "times",
          "target_field" : "@timestamp",
          "formats" : [
            "yyyy-MM-dd HH:mm:ss"
          ],
          "timezone" : "Asia/Shanghai"
        }
      }
    ]
  },
  "docs": [
    {
      "_source": {
        "message": """
        [2022-02-28 09:02:54] [ERROR] [DubboServerHandler-192.168.1.12:2880-thread-185] {com.test.query.test001.test001query:175}-getTest 查询数据错误！
java.lang.Exception: 查询数据错误！！
        at com.test.query.dcws60.test001query.query(test001query.java:155) [longcredit-interface-service-plugin-dcws60-1.0.0-SNAPSHOT.jar:?]
        at com.test.query.module.core.plugins.query.AbstractQueryPlugin.execute(AbstractQueryPlugin.java:122) [test-3.0.5-SNAPSHOT.jar:?]
        at com.test.query.module.core.plugins.query.QueryMetaDataCombine.execute(QueryMetaDataCombine.java:42) [test-3.0.5-SNAPSHOT.jar:?]
"""
      },
      "_index": "test_index"
    }
  ]
}

4、展示测试结果：

{
  "docs" : [
    {
      "processor_results" : [
        {
          "doc" : {
            "_index" : "test_index",
            "_type" : "_type",
            "_id" : "_id",
            "_source" : {
              "DubboServer" : "DubboServerHandler-192.168.1.12:2880-thread-185",
              "times" : "2022-02-28 09:02:54",
              "query" : "com.test.query.test001.test001query:175",
              "查询错误" : "getTest 查询数据错误！",
              "ERROR" : "ERROR",
              "错误参数" : "java.lang.Exception: 查询数据错误！！",
              "message" : """
        [2022-02-28 09:02:54] [ERROR] [DubboServerHandler-192.168.1.12:2880-thread-185] {com.test.query.test001.test001query:175}-getTest 查询数据错误！
java.lang.Exception: 查询数据错误！！
        at com.test.query.dcws60.test001query.query(test001query.java:155) [longcredit-interface-service-plugin-dcws60-1.0.0-SNAPSHOT.jar:?]
        at com.test.query.module.core.plugins.query.AbstractQueryPlugin.execute(AbstractQueryPlugin.java:122) [test-3.0.5-SNAPSHOT.jar:?]
        at com.test.query.module.core.plugins.query.QueryMetaDataCombine.execute(QueryMetaDataCombine.java:42) [test-3.0.5-SNAPSHOT.jar:?]
"""
            },
            "_ingest" : {
              "timestamp" : "2022-03-02T03:42:51.215Z"
            }
          }
        },
        {
          "doc" : {
            "_index" : "test_index",
            "_type" : "_type",
            "_id" : "_id",
            "_source" : {
              "DubboServer" : "DubboServerHandler-192.168.1.12:2880-thread-185",
              "times" : "2022-02-28 09:02:54",
              "@timestamp" : "2022-02-28T09:02:54.000+08:00",
              "query" : "com.test.query.test001.test001query:175",
              "查询错误" : "getTest 查询数据错误！",
              "ERROR" : "ERROR",
              "错误参数" : "java.lang.Exception: 查询数据错误！！",
              "message" : """
        [2022-02-28 09:02:54] [ERROR] [DubboServerHandler-192.168.1.12:2880-thread-185] {com.test.query.test001.test001query:175}-getTest 查询数据错误！
java.lang.Exception: 查询数据错误！！
        at com.test.query.dcws60.test001query.query(test001query.java:155) [longcredit-interface-service-plugin-dcws60-1.0.0-SNAPSHOT.jar:?]
        at com.test.query.module.core.plugins.query.AbstractQueryPlugin.execute(AbstractQueryPlugin.java:122) [test-3.0.5-SNAPSHOT.jar:?]
        at com.test.query.module.core.plugins.query.QueryMetaDataCombine.execute(QueryMetaDataCombine.java:42) [test-3.0.5-SNAPSHOT.jar:?]
"""
            },
            "_ingest" : {
              "timestamp" : "2022-03-02T03:42:51.215Z"
            }
          }
        }
      ]
    }
  ]
}

5、定义pipeline规则：

PUT /_ingest/pipeline/module_error_pipeline?pretty
{
    "description" : "module_error_pipeline",
    "processors" : [
      {
        "grok" : {
          "field" : "message",
          "patterns" : [
            "\\[%{MY_DATETIME:times}\\] \\[%{DATA:ERROR}\\] \\[%{DATA:DubboServer}\\] {%{GREEDYDATA:query}}-%{GREEDYDATA:查询错误}[\\s\\S]*?\n(?<错误参数>[\\s\\S]+?)$",
            "\\[%{MY_DATETIME:times}\\] \\[%{DATA:ERROR}\\] \\[%{DATA:DubboServer}\\] {%{GREEDYDATA:query}}-%{GREEDYDATA:查询错误}！%{GREEDYDATA:错误参数}"
          ],
          "pattern_definitions" : {
            "MY_DATE" : "%{YEAR}[/-]%{MONTHNUM}[/-]%{MONTHDAY}",
            "MY_TIME" : "[0-9][0-9]:[0-9][0-9]:[0-9][0-9]",
            "MY_DATETIME" : "%{MY_DATE} %{MY_TIME}",
            "MY_TIME1" : "[0-9][0-9][0-9]",
            "MY_GETTIME" : "%{MY_TIME}-%{MY_TIME1}"
          }
        },
        "date" : {
          "field" : "times",
          "target_field" : "@timestamp",
          "formats" : [
            "yyyy-MM-dd HH:mm:ss"
          ],
          "timezone" : "Asia/Shanghai"
			}
		}
	]
}

6、filebeat收集日志配置文件

cat /usr/local/filebeat_module_error/filebeat.yml 
filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /opt/module-error-3.0.3/logs/*-error.log 
#将所有不以 [ 开始的行与之前的行进行合并multiline:
  #multiline.pattern: '^\['
  multiline.pattern: '^\[20'
  multiline.negate: true
  multiline.match: after


  barvester_buffer_size: 163840
setup.template.name: "module_error_template"
setup.template.pattern: "module_error_template-*"
tags: ["80.200"]
xpack.monitoring:
  enabled: true

output.elasticsearch:
 hosts: ["192.168.0.103:9200"]
  pipeline: "module_error_pipeline"
  index: "module_error-%{+yyyy.MM.dd}"
  username: "admin"
  password: "admin"
  worker: 2
 

7、结果展示

8、特殊处理

8.1、过滤无用信息：

        "query" : "com.test.query.test001.test001query:175"

        截取需要的结果，过滤掉com.test.query.不显示

由原语句替换为：

         {%{GREEDYDATA:query}}替换为 {com.test.query.%{GREEDYDATA:query}}

"\\[%{MY_DATETIME:times}\\] \\[%{DATA:ERROR}\\] \\[%{DATA:DubboServer}\\] {com.test.query.%{GREEDYDATA:query}}-%{GREEDYDATA:查询错误}[\\s\\S]*?\n(?<错误参数>[\\s\\S]+?)$",
"\\[%{MY_DATETIME:times}\\] \\[%{DATA:ERROR}\\] \\[%{DATA:DubboServer}\\] {com.test.query.%{GREEDYDATA:query}}-%{GREEDYDATA:查询错误}！%{GREEDYDATA:错误参数}"

  得到结果：

8.2、只获取固定字段信息：

        "错误参数" : "java.lang.Exception: 查询数据错误！！"

   示例数据：

        [2022-02-28 09:02:54] [ERROR] [DubboServerHandler-192.168.1.12:2880-thread-185] {com.test.query.test001.test001query:175}-getTest 查询数据错误！
java.lang.Exception: 查询数据错误！！
错误详细信息：java.lang.IllegalArgumentException: java.net.ConnectException: Connection timed out (Connection timed out)
        at com.test.query.dcws60.test001query.query(test001query.java:155) [longcredit-interface-service-plugin-dcws60-1.0.0-SNAPSHOT.jar:?]

错误参数获取红色区域为结果：

GET _ingest/pipeline/_simulate
{
  "pipeline": {
    "processors" : [
      {
        "grok" : {
          "field" : "_source.message",
          "patterns" : [
            "\\[%{MY_DATETIME:times}\\] \\[%{DATA:ERROR}\\] \\[%{DATA:DubboServer}\\] {com.test.query.%{GREEDYDATA:query}}-%{GREEDYDATA:查询错误}[\\s\\S]*?\n(?<错误参数>错误详细信息[\\s\\S]+?)$",
            "\\[%{MY_DATETIME:times}\\] \\[%{DATA:ERROR}\\] \\[%{DATA:DubboServer}\\] {com.test.query.%{GREEDYDATA:query}}-%{GREEDYDATA:查询错误}！%{GREEDYDATA:错误参数2}"
          ],
          "pattern_definitions" : {
            "MY_DATE" : "%{YEAR}[/-]%{MONTHNUM}[/-]%{MONTHDAY}",
            "MY_TIME" : "[0-9][0-9]:[0-9][0-9]:[0-9][0-9]",
            "MY_DATETIME" : "%{MY_DATE} %{MY_TIME}"
          }
        }
      },
      {
        "date" : {
          "field" : "times",
          "target_field" : "@timestamp",
          "formats" : [
            "yyyy-MM-dd HH:mm:ss"
          ],
          "timezone" : "Asia/Shanghai"
        }
      }
    ]
  },
  "docs": [
    {
      "_source": {
        "message": """
	[2022-02-28 09:02:54] [ERROR] [DubboServerHandler-192.168.1.12:2880-thread-185] {com.test.query.test001.test001query:175}-getTest 查询数据错误！
java.lang.Exception: 查询数据错误！！
错误详细信息：java.lang.IllegalArgumentException: java.net.ConnectException: Connection timed out (Connection timed out)
        at com.test.query.dcws60.test001query.query(test001query.java:155) [longcredit-interface-service-plugin-dcws60-1.0.0-SNAPSHOT.jar:?]
        at com.test.query.module.core.plugins.query.AbstractQueryPlugin.execute(AbstractQueryPlugin.java:122) [test-3.0.5-SNAPSHOT.jar:?]
        at com.test.query.module.core.plugins.query.QueryMetaDataCombine.execute(QueryMetaDataCombine.java:42) [test-3.0.5-SNAPSHOT.jar:?]
"""
      },
      "_index": "test_index"
    }
  ]
}

结果显示：

 

 最终结果显示就是完美展现了个性需求，截取需要的字段，过滤掉无用的信息，但这样对资源消耗也比较大，根据自己的实际情况就行取舍。

Loki采集Mysql errorlog，你值得拥有的错误日志聚合系统
张冲andy的博客
04-10 1138
data/mysql/mysql3306/logs/mysql.err 动态的被promtail+loki+grafana 采集展示。使用标签来作为索引，而不是对全文进行检索,所以在搜索上会有一定的局限性。但是，也能满足我们的需求。安装方式有多种，我选择了二进制安装方式。存储，搭建复杂，耗资源，上手难。2、创建loki的数据目录(注意目录的属主与权限)，我这里安装的是次新版本 2.7.5。参数，参数值根据实际情况填写，默认。接下来，我们去查询收集到的日志。，我们需要安装三个组件，
log4j实现ERROR异常日志邮件功能(支持发送频率)
weixin_45064766的博客
07-17 727
Log4J实现邮件告警功能描述实现思路依赖引入实现步骤 功能描述 目前项目使用的是Spring比较老的框架,未引入SpringBoot,由于需要临时做一个邮件告警功能. 以实时的收到模块的Exception 告警日志,实际上目前比较成熟的log4j高版本的支持kafka,es,但是考虑到目前的log4j的版本问题,所以简单的用了邮件 来实现. (因为目前的监控系统正在设计阶段,反正要重构,现阶段怎...
错误日志收集
08-02
收集收集错误日志
Log4j 记录error 日志
想飞的鱼
07-31 5593
第一个bug的起始，是在线上日志发现一个频繁打印的异常——java.lang.ArrayIndexOutOfBoundsException。但是却没有堆栈，只有一行一行的ArrayIndexOutOfBoundsException。没有堆栈，不知道异常是从什么地方抛出来的，也就不
前端错误日志收集
Eitaqx 的博客
12-31 2568
前端错误日志收集 1、采集内容 用户信息：当前状态、权限 等 行为信息：界面路径、执行的操作 等 异常信息：错误栈、错误描述、配置的信息 等 环境信息：设备型号、标识、操作系统 等 字段 类型 描述 time String 错误发生的时间 userId String 用户id userName String 用户名 userRoles Array 用户权限列表 errorStack String 错误栈 errorTimeStamp Number 时间戳 UA S
ELK日志采集及管理，SpringBoot+log4j2整合ELK
weixin_43627706的博客
04-25 1452
前言 最近再搞一套完整的云原生框架，详见 spring-cloud-alibaba专栏，目前已经整合的log4j2，但是想要一套可以实时观察日志的系统，就想到了ELK ELK Elasticsearch是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。 Logstash是一个完全开源的工具，他可以对你的日志进行收集、过滤，并将其存储供以后使用（如，搜索）。 Kibana 也是一个开源和免费的工具，它Kiba
日志管理：Slf4j、Log4j、LogBack与ELK实战指南
逆流的小鱼
06-03 1479
Slf4j作为一个接口层，让应用程序可以通过统一的API进行日志记录，而后端的实现可以在运行时绑定。也就是说，我们可以在开发时仅仅依赖Slf4j，在部署时选择将日志绑定到Log4j、LogBack或者其他日志系统。Log4j基于三个核心概念：Logger、Appender和Layout。Logger是日志操作的发起点，Appender负责发布日志到目的地，如文件、控制台或者远程服务器等，而Layout决定了日志的格式。
deepseek教你实现elk日志采集系统
最新发布
fw150104010012的博客
05-20 1934
作为高级Java开发工程师，您需要搭建的日志管理平台将基于Elastic Stack（ELK）技术栈实现，包含日志采集、传输、存储、分析和可视化全流程。
ELK日志采集系统与EFK安装与使用
zhzjn的博客
10-14 1161
ELKJava项目中的日志服务解决方案ELK 是一套流行的数据搜索、分析和可视化解决方案，由三个开源项目组成，每个项目的首字母合起来形成了“ELK”这一术语：Elasticsearch 是一个基于 Apache Lucene 构建的分布式、实时搜索与分析引擎。它能够索引、搜索和分析大量数据，并且提供了水平扩展能力，允许处理 PB 级别的数据。Elasticsearch 适合用于全文搜索、日志分析、监控指标聚合等多种场景，其 RESTful API 让数据的索引和查询变得非常便捷。Logstash 是一个动态
log4j2直接推日志到elk
qq_42870188的博客
08-23 814
log4j2直接推日志到elk笔记
ELK日志处理之使用logstash收集log4J日志
AndyLizh的专栏
04-20 6511
介绍一下如何从Java工程中导出log4J日志到Logstash。 一、log4j基础 不能免俗的官方介绍: Log4j 是一个使用 Java 语言编写的，可靠、快速、灵活的日志框架（API），使用 Apache Software License 授权。它被移植到 C、C++、C#、Perl、Python、Ruby 和 Eiffel 语言中。 Log4j 是高度可配置的，在运行期使
对项目中所有定时任务进行错误日志收集
weixin_41979002的博客
02-26 859
工作中遇到一个任务，对定时任务里开启的线程池中执行的异步任务进行错误日志监控，保证定时任务能正常运行，且出先异常时，运维人员能快速通过界面找到出现问题的任务。上述代码，主要列出了逻辑流程，具体业务代码省略，同样这个类的定时任务也有很多，这里只列出一个，便于演示。代码解析：一个定时任务，有一个for循环，循环多次向线程池提交异步任务。
ELK技术1--收集nginx正确和错误日志
weixin_44736359的博客
07-18 423
文章目录一.ELK介绍二.日志收集分类三.安装部署ELK4.2.4 修改日志为json格式 [root@elk-175 ~]# vim /etc/tomcat/server.xml [root@elk-175 ~]# cat -n /etc/tomcat/server.xml137 设置labelslogging设置增加labels.service设置labelslogging设置增加labels.serviceAccess logsSet custom paths for the log
ELK搭建（十二）：搭建Nginx访问、错误日志监控平台
55555的博客
07-02 1514
Nginx是一款轻量级、高性能的流量分发和反向代理的web服务。随着市场业务量的增加，普通的web容器，如tomcat的并发量已经远不能满足我们的业务量，同时随着分布式架构的普及，我们需要一款反向代理服务的支持，于是Nginx应运而生。Nginx已经在大多数业务中普遍使用，因此针对Nginx的流量监控，错误日志监控极其必要，这样才能让我们能够及时了解系统运行情况。那么今天，我们就来看看如何搭建Nginx访问记录、错误日志监控平台我们的平台是基于elasticsearch+kibana来实现的，也就是我们常说
filebeat收集不规则多行日志
工具人的博客
04-06 826
原先pipeline中grok的写法如下，并且已经在filebeat.yml将日志合并为单个事件，也无法在message中使用官方提供的。现环境有多行日志输出内容和格式不确定，合并后使用grok默认正则无法收集，需要自己编写正则。最后将message字段修改成如下内容可以进行正确匹配。匹配到多行日志，个人认为是日志中有大量的。造成，会报错导致丢掉该条日志。
Elasticsearch+Filebeat+Log4j日志收集
云丶起的博客
06-09 2819
Elasticsearch+Filebeat+Log4j日志收集Elasticsearch+Filebeat+Log4j日志收集工具简述版本配置ElasticsearchElasticsearch-head插件KibanaFilebeat Elasticsearch+Filebeat+Log4j日志收集 工具简述 Elasticsearch Elasticsearch是一种分布式的海量数据搜索...
ELK企业级日志分析系统
shengmodizu的博客
05-19 200
文章目录ELK日志分析系统ELK中日志处理步骤Elasticsearch概述 ELK日志分析系统 ELK是由Elasticsearch、Logstash、Kiban三个开源软件的组合。在实时数据检索和分析场合，三者通常是配合共用，而且又都先后归于 Elastic.co 公司名下，故有此简称。 ELK中日志处理步骤 第一步：将日志进行集中化管理（beats） 第二步：将日志格式化（Logstash），然后将格式化后的数据输出到Elasticsearch 第三步：对格式化后的数据进行索引和存储（Elastics
Elasticsearch记录日志，正确响应不记录结果，只记录错误请求
阳水平的博客
12-17 299
Elasticsearch记录日志，正确响应不记录结果，只记录有请求过；
日志收集笔记（Filebeat 日志收集、Logstash 日志过滤）
KeePCoding
03-01 2787
Filebeat 是使用 Golang 实现的轻量型日志采集器，也是 Elasticsearch stack 里面的一员。本质上是一个 agent ，可以安装在各个节点上，根据配置读取对应位置的日志，并上报到相应的地方去。
Apache Log4j 1.2.15 日志工具与配置详解
同时，Log4j 也经常与日志分析工具（如 Logstash、ELK Stack）配合使用，实现日志的集中采集、分析和可视化。 --- ### 四、压缩包子文件知识点解析：log4j.properties、apache-log4j-1.2.15 压缩包中包含两个文件...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值