Spring Boot接入Graylog

原创 已于 2022-11-15 08:10:00 修改 · 2.1k 阅读 · 5 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#spring boot #graylog #java

于 2022-11-15 08:04:35 首次发布
本文介绍了如何将Springboot项目接入Graylog，实现日志的统一查询与管理。首先需要在Graylog中配置GELF输入（支持UDP和TCP），然后在Springboot项目中引入logback-gelf依赖并配置相关参数，如Graylog服务器地址、端口、应用名称和环境。日志格式化为GELF后，通过UDP或TCP发送到Graylog。注意TCP方式需要异步输出以避免影响应用。配置完成后，日志将在Graylog中可查询。

📚概述

安装完graylog后，如何将Srping boot项目接入到Graylog中，实现日志统一查询与管理呢？这里主要需要两个步骤：

  1. Graylog配置相应的GELF Input
  2. Spring boot项目需要引入相关logback-gelf的maven依赖，并完成配置

📗Graylog配置GELF input

GELF：The Graylog Extended Log Format (GELF) is a log format that avoids the shortcomings of classic plain syslog.
详细资料：https://docs.graylog.org/docs/gelf
GELF是一种日志格式，能避免传统意义上的 syslogs的一些缺陷：

  1. 长度限制为1024字节。
  2. 数据类型无法区分，数字和字符串是无法区分的。
  3. 无压缩。

Spring Boot项目引入的Maven依赖则是把日志格式化成GELF格式然后append到GrayLog上。

📌注意：

  • GELF有两种形式：UDP和TCP；
  • UDP在会存在丢包问题；graylog服务挂掉，对应用没有影响；
  • TCP形式需要以异步形式输出；否者graylog服务挂掉，直接影响应用运行。

📐GELF TCP 配置

点击System/Inputs，选择GELF TCP，点击 Launch new input
image.png
填写相关的必要配置信息
image.png

🔗GELF TCP 配置

点击System/Inputs，选择GELF UDP，点击 Launch new input，然后填写配置信息保存即可
image.png

配置完成后，处于运行中就是正常的。
image.png

📙Spring Boot配置

🧵pom文件添加依赖

<!--graylog日志依赖-->
<dependency>
    <groupId>de.siegmar</groupId>
    <artifactId>logback-gelf</artifactId>
    <version>3.0.0</version>
</dependency>

🛒配置文件定义graylog参数

# graylog 配置
## graylog 服务地址
graylog.graylogHost=10.0.107.102
## TCP端口或者UDP端口
graylog.graylogPort=12201
## 应用名称
graylog.app_name=arrow-admin
## 应用的环境，为了统一过滤，只能是（dev|test|pre|pro）
graylog.app_env=pro

⛳logback-spring.xml配置

Java日志推荐打到标准输出，如果有多少不同类型的日志，建议在日志格式中加一个自定义标签（log_tag），来标识日志的类型，这样日志分析工具可以根据这个标签将不同的日志类型过滤到不同的索引中存储。

UDP格式接入graylog：

注意：

  1. 如果数据量很大，存在丢包情况。
  2. 同一时刻日志到graylog中的顺序和输出顺序存在不一致的情况。
  3. graylog 服务器端挂掉会丢失日志，对应用服务没有影响。
<?xml version="1.0" encoding="UTF-8"?>

<configuration debug="false" scan="true" scanPeriod="120 seconds">
    
    <!--获取配置文件中graylog配置-->
    <springProperty scope="context" name="graylog.graylogHost"
                    source="graylog.graylogHost"/>
    <springProperty scope="context" name="graylog.graylogPort"
                    source="graylog.graylogPort"/>
    <springProperty scope="context" name="graylog.app_name"
                    source="graylog.app_name"/>
    <springProperty scope="context" name="graylog.app_env"
                    source="graylog.app_env"/>
    <!--配置日志输出到统一日志搜集平台Graylog-->
    <appender name="GELF" class="de.siegmar.logbackgelf.GelfUdpAppender">
        <!-- Graylog服务的地址 -->
        <graylogHost>${graylog.graylogHost}</graylogHost>
        <!-- UDP Input端口 -->
        <graylogPort>${graylog.graylogPort}</graylogPort>
        <!-- 最大GELF数据块大小（单位：字节），508为建议最小值，最大值为65467 -->
        <maxChunkSize>508</maxChunkSize>
        <!-- 是否使用压缩 -->
        <useCompression>true</useCompression>
        <encoder class="de.siegmar.logbackgelf.GelfEncoder">
            <!--原始主机名（对应graylog中source字段），如果未指定，将自动检测-->
            <!--<originHost>logback-graylog</originHost>-->
            <!-- 是否发送原生的日志信息 -->
            <includeRawMessage>false</includeRawMessage>
            <includeMarker>true</includeMarker>
            <includeMdcData>true</includeMdcData>
            <includeCallerData>false</includeCallerData>
            <includeRootCauseData>false</includeRootCauseData>
            <!-- 是否发送日志级别的名称，否则默认以数字代表日志级别 -->
            <includeLevelName>true</includeLevelName>
            <!--这个控制message字段，默认值为%m%nopex，表示只输出message，不输出任何堆栈跟踪（nopex）-->
            <shortPatternLayout class="ch.qos.logback.classic.PatternLayout">
                <!--标准日志格式-->
                <pattern>%d{yyyy-MM-dd HH:mm:ss.SSS} [%thread] %-5p [%file:%line] - %m%n</pattern>
            </shortPatternLayout>
            <!--这个控制full message字段，内容基本上和message一样，所以这里直接配置行分隔符，就会忽略该字段，默认为%m%n-->
            <fullPatternLayout class="ch.qos.logback.classic.PatternLayout">
                <pattern>%n</pattern>
            </fullPatternLayout>

            <!-- 配置应用名称（服务名称），通过staticField标签可以自定义一些固定的日志字段，用于进行日志分类 -->
            <staticField>app_name:${graylog.app_name}</staticField>
            <staticField>env:${graylog.app_env}</staticField>
            <!--日志类型Java-->
            <staticField>log_type:Java</staticField>
        </encoder>
    </appender>


    <!-- 日志输出级别 -->
    <root level="INFO">

    	<appender-ref ref="GELF"/>
    </root>
</configuration>

TCP格式接入graylog：

注意：

  1. TCP形式引入，需要以异步形式引入日志，否者会影响应用服务正常运行。
  2. 同一时刻日志到graylog中的顺序和输出顺序存在不一致的情况。
  3. graylog 服务器端挂掉会丢失日志，对应用服务没有影响。
<?xml version="1.0" encoding="UTF-8"?>
<!--scan为true时，如果配置文件发生改变将会进行重新加载 -->
<!-- scanPeriod属性设置监测配置文件修改的时间间隔，默认单位为毫秒，在scan为true时才生效 -->
<configuration debug="false" scan="true" scanPeriod="120 seconds">
    <!--日志文件路径读取自nacos配置-->
    <springProperty scope="context" name="logPath" source="log.path" defaultValue="./logs"/>
    <!--定义日志文件的存储地址 -->
    <property name="LOG_HOME" value="${logPath}"/>
    <!--appName 应用服务名称-->
    <springProperty scope="context" name="appName"
                    source="spring.application.name"/>

    <!--格式化输出：%d表示日期，%thread表示线程名，%-5level：级别从左显示5个字符宽度%msg：日志消息，%n是换行符-->
    <property name="LOG_FORMAT" value="%d{yyyy-MM-dd HH:mm:ss.SSS} [%thread] %-5level %logger{50} - %msg%n"/>
    <!-- Console 输出设置 -->
    <appender name="STDOUT" class="ch.qos.logback.core.ConsoleAppender">
        <encoder>
            <pattern>${LOG_FORMAT}</pattern>
            <charset>utf8</charset>
        </encoder>
    </appender>

    <!-- 按照每天生成日志文件 -->
    <appender name="LOG_FILE" class="ch.qos.logback.core.rolling.RollingFileAppender">
        <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
            <!--日志文件输出的文件名-->
            <FileNamePattern>${LOG_HOME}/${appName}_info.%d{yyyy-MM-dd}.%i.log</FileNamePattern>
            <!--日志文件保留天数-->
            <MaxHistory>30</MaxHistory>
            <!-- 日志占用总空间限制 -->
            <totalSizeCap>2GB</totalSizeCap>
            <!-- 启动服务时清理历史数据 -->
            <cleanHistoryOnStart>true</cleanHistoryOnStart>
            <!-- 单个日志文件大小-->
            <timeBasedFileNamingAndTriggeringPolicy class="ch.qos.logback.core.rolling.SizeAndTimeBasedFNATP">
                <!-- 日志文件的最大大小 -->
                <maxFileSize>20MB</maxFileSize>
            </timeBasedFileNamingAndTriggeringPolicy>
        </rollingPolicy>
        <encoder class="ch.qos.logback.classic.encoder.PatternLayoutEncoder">

            <pattern>${LOG_FORMAT}</pattern>
            <charset>utf8</charset>
        </encoder>
    </appender>

    <!--获取配置文件中graylog配置-->
    <springProperty scope="context" name="graylog.graylogHost"
                    source="graylog.graylogHost"/>
    <springProperty scope="context" name="graylog.graylogPort"
                    source="graylog.graylogPort"/>
    <springProperty scope="context" name="graylog.app_name"
                    source="graylog.app_name"/>
    <springProperty scope="context" name="graylog.environment"
                    source="graylog.environment"/>

    <!-- TCP配置日志输出到统一日志搜集平台Graylog -->
    <appender name="GELF" class="de.siegmar.logbackgelf.GelfTcpAppender">
        <!-- Graylog服务的地址 -->
        <graylogHost>${graylog.graylogHost}</graylogHost>
        <!-- UDP Input端口 -->
        <graylogPort>${graylog.graylogPort}</graylogPort>
        <connectTimeout>15000</connectTimeout>
        <reconnectInterval>300</reconnectInterval>
        <maxRetries>2</maxRetries>
        <retryDelay>3000</retryDelay>
        <poolSize>2</poolSize>
        <poolMaxWaitTime>5000</poolMaxWaitTime>
        <!--<poolMaxIdleTime>10</poolMaxIdleTime>-->
        <encoder class="de.siegmar.logbackgelf.GelfEncoder">
            <!--原始主机名（对应graylog中source字段），如果未指定，将自动检测-->
            <originHost>192.168.124.75</originHost>
            <includeRawMessage>false</includeRawMessage>
            <includeMarker>true</includeMarker>
            <includeMdcData>true</includeMdcData>
            <includeCallerData>false</includeCallerData>
            <includeRootCauseData>false</includeRootCauseData>
            <includeLevelName>false</includeLevelName>
            <!--这个控制message字段，默认值为%m%nopex，表示只输出message，不输出任何堆栈跟
            踪（nopex）-->
            <shortPatternLayout class="ch.qos.logback.classic.PatternLayout">
                <pattern>${LOG_FORMAT}</pattern>
            </shortPatternLayout>
            <!--这个控制full message字段，内容基本上和message一样，所以这里直接配置行分隔
            符，就会忽略该字段，默认为%m%n-->
            <fullPatternLayout class="ch.qos.logback.classic.PatternLayout">
                <pattern>%n</pattern>
            </fullPatternLayout>
            <numbersAsString>false</numbersAsString>
            <!--控制着自定义字段，需要在spring配置文件中配置，并且在本文件中配置
            springProperty标签-->
            <staticField>app_name:${graylog.app_name}</staticField>
            <staticField>environment:${graylog.environment}</staticField>
            <!--日志类型Java-->
            <staticField>log_type:Java</staticField>
        </encoder>
    </appender>

    <!--异步记录日志,需要异步进行日志记录，否者会影响应用服务正常运行-->
    <appender name="ASYNC_GELF" class="ch.qos.logback.classic.AsyncAppender">
        <appender-ref ref="GELF"/>
    </appender>

    <!-- 日志输出级别 -->
    <root level="INFO">
        <appender-ref ref="STDOUT"/>
        <appender-ref ref="LOG_FILE"/>
        <appender-ref ref="ASYNC_GELF"/>
    </root>
</configuration>

🎫验证

配置完以后，就可以在Graylog中查询日志了，如果没有配置index、Stream，默认会在All Messages中，如果需要对日志进行分类处理。需要配置index、Stream以及对应的过滤规则。

image.png

【SpringBoot】72、SpringBoot中接入轻量级分布式日志框架Graylog
Asurplus
10-26 21万+
Graylog 是一个开源的日志聚合、分析、审计、展现和预警工具。在功能上来说，和 ELK 类似，但又比 ELK 要简单很多。依靠着更加简洁，高效，部署使用简单的优势很快受到许多人的青睐。当然，在扩展性上面确实没有ELK好，但是其有商业版本可以选择
SpringBoot集成Graylog
知识改变命运，ヾ(◍°∇°◍)ﾉﾞ【求关注】
03-31 530
搭建：Graylog 创建文件名称：一定要起这个名字 然后把上面的内容粘贴到创建的文件里面。如下图，官方问答已经给出了，必须起这个名字： 修改ES存储数据：进行注释掉配置文件中的配置地址，使用阿里云或者其他平台大搭建的ES 启动本地已经安装好的ES服务器： 启动成功： 修改密码： 后台运行命令： springboot整合Graylog ...
SpringBoot集成分布式日志管理平台graylog
最新发布
usa_washington的博客
03-07 1349
分布式日志管理平台
SpringBoot项目接入Graylog日志中心
一几文的编程学习笔记。
10-29 1375
最近突然被通知要使用Graylog来管理项目日志，不过Graylog日志中心不是我搭的，我只是做将项目接入日志中心的工作，之前没用过这个工具，第一次弄记录一下。 SpringBoot项目配置修改： 首先是pom文件添加依赖 <dependency> <groupId>de.siegmar</groupId> <artifactId>logback-gelf</artifactId> <version>3.0.0
SpringBoot接入GrayLog（分布式日志组件）
m0_67698950的博客
08-03 526
之前我好像是在知乎看到过类似的一段话：一个工具或框架使用优秀，就取决于它的入门的难易。如果一个框架要花很长时间才能弄懂，那可能它做得并没那么好。我其实不会经常去研究各种使用的框架它的细节原理，也不会蒙头就去看源码，没什么必要，毕竟它没出问题啊。像GrayLog这种工具类的框架，如果在公司不是主要的维护者，其实不必太过于纠结他的实现细节，可以从总体上把握他的设计思想。换我建议，真要学习，还得是看它的具体存储（比如Elasticsearch的原理）......
SpringBoot使用Graylog日志收集
大老杨的博客
04-22 3550
本文介绍SpringBoot如何使用Graylog日志收集。 1.Graylog介绍 Graylog是一个生产级别的日志收集系统，集成Mongo和Elasticsearch进行日志收集。其中Mongo用于存储Graylog的元数据信息和配置信息，ElasticSearch用于存储数据。 架构图如下： 生产环境配置图如下： 2.安装Graylog 在官方文档上推荐了很多种安装的方式，这里以d...
SpringBoot接入轻量级分布式日志框架GrayLog
zhiyikeji的博客
12-18 3863
Graylog 日志监控系统Graylog 是一个开源的日志聚合、分析、审计、展现和预警工具。在功能上来说，和 ELK 类似，但又比 ELK 要简单很多。依靠着更加简洁，高效，部署使用简单的优势很快受到许多人的青睐。当然，在扩展性上面确实没有比 ELK 好，但是其有商业版本可以选择。部署 Graylog 最简单的架构就是单机部署，复杂的也是部署集群模式，架构图示如下所示。我们可以看到其中包含了三个组件，分别是 Elasticsearch、MongoDB 和 Graylog。其中。
SpringBoot接入GrayLog
CRMEB小程序商城的博客
03-15 639
00、为什么需要分布式日志组件？ 在文章正式开始之前，我分享下我以前负责过的一个系统，它的架构如下： 每次当我查问题的时候，我可能能把问题初步定位在逻辑层，但为了能给业务方交代，我需要给证据业务方看（日志信息就是铁证）。 一个请求肯定是被这8台机器内的某一台处理，但具体是哪一台，我不知道。所以，我需要上每台机器上grep一把日志，然后才能找出对应的日志证明我的分析。 有的时候，可能接入层也需要一起参与进去，就排查一个问题，人都傻了了（翻看日志的时间占用了太久了）。 后来啊，看了同事的骚操作（在item2
SpringBoot接入轻量级分布式日志框架（GrayLog）
m0_69305074的博客
04-25 610
00、为什么需要分布式日志组件？ 在文章正式开始之前，我分享下我以前负责过的一个系统，它的架构如下： 每次当我查问题的时候，我都能把问题初步定位在 逻辑层 ，但为了能给业务方交代，我需要 给证据 业务方面（日志信息就是铁证）。 一个请求肯定是被这8台机器内的某一台处理，但具体是哪一台，我不知道。所以，我需要上每台机器上 grep 一把日志，然后才能找出对应的日志证明我的分析。 有的时候，可能 接入层 也需要一起参与进去，就排查一个问题，人都傻了了（翻看日志的时间占用了太久了）。 后
Springboot整合GrayLog日志平台
xiaoye的博客
04-07 4124
之前一直想搭建一下ELK日志平台，但是ELK组件之间各种配置让人感觉不是很好用，然后就发现了GrayLog这个日志管理和收集平台，上手以后发现确实简单。这里就记录一下整合到springboot项目中的过程。 一、简介和对比 （一）官方网站 GrayLog开源官方网站为：https://www.graylog.org/ 注：下载安装GrayLog以后安装然后修改配置文件中es和mongodb的地址，其中es是用来存储丢到GrayLog中的日志，mongodb是用来存储GrayLog本身的数据的。 （二）Gra
Springboot集成graylog快速入门demo
HBLOG
01-31 992
一、graylog介绍GrayLog是一个轻量型的分布式日志管理平台，一个开源的日志聚合、分析、审计、展示和预警工具。在功能上来说，和ELK类似，但又比ELK要简单轻量许多。依靠着更加简洁，高效，部署使用简单的优势很快受到许多公司的青睐。GrayLog包含Elasticsearch、MongoDb 和Graylog三个模块二、graylog环境搭建这里采用docker-compose来搭建gray...
SpringBoot使用Graylog日志收集的实现示例
08-26
Graylog是一个生产级别的日志收集系统，集成Mongo和Elasticsearch进行日志收集，这篇文章主要介绍了SpringBoot使用Graylog日志收集的实现示例，感兴趣的小伙伴们可以参考一下
放弃 ELK！SpringBoot接入轻量级分布式日志框架GrayLog
emprere的博客
12-17 340
因公众号更改推送规则，请点“在看”并加“星标”第一时间获取精彩技术分享点击关注#互联网架构师公众号，领取架构师全套资料 都在这里0、2T架构师学习资料干货分上一篇：2T架构师学习资料干货分享大家好，我是互联网架构师！当我们公司内部部署很多服务以及测试、正式环境的时候，查看日志就变成了一个非常刚需的需求了。是多个环境的日志统一收集，然后使用 Nginx 对外提供服务，还是使用专用的日志收集服务 EL...
SpringBoot接入Graylog
weixin_43192403的博客
09-26 310
SpringBoot整合Graylog 一、pom.xml 引入logback插件 <dependency> <groupId>de.siegmar</groupId> <artifactId>logback-gelf</artifactId> <version>2.2.0</version> </dependency> 二、logback.xml添加输出源 <spring
SpringBoot项目连接Graylog
LB_bei的博客
12-09 601
直接用logback将控制台输出的日志发送到graylog上。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值