告别沉重的ELK,这套轻量级的日志系统值得你拥有

Grafana+Loki+Loki4j实行日志可视化管理 本文主要介绍用Grafana+Loki的方式实现日志可视化管理,采用Loki4j通过http协议直接将日志发送到Loki,不需要采用Promtail 的形式发送。 阅读详情

👉 这是一个或许对你有用的社群

🐱 一对一交流/面试小册/简历优化/求职解惑,欢迎加入「芋道快速开发平台」知识星球。下面是星球提供的部分资料: 

2fa9306a0f13e0eac151ba579cdc787f.gif

👉这是一个或许对你有用的开源项目

国产 Star 破 10w+ 的开源项目,前端包括管理后台 + 微信小程序,后端支持单体和微服务架构。

功能涵盖 RBAC 权限、SaaS 多租户、数据权限、商城、支付、工作流、大屏报表、微信公众号、CRM 等等功能:

  • Boot 仓库:https://gitee.com/zhijiantianya/ruoyi-vue-pro

  • Cloud 仓库:https://gitee.com/zhijiantianya/yudao-cloud

  • 视频教程:https://doc.iocoder.cn

【国内首批】支持 JDK 21 + SpringBoot 3.2.2、JDK 8 + Spring Boot 2.7.18 双版本 

来源:源话编程(gh_289d0f98fdae)


在软件开发中,日志系统扮演着至关重要的角色。它不仅帮助开发者调试程序,还能在生产环境中监控应用状态。本文将讲解如何使用 Loki、Loki4j、Grafana 和 Spring Boot 搭建一个轻量级、简单、易用的 Java 日志系统。

系统组件概览

什么是 Loki?

Loki 是由 Grafana Labs 开源的一款高可用、高扩展性、多租户的日志聚合系统。它受到 Prometheus 的启发,采用了类似的机制,使用标签(labels)对日志进行特征标记,然后进行归集统计。

Loki 的设计理念是经济高效且易于操作,它不会为日志内容建立全文索引,而是对日志数据进行压缩存储,并且只对日志数据的元数据(如时间戳、labels 等)建立索引。这样的设计使得 Loki 在存储成本和查询效率方面具有优势。

什么是 Loki4j?

Loki4j 是一个专为 Java 应用程序设计的日志 appender,它使得 Java 应用能够直接将日志发送到 Loki 服务器。Loki4j 特别适用于 Spring Boot 环境,因为它可以无缝集成到使用 Logback 或 Log4j2 的系统中,为 Java 开发者提供了一个简单而强大的日志管理解决方案。

什么是 Grafana?

Grafana 是一个功能强大的开源数据可视化和监控平台。它支持多种数据源,包括 Loki,允许用户创建动态且高度定制的仪表板,以直观展示日志数据。Grafana 的灵活性和丰富的功能使其成为监控和分析日志数据的理想选择。

基于 Spring Boot + MyBatis Plus + Vue & Element 实现的后台管理系统 + 用户小程序,支持 RBAC 动态权限、多租户、数据权限、工作流、三方登录、支付、短信、商城等功能

  • 项目地址:https://github.com/YunaiV/ruoyi-vue-pro

  • 视频教程:https://doc.iocoder.cn/video/

搭建步骤

1. 安装 Loki 和 Grafana

首先,我们需要安装 Loki 和 Grafana。本文通过 Docker 来快速部署它们。

> 基于 Spring Cloud Alibaba + Gateway + Nacos + RocketMQ + Vue & Element 实现的后台管理系统 + 用户小程序,支持 RBAC 动态权限、多租户、数据权限、工作流、三方登录、支付、短信、商城等功能
>
> * 项目地址:<https://github.com/YunaiV/yudao-cloud>
> * 视频教程:<https://doc.iocoder.cn/video/>

# 安装Loki
docker run -d --name loki -p 3100:3100 grafana/loki:latest -config.file=/etc/loki/local-config.yaml

# 安装Grafana
docker run -d --name grafana -p 3000:3000 grafana/grafana:latest

2. 配置 Loki4j

在 Spring Boot 项目中,我们将使用 Loki4j 来发送日志到 Loki。

首先,添加 Loki4j 依赖到你的pom.xml文件中:

<dependency>
    <groupId>com.github.loki4j</groupId>
    <artifactId>loki-logback-appender</artifactId>
    <version>1.4.1</version>
</dependency>

然后,配置 Logback,在 src/main/resources 目录下创建 logback.xml 文件,并添加以下配置:

<?xml version="1.0" encoding="UTF-8"?>
<configuration>
    <!-- 引入Spring应用名称 -->
    <springProperty name="name" source="spring.application.name"/>

    <!-- 控制台输出器 -->
    <appender name="CONSOLE" class="ch.qos.logback.core.ConsoleAppender">
        <encoder>
            <pattern>%d{yyyy-MM-dd HH:mm:ss.SSS} [thread %thread] %-5level %logger{35}.%method - %msg%n</pattern>
        </encoder>
    </appender>

    <!-- Loki输出器 -->
    <appender name="LOKI" class="com.github.loki4j.logback.Loki4jAppender">
        <http>
            <url>http://localhost:3100/loki/api/v1/push</url>
        </http>
        <format>
            <label>
                <pattern>application=${name},level=%level</pattern>
                <readMarkers>true</readMarkers>
            </label>
            <message>
                <pattern>
                    {"timestamp": "%d{yyyy-MM-dd HH:mm:ss.SSS}", "level": "%level", "logger": "%logger{36}.%method", "method":"%M", "line":"%line", "thread": "%thread", "message": "%msg%n"}
                </pattern>
            </message>
            <sortByTime>true</sortByTime>
        </format>
    </appender>

    <root level="INFO">
        <appender-ref ref="CONSOLE"/>
        <appender-ref ref="LOKI"/>
    </root>

</configuration>

3. 配置 Grafana

打开 Grafana 的 Web 界面(地址为http://localhost:3000),首次登录账号密码都是 admin,登录之后修改密码,添加 Loki 作为数据源,并配置它指向运行中的 Loki 服务。

86f77108256a9c2b7be1efd1d0ac5ce9.png 490e8a2e06d3b143720377a336d876e1.png 8159d10fe9bb642e008c36a87121d971.png a42e004d904e5891a55cfe56e94adfea.png

4. 运行 Spring Boot 应用

运行你的 Spring Boot 应用,现在所有的日志都会发送到 Loki,并且可以在 Grafana 中查看。

5. 查看日志

在 Grafana 中,你可以创建仪表板来展示日志数据。选择 Loki 作为数据源,然后使用 Loki 的查询语法来过滤和展示日志。

下面做一个简单查看日志的操作,点击 explore ,数据源选loki,在Label filters选项中选择标签(application)和值(muqing-api),点右上角Run query搜索查看日志。

75497feaaf1dd12567facd06f29ba1d3.png 6ce86120e64fbd6ee3f6b72dd1a4ceab.png

结语

通过上述步骤,我们成功搭建了一个简单的 Java 日志系统,它结合了 Loki 的强大日志聚合能力、Loki4j 的便捷日志发送功能、Grafana 的可视化展示。本文讲解了如何快速的搭建一个简单的日志系统,实际开发中还有许多因素需要考虑,比如安全性等方面。

后续还会针对 Loki 的另一个日志收集器Promtail进行讲解,它是一个支持任何格式、可独立部署、灵活度更高的服务。

个人观点,仅供参考。


欢迎加入我的知识星球,全面提升技术能力。

👉 加入方式,“长按”或“扫描”下方二维码噢:

fb9d87bf218ef78a313aba41f25a3749.png

星球的内容包括:项目实战、面试招聘、源码解析、学习路线。

0233da28753e51860fa3bd46c5631c9e.png

c1c79910503740c9a0ce0e4882c6e583.pngfdc540ad0192c6299759fea08c932461.pngf26264c89ed68a3ff9b9156abf3e95f1.png36f8a035bb74ce6cd69dee97de974c0c.png

文章有帮助的话,在看,转发吧。
谢谢支持哟 (*^__^*)
springboot+Loki+Loki4j+Grafana搭建轻量级日志系统 立即下载

相关推荐

微信小程序-如何根据缩放屏幕大小自适应icon图标更改marker

微信小程序如何根据用户的缩放屏幕来改变marker图标icon的大小,实现icon自适应屏幕缩放的效果

Bartender_VA11的博客 3986

推荐开源项目:Loki-Logback-Appender - 高效轻量的Loki日志收集利器

推荐开源项目:Loki-Logback-Appender - 高效轻量的Loki日志收集利器 1、项目介绍 Loki4j 是一个专为Logback设计的高效且轻量级的日志收集器,用于对接 Loki——一款流行的分布式日志聚合系统。这个项目由社区驱动,旨在提供最快速、占用资源最少的服务。 项目的官方微网站提供了详细的快速入门和配置指南,帮助您快速上手: 快速启动 配置指南 如果您发现这个项目对您...

gitblog_00038的博客 1056

C#实战:如何用winmm.dll打造毫秒级高精度定时器(附完整代码)

本文详细介绍了在C#中利用winmm.dll实现毫秒级高精度定时器的完整方案。针对.NET内置定时器精度不足的问题,通过调用timeSetEvent等原生API,提供了超越系统时钟中断周期的精准定时能力。文章包含核心原理剖析、完整的封装类代码以及音视频处理、游戏开发等场景下的实战应用与性能调优指南。

ujm5678901的博客 691

告别沉重的ELK,这套轻量级的日志系统值得你拥有!

阅读本文大概需要 4 分钟。来自:juejin.cn/post/7295160228879122458推荐一个程序员编程资料站:http://cxyroad.com2024年IDEA最新激活方法后台回复:激活码优快云免登录复制代码插件下载:优快云复制插件以下是正文。在软件开发中,日志系统扮演着至关重要的角色。它不仅帮助开发者调试程序,还能在生产环境中监控应用状态。本文将讲解如何使用 Loki、...

良月柒 262

Ubuntu22.04通过DKMS包安装Intel WiFi系列适配器(网卡驱动)

Ubuntu安装Intel WiFi系列适配器(网卡驱动)

lu_linux的博客 2605

四款办公Agent实测对比:WorkBuddy、千问办公、库库AI、豆包工作怎么选

AI Agent是一种能感知环境、自主决策并执行动作的智能系统,其核心在于工具调用、状态管理与错误恢复构成的执行闭环。在办公场景中,任务边界清晰、容错率高、重复性强,使Agent成为最容易落地的方向。通过调用本地文件、脚本或办公套件,Agent能自动完成文件批量处理、文档摘要、会议纪要等重复劳动,显著提升工作效率。目前WorkBuddy、千问办公、库库AI、豆包工作等产品分别从本地操作、办公套件嵌入、知识处理、轻量助手等路线切入,用户可根据自身场景选择。

weixin_29052717的博客 533

windows实现Grafana+Loki+loki4j轻量级日志系统,告别沉重的ELK

将下载的loki-windows-amd64.exe.zip压缩包解压,得到loki-windows-amd64.exe文件,进入文件夹创建config文件夹,在config文件夹下创建配置文件:loki-config.yaml。进入设置界面,添加Loki服务地址:http://localhost:3100, 在Header上添加X-Scope-OrgID参数,参数值可以自定义,默认tenant1, 然后点击save&test看看是否成功。注意:wal文件夹是运行Loki后自动生成的。

weixin_43749805的博客 2682

LeRobot 入门教程(二)强化学习训练及 SmolVLA 模型微调

本文介绍了LeRobot框架中基于人类在环的样本高效强化学习(HIL-SERL)工作流,包含真实机器人训练和模拟环境训练两大模块。在真实机器人部分,详细说明了从配置设置、工作空间边界确定、演示数据收集、奖励分类器训练到演员-学习者架构部署的全流程,并强调了人类干预的关键作用。同时介绍了适用于模拟训练的gym_hil环境及其配置使用方法。最后,文章提供了微调SmolVLA基础模型的指南,包括数据集收集、微调步骤和模型评估方法。该工作流实现了人机协作的高效强化学习,适用于各类机器人操作任务。

2506_90492529的博客 3902

Anthropic API零配置路由层:告别胶水代码的架构升级

在大模型API服务中,请求路由、弹性缓冲与多区域容灾曾是开发者必须自建的三大核心中间件——它们构成典型的‘胶水层’,消耗大量工程资源却难以稳定交付SLA。其底层原理涉及动态拓扑感知、毫秒级内存缓冲与原子化故障切换,技术价值在于将高可用能力从用户侧下沉为平台原语,显著降低运维复杂度与错误率。典型应用场景包括金融客服实时对话、电商脉冲式报告生成、跨区域SaaS服务等对延迟敏感、流量波动大的生产系统。Anthropic此次发布的‘Zero Layer’正是这一演进的标志性实践,通过静默升级API网关,让传统负载均

weixin_30911451的博客 396

运维系列【仅供参考】: Windos10和Windos11 配置intel网卡vlan的方法

Windos10和Windos11 配置intel网卡vlan的方法

weixin_54626591的博客 478

电机驱动器MP6540H应用设计

/ ... 其他初始化函数(SystemClock_Config, MX_GPIO_Init, MX_TIM1_Init, MX_TIM2_Init)需要你根据STM32CubeMX生成或手动编写。// 假设霍尔传感器引脚是 GPIO_PIN_8, GPIO_PIN_9, GPIO_PIN_10。// 低侧U相GPIO引脚。

zhusl6688的博客 665

轻量级日志系统——Loki

Loki是团队最新的开源项目,是一个水平可扩展,高可用性,多租户的日志聚合系统。它的设计非常经济高效且易于操作,因为它不会为日志内容编制索引,而是为每个日志流编制一组标签。项目受 Prometheus启发,官方的介绍就是:,类似于Prometheus的日志系统。

wzpny的博客 1万+

YOLO系列算法改进 | C2PSA改进篇 | 融合FSD频域结构解耦模块 | 双域解耦感知,兼顾全局亮度与局部纹理,适应红外小目标与边缘部署场景 | ICME 2026

YOLO系列算法改进 | C2PSA改进篇 | 融合FSD频域结构解耦模块 | 双域解耦感知,兼顾全局亮度与局部纹理,适应红外小目标与边缘部署场景 | ICME 2026 (以YOLO26最新目标检测模型为基础,利用C2PSA_FSD创新模块进行改进)

2502_91881744的博客 318

SpringBoot+Loki4j+Loki+Grafana搭建轻量级日志系统

本文介绍了一种基于SpringBoot、Loki4j、Loki和Grafana的轻量级日志系统解决方案。相比传统的ELK(Elasticsearch + Logstash + Kibana)系统,该方案更轻量、易部署且资源消耗更低。 核心组件: Loki:高效的日志聚合系统,采用标签查询模型,支持水平扩展 Loki4j:Java日志库,可直接将应用日志推送到Loki Grafana:数据可视化平台,用于日志查询和分

wangzhilong1996的博客 2004

efm32 入门.pdf

本PDF共计22页,介绍的是操作驱动API,下载与否自己斟酌。

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

分布式锁框架Lock4j简单使用

Lock4j是一个分布式锁组件,它提供了多种不同的支持以满足不同性能和环境的需求;它基于Spring AOP,支持RedisTemplate、Redisson、Zookeeper作为底层。

专注Java后端技术干货、项目源码总结分享,期待您的关注。 4308

老版QQ原生表情gif动态

这是老版的QQ表情,不过全是动态的的,Windows照片查看器是不会动的,可以右击用浏览器打开查看,再说一遍是老版的,只是分享给宁愿用老版也要动态的人。

使用 Loki、Loki4j、Grafana 和 Spring Boot 搭建一个轻量级、简单、易用的 Java 日志系统

Loki:类似于 Prometheus 的日志系统,但 Loki 并不索引日志的内容,而是通过标签(label)进行索引,使用 PromQL 进行查询,轻量级且高效。Loki4j:一个适用于 Java 项目的日志库,可以将 Spring Boot 项目的日志直接推送到 Loki。Grafana:用于可视化 Loki 中存储的日志,并提供查询、分析和展示日志的功能。:作为 Java 应用框架,用于生成日志并集成 Loki4j 进行日志传输。Loki提供日志的存储和索引,轻量高效。Loki4j。

XiaoCai 3368

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

监控平台搭建-日志-loki篇(六)

监控平台包含基本组件:grafana、prometheus、node-exporter、alertmanager、loki、alloy,实现对服务器的监控,对Java应用的监控,对服务器异常的报警,对Java服务异常的报警,日志的抽取和查看

goodlook0123的专栏 637

ELK 日志分析系统(ElasticSearch、Logstash、Kiabana)

目 录一、ELK 概述①ELK简介②为什么要使用 ELK③完整日志系统基本特征④ELK 的工作原理:环境准备二、ELK Elasticsearch 集群部署(在Node1、Node2节点上操作)①配置环境②部署 Elasticsearch 软件(1)安装elasticsearch—rpm包(2)加载系统服务(3)修改elasticsearch主配置文件(4)创建数据存放路径并授权(5)启动elasticsearch是否成功开启(6)查看节点信息③安装 Elasticsearch-head 插件(1)编译安装

萧碧宰治的博客 441

5 分钟体验下一代轻量级日志分析系统Loki

Loki是由Grafana Labs开源的一个水平可扩展、高可用性,多租户的日志聚合系统的日志聚合系统。它的设计初衷是为了解决在大规模分布式系统中,处理海量日志的问题。Loki采用了分布式的架构,并且与Prometheus、Grafana密切集成,可以快速地处理大规模的日志数据

dweizhao的专栏 2701

推荐一款用于日志收集和分析的开源工具 - GELF-RB

推荐一款用于日志收集和分析的开源工具 - GELF-RB 项目简介 GELF-RB 是一个用于收集、处理和分析日志数据的开源工具。它基于 Graylog Extended Log Format (GELF) 标准,并提供了 Ruby 编写的客户端库。 GELF-RB 可以帮助您轻松地将日志信息发送到 Graylog 或其他支持 GELF 的日志收集系统中进行集中存储和管理。同时,它还提供了丰富的插...

gitblog_00006的博客 617
上一篇: AI的风,终究还是吹到了后端
下一篇: Arrays.asList() 都有什么隐藏的陷阱?
公众号-芋道源码
博客等级 码龄10年 1640粉丝 377原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值