Loki的原理及使用

最新推荐文章于 2025-10-30 21:21:55 发布
原创 最新推荐文章于 2025-10-30 21:21:55 发布 · 7.9k 阅读 · 15 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#loki

为什么做监控
核心目标：保障站点可靠，从而保障业务稳定及保障业务迭代效率

什么决定了站点“可靠”：系统可用度

系统可用度取决于什么：多长时间坏一次；一旦坏了之后，多长时间可以恢复

监控，即是服务于“可观察性”

覆盖面：硬件/系统级监控、应用服务指标监控、程序运行日志监控、业务监控、链路监控

关于日志监控

核心目标：程序运行日志监控，关注程序运行状态

如何做：日志的采集 -> 转换 -> 存储 ->可视化

ELK Stack：

ELK系统通常包含较多需求场景：“日志”（程序的运行信息）的监控、接口调用的指标统计分析、离线数据保存、业务数据分析等
当数据量级上来，在每个需求场景下都很难达到满意

ELK系统的需求做分化，让各自的技术方案适配各自的场景需求

ES存储日志数据成本高：尽量避免使用昂贵的全文索引或列式存储引擎来存储大量低价值的日志信息通常情况下查看频率较低

ES集群部署、扩缩容的运维成本较高

日志告警功能不完善

Loki是什么

Loki一个可水平伸缩、高可用、支持多租户的日志聚合系统。

Loki的灵感来源于Prometheus，它的设计极具成本效益并且易于操作，可以认为是日志版的Prometheus。

Loki的特殊之处

Loki不会对日志数据建立全文索引，也不支持Multiline：

取而代之的是：对非结构化的日志数据进行压缩存储并且只对日志数据的metadata（包括：时间戳、 labels等）建立索引。
                         存储、查询成本较低

Loki可以跟Prometheus中的监控指标进行关联：Loki可以使用与Prometheus相同的label定义和设计。

Loki的查询语法LogQL简单：日志数据查询分析心智负担低，便于在此之上建立告警统计机制

Grafana原生支持Loki：Grafana中原生支持Loki作为数据源进行查询

Loki的功能组件

Promtail、Distributor、Ingester、Querier、Query Frontend、Overrides、TableManager、RuntimeConfig

Loki的功能组件的架构

Loki的功能组件-Promtail

日志数据：采集、提取、匹配、过滤、打Labels、批量Push To Loki

支持的采集方式：File Traget、Journal Traget、Syslog Traget、Stdin Traget

Loki的功能组件-Promtail-处理流程

最低0.47元/天 解锁文章
【APM】在Kubernetes中，使用Helm安装loki-distributed 2.9.6
CN_Eden
05-13 1371
Grafana Loki 是一个开源的云原生日志聚合和分析系统，由 Grafana Labs 开发并维护。Loki 专注于为大规模的日志处理提供经济高效且易于管理的解决方案，尤其适用于微服务架构以及容器化和分布式环境。综上所述，Grafana Loki 旨在简化日志管理，并通过其创新的设计，为企业提供了在现代云环境中处理日志的一种高效且经济的方式。
【架构】日志分析系统Loki使用指南
wjianwei666的专栏
02-17 858
Loki 利用水平扩展和查询时间来查询我们的数据。这与使用多索引的解决方案一样快吗？可能不是！但它运行和部署要容易很多，而且还省资源。Grafana Lab 的 Loki 部分集群的数据，在过去 7 天内，它摄入了 14TB 的数据。该时间段对应的索引使用量约为500MB；14TB 日志的索引可以放入树莓派的内存中。这就是为什么Loki专注于保持标签集较小的原因。
轻量级日志系统Loki原理简介和使用
孟凡霄
07-26 6211
前言 这篇文章应朋友的要求，让写一篇loki日志系统，咱定义不容辞 一定要好好写 开干！ 现实中的需求 公司的容器云运行的应用或某一个节点出现了问题，解决的思路 问题首先被prometheus监控 1、metric是来说明当前或者历史达到了某个值 2、alert设置metric达到某个特定的基数触发了告警 仅仅这些日志是不能够解决问题的 还需要看下应用的日志 k8s的基本单位是pod pod把日志输出到stdout和stderr 当某个pod的内存变得很大 触发了我们的alert
一文读懂轻量日志收集系统Loki工作原理
weixin_43749805的博客
07-05 1071
Loki 是由 Grafana Labs 开发的日志聚合系统，设计目标是提供一种高效、低成本的日志收集和查询解决方案。与传统的日志系统（如 ELK Stack）不同，Loki 不会对日志内容进行索引，而是仅对日志的元数据进行索引，这使得 Loki 更加节省存储空间和计算资源。与 Prometheus 兼容：Loki 的设计理念与 Prometheus类似，用户可以使用相似的查询语言（LogQL）来查询日志数据。高效的存储：通过避免对日志内容进行索引，Loki能够显著减少存储和处理日志数据所需的资源。
Loki 2.9 轻量级日志：开源监控系统日志存储成本优化（对比 ELK）实战
最新发布
asdixahd的博客
10-30 313
优势对比成本：Loki 2.9 在存储上节省显著，ELK 因索引开销成本更高。性能：Loki 查询延迟低，适合实时监控；ELK 全文搜索强，但资源密集。适用场景：Loki 更适合云原生、大规模日志；ELK 适合复杂分析需求。实测结果：在 100 节点集群中，迁移到 Loki 2.9 后，存储成本下降 65%，运维复杂度降低。通过以上实战，Loki 2.9 能有效优化日志存储成本。建议从非生产环境试点，逐步迁移。如需代码扩展，可参考官方文档。
Loki部署及使用
weixin_38924998的博客
06-26 1327
loki 是云原生的日志服务，本文讲解loki的部署，日志接入和查询日志的简单使用。基础服务器部署IP地址loki服务端和grafana-web端10.50.110.xxxPromtail客户端IP地址10.50.xxx.xxx。
centos6配置日志外发_zabbix监控系列之监控项(9、日志监控）
weixin_39655085的博客
12-23 341
1、日志item介绍下面介绍zabbix另一个“重量级”的功能——日志文件监控，它最主要的是监控日志文件中有没有某个字符串的表达式，对应日志轮转与否，zabbix都支持。 在配置Item的时候，Type选择Zabbix agent (active)，这里主要需要配置的是Key。下面是监控日志的两种key——log和logtr。 log[/path/to/some/file,,,,,] logtr[...
【设计模式】--C++设计模式类库 Loki介绍与用法
_Witch__的专栏
05-29 4895
http://www.usidcbbs.com/simple/?t2428.html http://book.douban.com/subject/1119904/ C++设计模式类库 Loki介绍与用法 Loki是由Andrei编写的一个与《Modern C++ Design》（C++设计新思维）一书配套发行的C++代码库。 它不仅把C++模板的功能发挥到了极致，而且把类似设
使用 Loki 实现 Kubernetes 容器日志监控
愿许浪尽天涯的博客
05-16 3833
Loki 是由 Grafana Labs 团队开发的，基于 Go 语言实现，是一个水平可扩展，高可用性，多租户的日志聚合系统。它的设计非常经济高效且易于操作，因为它不会为日志内容编制索引，而是为每个日志流配置一组标签。Loki 项目受 Prometheus 启发。...
loki使用超详细说明
热门推荐
李文良的博客
10-08 6万+
前言：小伙伴们是用什么看日志的呢？我是用的loki，今天我跟大家分享下loki的使用，喜欢的话一键三连点收藏哦！ loki使用超详细说明一、loki简介二、Loki 使用三、Loki语法说明四、Loki错误信息查看五、范围查询六、集合运算七、Loki Url 表达式编写八、Loki api使用 一、loki简介 Loki是 Grafana Labs 团队最新的开源项目，是一个水平可扩展，高可用性，多租户的日志聚合系统。它的设计非常经济高效且易于操作，因为它不会为日志内容编制索引，而是为每个日志流编制一组标签
Loki 使用教程
gitblog_00007的博客
04-19 492
Loki 使用教程 1. 项目介绍 Loki 是一个轻量级的Web蜜罐，用于诱捕和监控潜在的恶意攻击者。它基于Spring Boot框架开发，利用Thymeleaf模板引擎和SQLite数据库，能够快速部署并模拟多种Web应用环境，吸引攻击者进行攻击，从而收集攻击者的信息。 2. 项目快速启动 环境准备 确保您的开发环境已安装以下软件： JDK 1.8 或更高版本 Maven 3.5.4 或更高...
Loki安装与使用
辉的博客
12-25 2977
promtail是代理，负责收集日志并将其发送给 Loki。loki是主服务器，负责存储日志和处理查询。Grafana用于查询和显示日志。
LOKI97加密解密算法
02-23
loki仿函数原理
闻缺陷则喜何志丹
01-26 953
loki仿函数原理 问题一：已知函数Fun有2个参数，请完成CTestFunctor类，使得CTestFunctor的()实际调用Fun，部分代码如下： #include using namespace std ; class CTestCommand { public:  void operator()(int x,double y)  {   cout  } };
读loki:TYPEList有感一
闻缺陷则喜何志丹
01-22 879
问题一，简化版的TYPEList，只支持int型 template class TYPEList { public:  int Head;  TYPEList Tail; }; template class TYPEList { public:  int Tail;  int Head;  }; 测试代码 TYPEList l0;  l0.Head = 1;  
轻量级日志系统——Loki
wzpny的博客
06-21 1万+
Loki是团队最新的开源项目，是一个水平可扩展，高可用性，多租户的日志聚合系统。它的设计非常经济高效且易于操作，因为它不会为日志内容编制索引，而是为每个日志流编制一组标签。项目受 Prometheus启发，官方的介绍就是：，类似于Prometheus的日志系统。
日志之Loki详细讲解
上善若泪
01-30 5186
下、创建的端口号是3100，就需要填写为http://loki:3100，这里为什么不写IP地址而写成服务的名字，是因为在k8s集群里面有个dns服务器会自动解析这个地址。另外也可以用上面提到的其他日志收集工具来收取，这篇文章在结尾处会附上其他工具的配置方式。改为1，是因为这个设置不正确造成的。收集起来的日志信息对于业务来说是至关重要的，因此需要在容器重启的时候日志能够保留下来。如果是裸机部署的情况下，需要对上面的配置文件做一下稍微的改动，更改。从上面的图中我们可以看到，它在解析日志的时候是以。
K8S使用LOKI实现日志收集
咕咕咕daisy！
07-08 6088
Loki 是 Grafana Labs 团队最新的开源项目，是一个水平可扩展，高可用性，多租户的日志聚合系统。它的设计非常经济高效且易于操作，因为它不会为日志内容编制索引，而是为每个日志流编制一组标签，专门为 Prometheus 和 Kubernetes 用户做了相关优化。Promtail 作为采集器，类比 filebeatLoki 相当于服务端，类比 esLoki 进程包含四种角色：querier 查询器inester 日志存储器query-frontend 前置查询器distributor 写入分发器
【免费下载】 Loki项目配置详解：从基础到高级用法
gitblog_00707的博客
06-27 493
Loki是一个视觉回归测试工具，它通过比较组件在不同环境下的截图来确保UI一致性。配置是Loki的核心部分，它决定了测试的运行方式、目标平台以及各种比较参数。本文将全面解析Loki的配置系统，帮助你高效使用这个强大的工具。 ## 基础配置方式 Loki支持多种配置方式，最常见的是在项目的`package.json`中添加`loki`字段： ```json { "loki": { ...
Prometheus + Loki + Tempo工作原理
10-03
`Prometheus + Loki + Tempo` 是 **CNCF（云原生计算基金会）** 推荐的“黄金组合”——合称 **"The Observability Stack" 或 "PLT Stack"**，用于实现云原生环境下的全面可观测性。它们分别负责： - **Prometheus**：监控与指标（Metrics） - **Loki**：日志聚合（Logs） - **Tempo**：分布式追踪（Traces） 这三者共同构成了现代微服务架构中 **Metrics、Logs、Traces 三大支柱** 的完整解决方案。 --- ## 🔍 一、整体架构概览 ``` +------------------+ +------------------+ +------------------+ | Prometheus | | Loki | | Tempo | | (Metrics) | | (Log Aggregation)| | (Tracing) | +------------------+ +------------------+ +------------------+ ↑ ↑ ↑ 指标数据采集 日志数据采集 分布式追踪数据 | | | ↓ ↓ ↓ 应用暴露/metrics 应用写入stdout/stderr 应用集成OpenTelemetry/Sidecar | | | +----------+-------------+------------+----------+ | | 统一查询层（Grafana） | 用户通过 Grafana 查询 M-L-T 数据 ``` 所有组件均可通过 **Grafana** 进行统一可视化和关联分析。 --- ## ✅ 1. Prometheus：指标监控系统 ### 📌 核心功能 收集并存储时间序列数据（Time Series Data），如 CPU 使用率、请求延迟、QPS 等。 ### ⚙️ 工作原理 #### （1）数据模型 - 时间序列 = `metric_name{label1="value1", label2="value2"} -> (timestamp, value)` - 示例： ``` http_requests_total{job="api-server", method="POST", handler="/submit"} 123456 ``` #### （2）抓取机制（Pull-based） - Prometheus 主动从目标服务的 `/metrics` 端点拉取数据（HTTP GET） - 支持静态配置或服务发现（Kubernetes SD、Consul 等） ```yaml # prometheus.yml 示例 scrape_configs: - job_name: 'kubernetes-pods' kubernetes_sd_configs: - role: pod relabel_configs: - source_labels: [__meta_kubernetes_pod_annotation_prometheus_io_scrape] action: keep regex: true ``` #### （3）存储 - 本地磁盘存储（TSDB 引擎） - 可扩展至远程写入（Remote Write）到 Thanos、Cortex、Mimir 等长期存储系统 #### （4）查询语言：PromQL 支持强大的表达式查询： ```promql rate(http_requests_total[5m]) # 最近5分钟每秒请求数 histogram_quantile(0.95, sum(rate(latency_bucket[5m])) by (le)) # P95 延迟 ``` #### （5）告警 通过 Alertmanager 实现规则触发、去重、通知（邮件、钉钉、Slack等） --- ## ✅ 2. Loki：日志聚合系统 ### 📌 核心理念 > “Like Prometheus, but for logs.” —— 高效、低成本、基于标签的日志系统 Loki 不索引日志内容本身，而是仅对 **日志的元数据（标签）进行索引**，原始日志以压缩块形式存储在对象存储（S3、MinIO、GCS）中。 ### ⚙️ 工作原理 #### （1）架构组成 | 组件 | 功能 | |------|------| | **Promtail** | 日志采集 Agent，读取容器日志并发送给 Loki | | **Loki** | 后端服务，接收、索引、存储日志 | | **Ingester** | 写入日志流，构建 chunks | | **Querier** | 处理查询请求 | | **Ruler** | 执行日志级别告警规则 | #### （2）日志流（Log Stream） = 标签唯一标识 每个日志流是一个带标签的序列： ```text {job="kubelet", container="runtime", node="ip-10-0-0-1"} => [ "time=... level=info msg='Container started'", "time=... level=error msg='Failed to pull image'" ] ``` #### （3）日志采集：Promtail 配置示例 ```yaml scrape_configs: - job_name: kubernetes-pods pipeline_stages: - docker: {} kubernetes_sd_configs: - role: pod relabel_configs: - source_labels: ['__meta_kubernetes_pod_container_name'] target_label: 'container' - action: drop regex: '' source_labels: ['__meta_kubernetes_pod_label_present'] ``` #### （4）查询语言：LogQL 类似 PromQL，但用于日志过滤与统计： ```logql # 查询某个服务的错误日志 {namespace="prod", container="user-service"} |= "ERROR" # 统计各级别的日志数量 {job="api"} |~ "timeout" | logfmt | line_format "{{.msg}}" | count by (level) # 关联指标（与 Prometheus 联查） rate({container="nginx"} |= "GET" [5m]) ``` > 💡 优势：成本低（不全文索引）、与 Prometheus 风格一致、易于集成 Grafana。 --- ## ✅ 3. Tempo：分布式追踪系统 ### 📌 核心功能 记录一次请求在多个微服务之间的完整调用链路（Trace），帮助定位性能瓶颈。 ### ⚙️ 工作原理 #### （1）基本概念 - **Trace**：一次完整请求的调用链（如 HTTP → Service A → B → DB） - **Span**：一个操作单元（如 API 调用、数据库查询） - **Span Context**：包含 TraceID、SpanID、ParentSpanID，用于传播 #### （2）数据格式 支持 OpenTelemetry、Jaeger、Zipkin 等标准格式。 #### （3）架构组件 | 组件 | 功能 | |------|------| | **Collector** | 接收、处理、导出追踪数据（可选 Kafka 缓冲） | | **Distributor** | 接收客户端发送的 trace，做负载均衡 | | **Ingester** | 将 spans 构建成 trace blocks 并写入后端存储 | | **Querier** | 查询 trace，从 backend 加载数据 | | **Query Frontend** | 缓存和拆分查询 | #### （4）存储后端（Object Storage Only） Tempo 不使用数据库，直接将 trace 存储为 Parquet 或 JSON 块文件在 S3/MinIO/GCS 上，成本极低。 #### （5）采样策略 支持动态采样（Dynamic Sampling）避免数据爆炸： ```yaml target_ingestion_rate: 100 # 目标每秒摄入 100 条 traces sampling_fraction: 0.1 # 初始采样率 10% ``` #### （6）OpenTelemetry 集成示例（Go） ```go import ( "go.opentelemetry.io/otel" "go.opentelemetry.io/otel/exporters/otlp/otlptrace/otlptracegrpc" "go.opentelemetry.io/otel/sdk/resource" sdktrace "go.opentelemetry.io/otel/sdk/trace" semconv "go.opentelemetry.io/otel/semconv/v1.17.0" ) func initTracer() { ctx := context.Background() exporter, _ := otlptracegrpc.New(ctx, otlptracegrpc.WithInsecure(), otlptracegrpc.WithEndpoint("tempo.default:4317"), ) tp := sdktrace.NewTracerProvider( sdktrace.WithBatcher(exporter), sdktrace.WithResource(resource.NewWithAttributes( semconv.SchemaURL, semconv.ServiceName("my-service"), )), ) otel.SetTracerProvider(tp) } ``` 然后通过 gRPC Header 自动传播 TraceContext。 --- ## 🔄 三者如何协同工作？（M-L-T 关联） 关键在于 **TraceID 的贯通**，实现跨维度下钻分析。 ### 场景示例：排查慢请求 1. 在 **Grafana** 中查看 Prometheus 指标： ```promql histogram_quantile(0.99, rate(http_request_duration_seconds_bucket[5m])) ``` 发现 P99 延迟突增。 2. 切换到 **Loki**，搜索该时间段内的慢日志： ```logql {service="order"} |= "duration>1s" ``` 提取出对应的 `trace_id=abc123` 3. 在 **Tempo** 中输入 `abc123`，查看完整调用链： - 发现 `payment-service` 耗时 800ms - 下钻查看其 span 日志，发现数据库锁等待 ✅ 实现“从指标发现问题 → 查日志定位上下文 → 看追踪找到根因”的闭环。 --- ## 🧩 四、典型部署方式（Kubernetes + Helm） ```bash # 安装 Prometheus helm install prometheus prometheus-community/kube-prometheus-stack # 安装 Loki helm repo add grafana https://grafana.github.io/helm-charts helm install loki grafana/loki-stack --set promtail.enabled=true # 安装 Tempo helm install tempo grafana/tempo-distributed ``` 并在 Grafana 中添加数据源： - Prometheus URL: `http://prometheus-server` - Loki URL: `http://loki:3100` - Tempo URL: `http://tempo:3200` --- ## ✅ 总结对比表 | 组件 | 数据类型 | 查询语言 | 存储特点 | 典型用途 | |------|---------|----------|-----------|------------| | **Prometheus** | 指标（Metrics） | PromQL | 本地 TSDB / 远程写入 | 资源使用率、QPS、延迟 | | **Loki** | 日志（Logs） | LogQL | 对象存储（仅索引标签） | 错误日志、审计日志 | | **Tempo** | 追踪（Traces） | TraceID 查询 | 对象存储（Parquet 块） | 调用链分析、性能瓶颈定位 | --- ## ✅ 优势总结 | 优点 | 说明 | |------|------| | **轻量高效** | Loki 和 Tempo 不索引内容，节省资源 | | **统一栈** | 全部由 Grafana 支持，界面一致 | | **开放标准** | 支持 OpenTelemetry、Prometheus、CNCF 生态 | | **低成本** | 可运行在廉价存储上，适合大规模场景 | | **深度集成** | 在 Grafana 中可一键跳转 Metrics → Logs → Traces | ---
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值