Loki + Promtail 解决日志多行与跨行问题

最新推荐文章于 2025-11-07 12:41:22 发布
原创 最新推荐文章于 2025-11-07 12:41:22 发布 · 5.5k 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

当项目缺少日志格式化时，Promtail无法正确处理有空白字符开头的多行或跨行日志，导致日志丢失。通过查阅官方文档并实践，可以在Promtail客户端配置pipelines管道来解决此问题。具体做法是设置regex和multiline阶段，匹配日志行首标志，确保日志完整发送到Loki。

  1. 描述

    因项目未进行日志格式化，在有空白字符开头的日志记录产生时，promtail无法将跨行及多行日志发送给loki，导致日志丢行。

  2. 解决

    经过查询官方文档https://grafana.com/docs/loki/v2.2.0/clients/promtail获悉Promtail可通过配置pipelines管道进行处理日志（类似于ELK格式化日志），但实现很轻巧。
    经过实践，参考https://grafana.com/docs/loki/v2.2.0/clients/promtail/pipelines/，在客户端promtail中进行以下配置可解决日志多行、跨行问题。

    书写过程请注意引号及缩进

    scrape_configs：
  - job_name:  'xx'
    static_configs:
    - targets
最低0.47元/天 解锁文章
【APM】Loki日志多行显示
CN_Eden
12-29 1547
修改完成后，重启Promtail服务，再去Grafana查看日志，已经变成多行显示。文章我们搭建了Alertmanager和Loki，接下来我们来实现日志并行显示。我们是需要修改Promtail服务的配置文件即可。
PLG日志平台搭建: Promtail + Loki + Grafana 全步骤
fwzzzzz的博客
07-22 6918
文章目录Loki 日志平台搭建注意点1. 二进制文件安装启动与安装Grafana启动 Promtail 与 loki下载与安装 Promtail 与 loki下载 Loki 与 Promtail 的配置文件修改 Loki 与 Promtail 的配置文件启动 Loki 与 Promtailgrafana 配置数据源停止服务2. docker安装下载配置文件启动容器运行 loki 容器运行 promtail 容器运行 grafana 容器确认开启状态查看 loki 数据查看 loki 运行状态grafana
promtail + multiline 实现多行日志处理
fwzzzzz的博客
06-07 4084
问题点 利用 promtail + loki + Grafana 搭建了个日志系统, 参考网上的教程与官方文档初步实现. 记录一下其中一个关于多行日志处理的问题点. 版本 docker-compose 安装, promtail拉取的是latest镜像, 1.5以前不可用(多行处理) 实现 server: http_listen_port: 9080 grpc_listen_port: 0 positions: filename: /etc/promtail/positio.
promtail loki多行日志配置
weixin_44474834的博客
06-30 2021
loki 日志配置
彻底解决Loki中文日志乱码：从采集到查询的全流程优化指南
gitblog_00035的博客
11-07 1019
当使用Loki聚合容器或应用日志时，经常会遇到中文显示为`??`或乱码方块的问题。这通常源于日志采集、传输、存储和查询环节的编码不一致。本文将通过3个核心步骤+2个验证工具，帮助你彻底解决这一痛点。 ## 一、日志采集端：确保Promtail正确编码 Promtail作为Loki的日志采集工具，其配置文件需明确指定字符编码。 ### 关键配置项 在[examples/promtail-hero
Promtail内配置多行匹配（Loki收集）
东方客的博客
09-25 1354
注意：最主要的要注意缩进！
promtail multiline 堆栈日志处理
Devin's Blog
10-10 824
promtail multiline 堆栈日志处理
Docker 搭建Loki+promtail+grafana日志监控
天外鸭的专栏
05-30 2780
经过一周的踩坑摸索，终于搭建了一套属于自己的日志监控系统，如有不到之处，还望各位不吝赐教。至此，安装配置已经完成，可以测试一下是否能看到所监控的日志。我这里设置了512m内存，各位按照实际情况分配。我这里设置了2G内存，各位按照实际情况分配。我这里设置了1G内存，各位按照实际情况分配。输入用户名密码:admin/admin。
【使用 Loki + Promtail + Grafana 搭建轻量级容器日志分析平台】
xbd_zc的博客
06-04 1916
本文介绍如何通过 Docker Compose 快速搭建 Loki 日志存储、Promtail 日志采集和 Grafana 日志可视化/告警的完整流程。用最小化示例演示核心配置、常见问题排查和告警规则设置，帮助读者快速上手。
日志平台plg架构-Grafana+loki+promtail-arm架构，编译完成，免安装部署包
10-27
这种为ARM架构优化的Grafana+Loki+Promtail日志平台，以其免安装部署包的形式，为用户提供了极大的便利，同时在性能、可扩展性和易用性方面都表现出色。这样的日志处理方案，不仅能够满足中小企业的日志监控需求，也...
Grafana+Loki+Promtail 搭建日志收集系统
07-17 2045
Grafana Loki日志系统架构包含三个核心组件：Grafana提供可视化界面，Loki作为日志存储与检索引擎，Promtail负责日志采集。Loki通过标签索引实现高效日志存储，支持多租户、LogQL查询语言和水平扩展。安装时需配置YAML文件定义端口、存储路径等参数。Promtail部署在应用服务器上，通过配置文件指定日志采集路径和Loki推送地址。系统启动后可通过Grafana添加Loki数据源，使用12633等仪表板模板实现日志可视化查询。该架构具有内存占用低、查询灵活的特点，适合构建集中式日志
promtail-app:Promtail-Loki的日志记录代理
03-15
促销图 Promtail是一个日志记录代理，旨在与Loki日志记录服务器一起使用。 该图表主要用于我们的。 Promtail使用HTTP协议在网络上工作，因此可以在任何群集上用于将其日志转发到Loki实例。 请注意，您可以在同一个集群上运行多个promtail实例，但是要为它们提供合理的配置（即避免重复）。 默认配置从操作系统中的所有Kubernetes Pod和systemd-journald日志服务转发日志。 正在安装 有3种方法可以将此应用程序安装到租户群集上。 在控制平面上直接创建App自定义资源。 配置中 values.yaml 这是您可以使用我们的网络界面上传的值文件的示例。 # values.yaml 源代码来源 helm/promtail的源代码是一个git-subtree，它来自 。 Giant Swarm使用该存储库来跟踪和调整Grafana Labs维护的
轻量日志监控Grafana+Loki+Promtail
coklan的博客
04-24 1152
新建一个家目录为`/home/grafana`,用户组为`grafana`，用户名为`grafana`的用户useradd -d /home/grafana -g grafana grafana。# 启动服务(访问地址: http://ip:3000,默认用户名及密码:admin/admin),若出现无法访问，请检查防火墙状态是否为关闭的状态。# 启动loki服务(-config.file 指定配置文件位置)# 当前系统版本下载相应的文件,并将下载的文件放到App目录中。# 下载grafana。
Grafana Promtail 配置解析
分享技术干货和灵感、推荐新书和好玩的项目、分享Java面试题
01-10 4108
由于目前项目一般都是部署在k8s上，因此这篇文章中的配置只摘录k8s相关的配置，仅供参考，其他的配置建议上官网查询。
linux查看文件内容
loki的学习笔记
07-21 685
cat 由第一行显示文本-n 输出时连行号一起输出到屏幕上tac 从最后一行开始显示-n 同上more 一页一页显示文件内容less 和more类似，但是能向前翻页注：在more|less界面可以搜索字符串head 只看头几行-n 头n行，默认显示前10行tail 只看末尾几行-n 末尾n行，默认显示最后10行nl 显示时同时输出行号，结果和cat -n差不多od 以二进制
Promtail 配置文件说明
JineD的博客
09-28 8476
Promtail 是负责收集日志发送给 loki 的代理程序，Promtail 默认通过一个文件进行配置，其中包含 Promtail 服务端信息、存储位置以及如何从文件中抓取日志等配置。要指定加载哪个配置文件，只需要在命令行下通过参数传递 YAML 配置文件即可。此外我们还可以通过在配置文件中使用环境变量引用来设置需要的配置，但是需要在命令行中配置。然后可以使用${VAR}来配置，其中VAR其中是在环境变量未定义的情况下要使用的默认值。默认的。
PLG（Promtail + Loki + Grafana）日志系统生产快速实践
AndCo的博客
02-09 4600
Promtail： 日志收集的代理，安装部署在需要收集和分析日志的服务器，promtail会将日志发给Loki服务。Loki： 主服务器，负责存储日志和处理查询。Grafana：提供web管理界面，数据展示功能。PLG 官方文档很丰富，大家可以在网络上找到丰富的资料。
Promtail Pipeline 日志处理配置
JineD的博客
09-28 3627
Promtail 是 Loki 官方支持的日志采集端，在需要采集日志的节点上运行采集代理，再统一发送到 Loki 进行处理。除了使用 Promtail，社区还有很多采集日志的组件，比如 fluentd、fluent bit 等，都是比较优秀的。但是 Promtail 是运行 Kubernetes 时的首选客户端，因为你可以将其配置为自动从 Promtail 运行的同一节点上运行的 Pod 中抓取日志。
LPG（Loki+Promtail+Grafana） 日志收集系统实践和踩坑经历
csdnYF的博客
07-12 9062
日志收集系统，一般以ELK架构居多，现在很多也会考虑用 Fluentd 组成EFK。但对于资源有限的集群来说，部署一个ElasticSearch的成本实在太高，幸好现在已经有一套新的低成本开源方案，那就是LPG。也同样能达到日志收集和检索的目的，占用的资源还少。Loki是Grafana公司出的一款开源的日志存储和检索系统，对标的是ElasticSearch，但是设计理念完全不同，ElasticSearch核心是倒排索引，而Loki的核心是基于KV标签的索引+原始日志存储。在存储占用上，Loki的占用量天生就
loki+promtail安装教程，没有docker版本，ubuntu系统
最新发布
11-18
<think> 我们被要求提供在Ubuntu系统上非Docker版本的Loki和Promtail的安装教程。根据引用[4]，我们得知有二进制文件可以直接下载使用。因此，我们将通过以下步骤进行安装： 1. 下载Loki和Promtail的二进制文件。 2. 准备配置文件。 3. 启动Loki和Promtail服务。 注意：这些步骤需要在Ubuntu系统上执行。 ### 步骤1: 下载二进制文件 首先，访问Loki的GitHub发布页面：https://github.com/grafana/loki/releases 找到适合的版本（例如2.9.0），然后下载Loki和Promtail的Linux二进制文件。我们将使用命令行下载。 打开终端，执行以下命令： ```bash # 创建安装目录 mkdir -p ~/loki cd ~/loki # 下载Loki二进制文件（请根据实际情况替换版本号和架构，这里以2.9.0和amd64为例） wget https://github.com/grafana/loki/releases/download/v2.9.0/loki-linux-amd64.zip # 下载Promtail二进制文件 wget https://github.com/grafana/loki/releases/download/v2.9.0/promtail-linux-amd64.zip # 解压 unzip loki-linux-amd64.zip unzip promtail-linux-amd64.zip # 重命名以简化使用（可选） mv loki-linux-amd64 loki mv promtail-linux-amd64 promtail ``` ### 步骤2: 准备配置文件 我们需要为Loki和Promtail分别创建配置文件。 #### Loki配置文件 创建一个名为`loki-config.yaml`的文件，内容可以参考Loki的默认配置。以下是一个简单示例： ```yaml auth_enabled: false server: http_listen_port: 3100 ingester: lifecycler: address: 127.0.0.1 ring: kvstore: store: inmemory replication_factor: 1 final_sleep: 0s chunk_idle_period: 5m chunk_retain_period: 30s max_transfer_retries: 0 schema_config: configs: - from: 2020-10-24 store: boltdb-shipper object_store: filesystem schema: v11 index: prefix: index_ period: 24h storage_config: boltdb_shipper: active_index_directory: /tmp/loki/boltdb-shipper-active cache_location: /tmp/loki/boltdb-shipper-cache cache_ttl: 24h shared_store: filesystem filesystem: directory: /tmp/loki/chunks compactor: working_directory: /tmp/loki/boltdb-shipper-compactor shared_store: filesystem limits_config: enforce_metric_name: false reject_old_samples: true reject_old_samples_max_age: 168h chunk_store_config: max_look_back_period: 0s table_manager: retention_deletes_enabled: false retention_period: 0s ``` #### Promtail配置文件 创建一个名为`promtail-config.yaml`的文件，用于指定如何收集日志并发送到Loki。以下是一个示例配置，它会收集`/var/log`目录下的日志： ```yaml server: http_listen_port: 9080 grpc_listen_port: 0 positions: filename: /tmp/positions.yaml clients: - url: http://localhost:3100/loki/api/v1/push scrape_configs: - job_name: system static_configs: - targets: - localhost labels: job: varlogs __path__: /var/log/*log ``` ### 步骤3: 启动服务 #### 启动Loki 在终端中运行： ```bash # 进入之前创建的目录 cd ~/loki # 启动Loki，指定配置文件 ./loki -config.file=loki-config.yaml ``` #### 启动Promtail 打开另一个终端窗口（因为Loki需要在后台运行），然后运行： ```bash cd ~/loki ./promtail -config.file=promtail-config.yaml ``` ### 步骤4: 验证 我们可以通过查看Loki的metrics端点来验证服务是否运行： ```bash curl http://localhost:3100/metrics ``` 此外，可以查看Promtail的metrics端点： ```bash curl http://localhost:9080/metrics ``` ### 步骤5: 使用Grafana查看日志 如果还没有安装Grafana，可以按照以下步骤安装： ```bash # 添加Grafana仓库 sudo apt-get install -y apt-transport-https sudo apt-get install -y software-properties-common wget wget -q -O - https://packages.grafana.com/gpg.key | sudo apt-key add - echo "deb https://packages.grafana.com/oss/deb stable main" | sudo tee -a /etc/apt/sources.list.d/grafana.list sudo apt-get update sudo apt-get install grafana ``` 启动Grafana服务： ```bash sudo systemctl start grafana-server sudo systemctl enable grafana-server ``` 然后，通过浏览器访问`http://localhost:3000`（默认用户和密码都是admin），并添加Loki数据源，URL为`http://localhost:3100`。 ### 注意事项 1. 上述配置中，Loki和Promtail的数据存储都使用了`/tmp`目录，这意味着重启后数据会丢失。在生产环境中，需要配置持久化存储。 2. 配置文件中的路径需要根据实际情况调整。 3. 如果需要后台运行，可以使用`nohup`或创建systemd服务。 ### 创建systemd服务（可选） 为了更方便地管理服务，我们可以为Loki和Promtail创建systemd服务。 #### Loki服务 创建文件`/etc/systemd/system/loki.service`： ```ini [Unit] Description=Loki service After=network.target [Service] Type=simple User=root ExecStart=/home/your_username/loki/loki -config.file /home/your_username/loki/loki-config.yaml Restart=on-failure [Install] WantedBy=multi-user.target ``` #### Promtail服务 创建文件`/etc/systemd/system/promtail.service`： ```ini [Unit] Description=Promtail service After=network.target [Service] Type=simple User=root ExecStart=/home/your_username/loki/promtail -config.file /home/your_username/loki/promtail-config.yaml Restart=on-failure [Install] WantedBy=multi-user.target ``` 然后重新加载systemd并启动服务： ```bash sudo systemctl daemon-reload sudo systemctl start loki sudo systemctl start promtail sudo systemctl enable loki sudo systemctl enable promtail ``` 请确保替换`/home/your_username`为实际路径。 以上就是在Ubuntu系统上非Docker版本的Loki和Promtail安装教程。 §§相关问题§§ 1. 如何配置Loki的持久化存储？ 2. Promtail如何收集多个目录的日志？ 3. 如何配置Loki的权限验证？ </think> ### Ubuntu系统非Docker版Loki和Promtail安装教程 以下是手动安装Loki和Promtail的详细步骤（基于二进制文件部署）： #### 1. 环境准备 ```bash # 更新系统 sudo apt update && sudo apt upgrade -y # 创建专用用户和目录 sudo useradd --system --shell /bin/false loki sudo mkdir -p /opt/loki/{bin,config,data} sudo chown -R loki:loki /opt/loki ``` #### 2. 下载二进制文件 ```bash # 下载最新版Loki (替换版本号) LOKI_VERSION="2.9.0" wget https://github.com/grafana/loki/releases/download/v${LOKI_VERSION}/loki-linux-amd64.zip # 下载Promtail wget https://github.com/grafana/loki/releases/download/v${LOKI_VERSION}/promtail-linux-amd64.zip # 解压文件 unzip loki-linux-amd64.zip unzip promtail-linux-amd64.zip # 移动到安装目录 sudo mv loki-linux-amd64 /opt/loki/bin/loki sudo mv promtail-linux-amd64 /opt/loki/bin/promtail sudo chmod +x /opt/loki/bin/* ``` #### 3. 配置Loki 创建配置文件 `/opt/loki/config/loki-config.yaml`: ```yaml auth_enabled: false server: http_listen_port: 3100 common: path_prefix: /opt/loki/data storage: filesystem: chunks_directory: /opt/loki/data/chunks rules_directory: /opt/loki/data/rules replication_factor: 1 ring: instance_addr: 127.0.0.1 kvstore: store: inmemory schema_config: configs: - from: 2020-10-24 store: boltdb object_store: filesystem schema: v11 index: prefix: index_ period: 24h ruler: alertmanager_url: http://localhost:9093 ``` #### 4. 配置Promtail 创建配置文件 `/opt/loki/config/promtail-config.yaml`: ```yaml server: http_listen_port: 9080 grpc_listen_port: 0 positions: filename: /opt/loki/data/positions.yaml clients: - url: http://localhost:3100/loki/api/v1/push scrape_configs: - job_name: system static_configs: - targets: - localhost labels: job: varlogs __path__: /var/log/*log ``` #### 5. 创建Systemd服务 创建Loki服务文件 `/etc/systemd/system/loki.service`: ```ini [Unit] Description=Loki Log Aggregation System After=network.target [Service] User=loki Group=loki Type=simple ExecStart=/opt/loki/bin/loki -config.file /opt/loki/config/loki-config.yaml Restart=on-failure [Install] WantedBy=multi-user.target ``` 创建Promtail服务文件 `/etc/systemd/system/promtail.service`: ```ini [Unit] Description=Promtail Log Collector After=network.target [Service] User=loki Group=loki Type=simple ExecStart=/opt/loki/bin/promtail -config.file /opt/loki/config/promtail-config.yaml Restart=on-failure [Install] WantedBy=multi-user.target ``` #### 6. 启动服务 ```bash # 重载systemd sudo systemctl daemon-reload # 启动服务 sudo systemctl start loki promtail # 设置开机自启 sudo systemctl enable loki promtail # 检查状态 sudo systemctl status loki promtail ``` #### 7. 验证安装 ```bash # 检查端口监听 ss -tulnp | grep -E '3100|9080' # 测试日志摄入 logger "Hello Loki Test Message" curl -G -s "http://localhost:3100/loki/api/v1/query" --data-urlencode 'query={job="varlogs"}' | jq ``` ### 后续配置 1. **Grafana连接配置**： - 添加Loki数据源，URL填写`http://<服务器IP>:3100` - 在Explore界面使用LogQL查询日志 2. **日志路径扩展**： 修改Promtail配置中的`__path__`，添加需要收集的日志路径： ```yaml __path__: /var/log/*log,/opt/myapp/logs/*.log ``` 3. **安全加固建议**： - 启用Loki身份验证（配置`auth_enabled: true`） - 限制Promtail的HTTP监听地址 - 配置防火墙规则只允许Grafana访问3100端口 > 注意：生产环境建议配置持久化存储，可将`/opt/loki/data`挂载到独立磁盘[^4]。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值