loki+promtail+grafana日志框架搭建

windows本地 Loki+Promtail+Grafana 在现代的监控和可观察性系统中,实时日志聚合、存储和可视化是至关重要的。而 Loki、Promtail 和 Grafana 正是在这一领域中备受赞誉的三个开源工具,它们的结合能够为我们提供强大的日志管理和可视化解决方案。Loki 是由 Grafana Labs 开发的一个水平可扩展、高可用性、多租户的日志聚合系统。Loki 专注于存储和索引日志数据,并通过一种名为 “LogQL” 的查询语言高效地检索日志数据。 阅读详情

下载loki promtail grafana

#loki promtail 
https://github.com/grafana/loki/releases
#grafana
https://grafana.com/grafana/download?pg=get&plcmt=selfmanaged-box1-cta1

启动命令

./grafana-server web &
nohup /mnt/data/filebeat/filebeat -e > logs/stdout.log 2>&1 &
​
nohup ./loki-linux-amd64 -config.file=/mnt/loki-local-config.yaml > log-loki.file 2>&1 &
nohup ./promtail -config.file=/mnt/data/promtail-config.yaml > log-promtail.file 2>&1 &

loki配置文件

auth_enabled: false
​
server:
  http_listen_port: 8100
​
ingester:
  lifecycler:
    address: 127.0.0.1
    ring:
      kvstore:
        store: inmemory
      replication_factor: 1
    final_sleep: 0s
  chunk_idle_period: 5m
  chunk_retain_period: 30s
  max_transfer_retries: 0
​
schema_config:
  configs:
    - from: 2020-06-22
      store: boltdb
      object_store: filesystem
      schema: v11
      index:
        prefix: index_
        period: 168h
​
storage_config:
  boltdb:
    directory: /mnt/data/ELK/loki/data/index
​
  filesystem:
    directory: /mnt/data/ELK/loki/data/chunks
​
limits_config:
  enforce_metric_name: false
  reject_old_samples: true
  reject_old_samples_max_age: 168h
​
chunk_store_config:
  max_look_back_period: 0s
​
table_manager:
  retention_deletes_enabled: true
  retention_period: 336h

promtail配置文件

server:
  http_listen_port: 9080
  grpc_listen_port: 0
​
positions:
  filename: /tmp/positions.yaml
​
clients:
  - url: http://192.168.13.82:8100/loki/api/v1/push
​
scrape_configs:
- job_name: 28-home-log
  static_configs:
  - targets:
      - localhost
    labels:
      job: 28-home-log
      host: 192.168.13.28
      env: prod
      __path__: /mnt/data/iot-home/*/logs/*.log
​
  - targets:
      - 192.168.13.29
    labels:
      job: 29-home-log
      host: 192.168.13.29
      env: prod
      __path__: /mnt/data/iot-home/*/logs/*.log
​
  - targets:
      - 192.168.13.29
    labels:
      job: 29-smart-log
      host: 192.168.13.29
      env: prod
      __path__: /mnt/data/iot-smart/*/logs/*.log
​
  - targets:
      - 192.168.13.30
    labels:
      job: 30-smart-log
      host: 192.168.13.30
      env: prod
      __path__: /mnt/data/iot-smart/*/logs/*.log
​
  - targets:
      - 192.168.13.42
    labels:
      job: 42-smart-log
      host: 192.168.13.42
      env: prod
      __path__: /mnt/data/iot-smart/*/logs/*.log
​
  - targets:
      - 192.168.13.42
    labels:
      job: 42-home-log
      host: 192.168.13.42
      env: prod
      __path__: /mnt/data/iot-home/*/logs/*.log
​
  - targets:
      - 192.168.13.75
    labels:
      job: 75-smart-log
      host: 192.168.13.75
      env: prod
      __path__: /mnt/data/iot-smart/*/logs/*.log
​
  - targets:
      - 192.168.13.75
    labels:
      job: 75-home-log
      host: 192.168.13.75
      env: prod
      __path__: /mnt/data/iot-home/*/logs/*.log
​
  - targets:
      - 192.168.13.77
    labels:
      job: 77-smart-log
      host: 192.168.13.77
      env: prod
      __path__: /mnt/data/iot-smart/*/logs/*.log
​
  - targets:
      - 192.168.13.78
    labels:
      job: 78-home-log
      host: 192.168.13.78
      env: prod
      __path__: /mnt/data/iot-home/*/logs/*.log

​
​

启停脚本

#!/bin/bash
​
start(){
    pid=`ps -ef |grep promtail |grep -v grep |awk '{print $2}'`
    if [ ! "$pid" ];then
 nohup ./promtail -config.file=/mnt/data/promtail/promtail-config.yaml > promtail.log 2>&1 &
 echo "Starting promtail success!"
    else
        echo "promtail is already start!"
        echo -n "pid : $pid"
        exit
    fi
}
​
stop(){
    echo -n $"Stopping promtail: "
    pid=`ps -ef |grep promtail |grep -v grep |awk '{print $2}'`
    if [ ! "$pid" ];then
  echo "promtail is not running!"
    else
 echo "$pid"
        kill $pid
 echo "stop promtail success! pid : $pid"
    fi
}
​
restart() {
    stop
    sleep 3s
    start
}
​
status(){
    pid=`ps -ef |grep promtail |grep -v grep |awk '{print $2}'`
    if [ ! "$pid" ];then
        echo "promtail is not running"
    else
        echo "promtail is running! pid: $pid"
    fi
}
​
case "$1" in
    start)
        start
    ;;
    stop)
        stop
    ;;
    restart)
        restart
    ;;
    status)
        status
    ;;
    *)
        echo $"Usage: $0 {start|stop|restart|status}"
        exit 1
esac

grafana配置

1.添加loki数据源

 

2.打开展示板 explore

 

3.查看日志数据 选择标签 可以在配置文件自定义标签

 

4.查询语法

 

Loki Cheat Sheet See your logs Start by selecting a log stream from the Log labels selector. Alternatively, you can write a stream selector into the query field: {job="default/prometheus"} Combine stream selectors {app="cassandra",namespace="prod"} Returns all log lines from streams that have both labels. Filtering for search terms. {app="cassandra"} |~ "(duration|latency)s*(=|is|of)s*[d.]+" {app="cassandra"} |= "exact match" {app="cassandra"} != "do not match" LogQL supports exact and regular expression filters. Count over time count_over_time({job="mysql"}[5m]) This query counts all the log lines within the last five minutes for the MySQL job. Rate rate(({job="mysql"} |= "error" != "timeout")[10s]) This query gets the per-second rate of all non-timeout errors within the last ten seconds for the MySQL job. Aggregate, count, and group sum(count_over_time({job="mysql"}[5m])) by (level) Get the count of logs during the last five minutes, grouping by level
Grafana+Loki+Promtail 搭建日志收集系统 Loki 是日志记录存储与检索引擎。 Promtail 做为日志采集器,从 flog 中抓取日志行,并通过网关将它们推送给 Loki。 Grafana 提供 Loki 中捕获的日志行的可视化与搜索平台。 阅读详情

相关推荐

loki+promtail+Grafana

Loki 部署

Mark 2252

Loki+Grafana(外)采集Kubernetes(K8s)集群(基于containerd)

Loki是一个开源、分布式的日志聚合系统,由Grafana Labs推出。Loki的设计目标是为了高效地处理大规模的日志数据,并具有良好的可扩展性。Loki的最大优点是它具有低资源占用和高效的查询速度。这是因为Loki不需要在处理日志数据时进行索引,而是将数据存储在类似于散列表的内存数据结构中,可以快速地定位和检索日志数据。此外,Loki可以与Prometheus集成,实现更强大的监控功能。

Wielun 8507

轻量日志监控Grafana+Loki+Promtail

新建一个家目录为`/home/grafana`,用户组为`grafana`,用户名为`grafana`的用户useradd -d /home/grafana -g grafana grafana。# 启动服务(访问地址: http://ip:3000,默认用户名及密码:admin/admin),若出现无法访问,请检查防火墙状态是否为关闭的状态。# 启动loki服务(-config.file 指定配置文件位置)# 当前系统版本下载相应的文件,并将下载的文件放到App目录中。# 下载grafana。

coklan的博客 1226

Promtail 配置文件说明

Promtail 是负责收集日志发送给 loki 的代理程序,Promtail 默认通过一个文件进行配置,其中包含 Promtail 服务端信息、存储位置以及如何从文件中抓取日志等配置。要指定加载哪个配置文件,只需要在命令行下通过参数传递 YAML 配置文件即可。此外我们还可以通过在配置文件中使用环境变量引用来设置需要的配置,但是需要在命令行中配置。然后可以使用${VAR}来配置,其中VAR其中是在环境变量未定义的情况下要使用的默认值。默认的。

JineD的博客 8654

轻量化日志中心 Grafana Loki

目前现状,每个服务生产上有三台,定位生产问题,需要连上一台机器,然后使用 cd / tail / less / grep / sed / awk 等 linux命令去日志里查找故障原因。如果在这台机器没搜索到线索,就去另外两台机器上查日志。 但在分布式系统中,众多服务分散部署在数十台甚至上百台不同的服务器上,想要快速方便的实现查找、分析和归档等功能,使用Linux命令等传统的方式查询到想要的日志就费事费力,更不要说对日志进行分析与归纳了。 为解决大量日志归档,文件搜索慢,如何多维度查询就得需要集中化日志管理

趙兴晨的博客 2245

PLG日志平台搭建: Promtail + Loki + Grafana 全步骤

文章目录Loki 日志平台搭建注意点1. 二进制文件安装启动与安装Grafana启动 Promtail 与 loki下载与安装 Promtail 与 loki下载 Loki 与 Promtail 的配置文件修改 Loki 与 Promtail 的配置文件启动 Loki 与 Promtailgrafana 配置数据源停止服务2. docker安装下载配置文件启动容器运行 loki 容器运行 promtail 容器运行 grafana 容器确认开启状态查看 loki 数据查看 loki 运行状态grafana

fwzzzzz的博客 7157

Grafana Loki 安装与配置完全指南

Grafana Loki 安装与配置完全指南 【免费下载链接】loki Loki是一个开源、高扩展性和多租户的日志聚合系统,由Grafana Labs开发。它主要用于收集、存储和查询大量日志数据,并通过标签索引提供高效检索能力。Loki特别适用于监控场景,与Grafana可视化平台深度集成,帮助用户快速分析和发现问题。 ...

gitblog_09241的博客 1626

Linux搭建Promtail + Loki + Grafana 轻量日志监控系统

Linux搭建Promtail + Loki + Grafana 轻量日志监控系统

Bertram的博客 3210

centos搭建loki+promtail+使用grafana实现日志管理

loki是grafana团队推出的轻量级日志管理工具,其相比传统的以es为底层的日志管理工具可降低存储成本10x。更多关于loki的架构、使用说明等,请参考官方文档:https://grafana.com/docs/loki/latest/overview/ 准备工作,为了测试loki,博主准备了一个定时的日志输出脚本,日志输出格式如下: 1.loki搭建 1)下载 下载地址:https://github.com/grafana/loki/releases/ 选择loki-linux-amd64.zip

翻过一座座山 3525

日志监控平台搭建(Loki+promtail+grafana)

搭建Loki+promtail+grafana日志监控平台,可以直接在grafana的UI界面查看系统应用日志,使日志查看起来更方便、快捷。  Loki:主服务器,负责存储日志和处理查询。    Promtail:代理,负责收集日志并将其发送给Loki。   Grafana:用于查询和显示日志。 1. 离线获取安装文件   适用于内网服务器,无法访问互联网,获取安装文件后上传至服务器指...

查拉图斯特拉面条的博客 1910

Promtail + Loki + Grafana 构建日志监控告警系统(一)

一、前言 日志监控告警系统,我所了解的较为流行的有两种技术栈。 一种是Elasticsearch 、Logstash和Kibana核心套件构成,简称ELK。另外一种是Promtail + Loki + Grafana核心组件构成,简称PLG。其中,ELK的技术栈方案,久经考验,很多大公司的团队在使用。相比之下,PLG开源不久,是一股新兴的力量,目前较多的小团队在使用。 经过衡量和思考,考虑到Loki轻量(ELK很多复杂的功能项目上没有使用需求)、低成本(容易实现)、操作简单等特性,以及计划使用..

5D金豆豆的博客 6768

轻量级日志管理平台:Grafana Loki搭建及应用(详细篇)

Grafana Loki是Grafana Lab团队提供的一个水平可扩展、高可用性、多租户的日志聚合系统,与其他日志系统不同的是,Loki最初设计的理念是为了为日志建立标签索引,而非将原日志内容进行索引。(LEK),但是LEK对资源要求比较高,少了8H8G用起来都是一卡一卡的,所以我们可以转向比较轻量的方案(PLG),本文就介绍PLG这种方案,可以对接各种云存储,比如Minio、S3、COS、OSS等等。Loki 是一个日志聚合系统,旨在存储和查询来自所有应用程序和基础设施的日志。

Jum的博客 7162

grafana+loki+promtail 搭建Nginx日志高级监控

Loki是个日志监控系统,可用来分析日志,并提供给Grafana进行图形化展示,他的数据主要是由promtail 来收集的。Promtail是个日志转发的代理,用于给Loki提供日志数据的。

manongwangziqi的博客 3653

Promtail + Loki + Grafana 日志监控系统搭建

Promtail + Loki + Grafana 日志监控系统搭建

cainiaosl的博客 7063

docker搭建grafana+loki+promtail日志收集系统

文章目录docker搭建grafana+loki+promtail日志收集系统1.拉取镜像2.loki搭建1)新建配置文件2)启动容器3.promtail搭建1)新建配置文件2)启动容器3.grafana搭建1)启动容器2)访问 docker搭建grafana+loki+promtail日志收集系统 1.拉取镜像 docker pull grafana/grafana:7.4.3 docker pull grafana/promtail:2.1.0 docker pull grafana/loki:2.1

binggoling 4843

SMART系统-系统框架设计与开发

摘 要 SMART系统是一个新型智能在线考试信息管理系统,该系统主要实现了学生在线考试与评估以及教师对学生在线考试信息的管理和维护。本文按照SMART系统的非功能性需求,基于Struts、Spring、Hibernate三种开源技术,构建了一个具有良好的可扩展性、可维护性、可靠性的系统框架。整个系统的框架分为三层,分别为表现层、业务层和持久层。 本系统的表现层是基于Struts作扩展设计,结合本系统的需求完成了自定义标签的封装,基本action接口的编写。在业务层则是采用单例模式设计与Spr

m0_56073435的博客 961

windows环境下Grafana+loki+promtail入门级部署日志系统,收集Springboot(Slf4j+logback)项目日志

今天给大家演示如何在windows环境下部署Grafana+loki+promtail日志系统,实现Springboot(Slf4j+logback)项目的日志收集,在Grafana Web界面上就能看到我们项目的日志。

Java 技术专栏,从入门到精通,熟悉企业级开发 7355

普通人如何上岸华为OD-面试总结

总共有3道算法题,100分值的两道,200分值的一道,不同的毕业院校和专业,通过机试的分值不一样,最少需要150分通过,提前和hr联系,了解自己需要多少分通过。重中之重:哪怕你是背的题库,也请你一定不要直接抄原来的,最好是变更下方法名,否则会判定你重复率过高,从而失去后面的面试机会(实在是不会做再用此方法,凑分数所用,面试官能看到你的代码,会影响你的面试评价)本人女,所以还问道了婚育计划,有对象这点可以说,没有问题,但是如果可以的话,生孩子的时间,可以给hr说这几年不考虑。如果说没有难题,直接就挂了。

weixin_47767264的博客 5463
上一篇: JVM调优(CMS+PerNew垃圾回收)
下一篇: Java线程池实现缓存功能
codeLife1993
博客等级 码龄8年 23粉丝 60原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值