【性能看板】Logkit + InfluxDB + Grafana- 开源时序数据看板解决方案

最新推荐文章于 2025-06-26 16:40:58 发布
原创 最新推荐文章于 2025-06-26 16:40:58 发布 · 2.3k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#logkit #InfluxDB #Grafana #性能 #测试

文章目录

Logkit + InfluxDB + Grafana 性能看板解决方案

这里借用 Logkit 的一张图片简单说明三者之间的关系：

在这里插入图片描述

如上图所示，Logkit、InfluxDB 以及 Grafana 在性能监控任务中的分工为：

  • Logkit：数据采集
  • InfluxDB：数据持久化
  • Grafana：数据可视化

Logkit：数据采集

在这里插入图片描述

笔者所在项目团队实际用的是 Logkit 的开源版本，这里简要介绍下 Logkit 的大致功能：

logkit-community（社区版）是七牛智能日志管理平台开发的一个配套的日志收集工具，支持海量的数据源，方便地发送到七牛智能日志管理平台以及其他常见的数据存储服务进行分析，除了基本的数据发送功能，logkit 还有容错、并发、监控、删除等功能。其主要的工作流程为：

在这里插入图片描述

InfluxDB：数据持久化

以下内容整理自：https://zh.wikipedia.org/zh-hans/InfluxDB

InfluxDB是一个由InfluxData开发的开源时序型数据库，它着力于高性能地查询与存储时序型数据。InfluxDB被广泛应用于存储系统的监控数据，IoT行业的实时数据等场景。

在这里插入图片描述

  • InfluxDB在技术实现上充分利用了Go语言的特性，无需任何外部依赖即可独立部署。
  • InfluxDB提供了一个类似于SQL的查询语言并且一系列内置函数方便用户进行数据查询。
  • InfluxDB存储的数据从逻辑上由 Measurement, tag组以及 field组以及一个时间戳组成的：
    • Measurement： 由一个字符串表示该条记录对应的含义。
    • tag组： 由一组键值对组成，表示的是该条记录的一系列属性信息。同样的measurement数据所拥有的tag组不一定相同，它是无模式的(Schema-free)。tag信息是默认被索引的。
    • field组：也是由一组键值对组成，表示的是该条记录具体的value信息(有名称)。field组中可定义的value类型包括：64位整型，64位浮点型，字符串以及布尔型。Field信息是无法被索引的。
    • 时间戳：就是该条记录的时间属性。如果插入数据时没有明确指定时间戳，则默认存储在数据库中的时间戳则为该条记录的入库时间。
  • InfluxDB支持基于HTTP的数据插入与查询。同时也接受直接基于TCP或UDP协议的连接。
  • InfluxDB允许用户定义数据保存策略来实现对存储超过指定时间的数据进行删除或者降采样。

Grafana：数据可视化

直接先看官方给的介绍：

The analytics platform for all your metrics
Grafana allows you to query, visualize, alert on and understand your metrics no matter where they are stored. Create, explore, and share dashboards with your team and foster a data driven culture.

在我们实际使用而言，Grafana 一大特色就是支持用户根据项目需要灵活的定制看板内容，而且官方也提供了大量的基础 panels （30+）以及 dashboard（1000+）以便快速接入。

例如，Jmeter性能测试结果就可以 Grafana 官网仓库中的 Dashboard 进行展示，效果如下：

在这里插入图片描述

Logkit + InfluxDB + Grafana 性能看板的优缺点分析

优点

  • 通过 InfluxDB， 将数据采集与数据可视化完全解耦，功能扩展性超强
  • 无论是 Logkit 还是 Grafana，都具备很高的易操作性（拥有前端配置页面）、可扩展性（插件式设计）

缺点

  • 重大缺陷：Grafana 设计上仅支持时序数据的展示，用作展示各版本的性能数据略显尴尬
【Furion性能平台】JMeter+Influxdb+Grafana压测监控
sysu_lluozh
03-09 3316
JMeter+InfluxDB+Grafana打造压测实时可视化监控方案 该方案通过JMeter的Backend Listener实时发送压测数据到时序数据库InfluxDB，再利用Grafana进行可视化展示。InfluxDB作为时序数据库，能够高效存储带时间标签的压测指标数据。Grafana提供丰富的仪表盘功能，可实时监控QPS、响应时间等关键指标。
JMeter+InfluxDB+Grafana 搭建可视化性能实时监控平台
weixin_39118023的博客
05-06 2949
JMeter+InfluxDB+Grafana 搭建可视化页面
时序数据监控系统Influxdb+Grafana+Fluented
孙张宾博客
12-03 5282
时序数据： 即时间序列数据，带时间标签的数据，主要由电力行业、化工行业等各类型实时监测、检查与分析设备所采集、产生的数据，这些工业数据的典型特点是：产生频率快（每一个监测点一秒钟内可产生多条数据）、严重依赖于采集时间（每一条数据均要求对应唯一的时间）、测点多信息量大（常规的实时监测系统均有成千上万的监测点，监测点每秒钟都产生数据，每天产生几十GB的数据量）。 比如，带有时间标签的访问nginx的h
智能数字看板解决方案
英特尔开发人员专区
06-21 4810
使用英特尔® 发行版 OpenVINO™ 工具套件确定受众的人口统计特点，然后调整广告来迎合受众目标操作系统：Ubuntu* 16.04 LTS完成时间：45 分钟使用的软件：英特尔® 发行版 OpenVINO™ 工具套件英特尔® Media SDK英特尔® System Studio 使用的模型：face-detection-retail-0004age-gender-recognition-retail-0013head-pose-estimation-adas-0001GitHub* (C++)此应用
Nginx + ELK + Grafana 全球访问热力图
最新发布
Bitile_孟波的博客
06-26 462
Nginx+ELK+Grafana(geomap)全球访问热力图
Logkit+influxdb+grafana
jsd2root的博客
07-18 275
目的：Logkit+influxdb+grafana 环境对被测试程序进程流量的监控 系统环境： 被测试环境 windows 2008 / 2012 监控系统： ubuntu 18.04 在被测试系统安装 Logkit，通过图形界面进行配置。 安装influxdb 在监控主机上，开启admin 管理，配置访问ip与端口。 暂时遇到问题，logkit显示已将数据发送到influxdb数据库，在inf...
【性能看板】Octopus- 腾讯自研性能看板解决方案
xiaosongluo的专栏
11-21 1361
文章目录渊源Octopus整体方案数据协议前端展示Octopus 性能看板的优缺点分析优点缺点 渊源 笔者在腾讯工作时，曾参与自动化测试平台 UTP 的研发，由于 UTP 使用了 内部自研项目 Octopus（八爪鱼）平台作为整个 UTP 性能报表的解决方案，因此笔者对于 Octopus 的使用还算熟悉。 由于该项目由他人维护，因此细节方面本人肯定不甚了了，且时隔多日该项目是否有新的进展也不甚清楚...
grafana看板定制
aashuii的博客
12-22 1665
1、在浏览器中打开http://ip:port 连接grafana 2、增加Data Sources URL为源数据来源，可以是http://ip:port 3、增加DashBoard 一个Dashboard可以有多个Panel，创建Panel： 选择数据源，即刚才创建的Data Source 填写查询PromQL语句，比如go_memstats_alloc_bytes{exported_job=“c5fa3777dd59448da2caddfc7e1393b7”} 继续增加Panel 保
Jmeter + Grafana + InfluxDB 性能测试监控
manbskjabgkb的博客
07-20 690
Go 语言开发的一个开源分布式时序数据库，非常适合存储指标、事件、分析等数据。！！我个人整理了我这几年软件测试生涯整理的一些技术资料，包含：电子书，简历模块，各种工作模板，面试宝典，自学项目等。欢迎大家评论区留言333免费领取，千万不要错过哦。
JMeter+InfluxDB+Grafana 性能测试监控平台
qq_33214066的博客
06-14 911
1.方案介绍 JMeter引入Backend Listener，用于在压测过程中实时发送统计指标数据给时序数据库Influxdb,通过配置Grafana(开源的WEB可视化看板)数据源连接到Influxdb，我们就可以创建炫酷的可视化看板，并可以实时获取到测试指标数据。 2 .docker环境InfluxDB安装 2.1 InfluxDB安装 1）搜索influx：docker search influx 2）拉取influxdb镜像：docker pull influxdb 3）修改配置文件/etc/i
Jmeter+Influxdb+Grafana平台监控性能测试过程（三种方式）
t13237652134的博客
09-30 413
2-1、grafana和Influxdb可以解决这个问题，grafana是一款采用Go语言编写的开源应用，主要用于大规模指标数据的可视化展示，Influxdb是一款时序性数据库，有时间戳组件，时间的方式去存储数据。测试人员用Jmeter工具对相应的接口做负载测试和性能测试时，可以帮助我们发现应用程序中的性能瓶颈，但是Jmeter本身的聚合报告存在一些缺点，例如只能自己查看，无法实时共享，以及报告信息展示比较单一，不直观。，如果打不开排查下是否Linux的防火墙是否打开，如果打开的话，我们直接关闭防火墙。
grafana：开放且可组合的可观察性和数据可视化平台。 可视化来自多个来源的指标，日志和跟踪，例如Prometheus，Loki，Elasticsearch，InfluxDB，Postgres等
02-03
用于监视和观察的开源平台。 Grafana允许您查询，可视化，警报和了解指标，无论它们存储在哪里。 与您的团队一起创建，探索和共享仪表板，并培养数据驱动的文化： 可视化：具有多种选项的快速灵活的客户端图。 面板插件提供了许多不同的方式来可视化指标和日志。 动态仪表盘：使用模板变量创建动态且可重复使用的仪表盘，这些模板变量显示在仪表盘顶部。 浏览指标：通过即席查询和动态明细浏览数据。 拆分视图并排比较不同的时间范围，查询和数据源。 浏览日志：体验使用保留的标签过滤器从指标切换到日志的魔力。 快速搜索所有日志或实时流式传输。 警报：直观地定义最重要指标的警报规则。 Grafana将不断
Logkit简单使用说明-1.ppt
01-22
Logkit简单使用说明,免费分享给大家看下
深入 Prometheus 监控生态 - 第六篇：与 Grafana 实现系统全面监控（健康状态和任务状态看板）
weixin_41004518的博客
10-30 1688
Grafana 是一款强大的开源监控和数据可视化工具，广泛应用于 IT 基础设施的监控和性能分析。它支持多种数据源，如 Prometheus、MySQL、Elasticsearch 等，能够将繁杂的数据转换为易于理解的图表、曲线图和统计面板。结合 Prometheus 监控体系，我们将在 Grafana 中构建一个全面的系统健康状态监控看板，涵盖任务状态、硬件健康、资源使用等关键指标，并配置实时告警与企业微信通知功能，帮助运维团队及时应对潜在问题。
Grafana制作腾讯会议数据实时看板
qq_45194089的博客
05-02 1558
前言 为了确保疫情期间公司腾讯会议可以正常满足线上或线下使用，所以需要对腾讯云会议的核心资源数据做一个监控-看板。 一、整体业务逻辑 二、安装Grafana yum install grafana 三、Grafana Server 设置 sudo service grafana-server start sudo service grafana-server status Bash [root@fedora ~]# sudo systemctl start grafana-server [roo
prometheus配置grafana看板及alert告警文档
m0_47612445的博客
03-07 1103
根据您的需求，您似乎正在寻求创建一个用于 Prometheus 和 Grafana 的操作文档，包括环境说明、Prometheus 规则配置、Grafana 规则配置以及 AlertManager 规则配置。http://:9090 （替换为实际的 Prometheus 服务器IP和端口）http://:3000 （替换为实际的 Grafana 服务器IP和端口）http:// （替换为部署监控系统的服务器IP）http://: （替换为实际的 Exporter IP和端口）
敏捷开发任务看板_揭秘你不曾了解的看板工具箱
weixin_34158442的博客
01-16 745
作为敏捷开发流程之一，敏捷团队在日常工作中最常用到的工具就是看板，看板作为一种通知类卡片，旨在传达团队中各成员的任务状态、具体任务内容等，其目的是促进团队成员的任务上下衔接，拉动开发过程中的产品价值从左向右流动。在价值的流动过程中，我们反过来又需要管理看板，通过设计合理的看板来促进团队的高效协同。看板的设计需要遵循以下几个原则：可视化原则看板方法可视化，可以通过以下几方面进行：首先是 工作状态的可...
Grafana监控安装和监控看板创建
pys52055的博客
07-16 1271
下载安装包 官网参考地址：https://grafana.com/docs/grafana/latest/installation/rpm/ wget https://dl.grafana.com/oss/release/grafana-7.2.0.linux-amd64.tar.gz 解压安装包 tar -zxvf grafana-7.2.0.linux-amd64.tar.gz 启动服务 ./bin/grafana-server web 登录地址：http://localhost:3000 ..
自动化测试基础设施—集成loki和influxdb
ouguangqian的博客
04-26 4277
链接文章 自动化测试基础设施—介绍 自动化测试基础设施—部署loki，grafana，influxdb 自动化测试基础设施—git安装部署 自动化测试基础设施—基础设施集成方案 自动化测试基础设施—git创建自动化测试工程 集成loki和influxdb 为了记录测试过程，我们会把一些测试相关信息，记录在测试报告里，方便分析失败的测试用例的时候，能够根据一份报告就可以了解测试过程，方便进行问题定位。但是随着用例数量的增加，会导致测试报告逐渐增大，少则几十兆，大则一两个G，导致测试报告通过浏览器打开的时候
InfluxDB + Grafana
03-26
<think>好的，用户之前问过关于免费机床数据采集的内容，现在又接着问InfluxDB + Grafana，看来他们可能正在考虑实施数据采集系统，特别是在监控和可视化方面。我需要先回顾一下之前给出的信息，确保这次的回答连贯。 用户可能已经了解了InfluxDB和Grafana作为免费工具组合的一部分，现在想要更详细的介绍。他们可能是中小企业的技术人员，或者是对工业物联网感兴趣的个人开发者，预算有限但希望实现有效的数据监控。 需要明确InfluxDB和Grafana各自的角色，以及它们如何协同工作。用户可能关心如何安装配置，有没有具体的应用案例，尤其是在机床数据采集中的实际应用。同时，他们可能想知道这个组合的优势和可能的局限性，比如是否容易上手，社区支持如何。 要确保回答结构清晰，分点介绍，突出技术特点、使用场景和步骤。可能还需要提到常见问题，比如数据存储优化或可视化技巧，帮助他们避免常见陷阱。此外，结合之前的机床数据采集内容，给出实际例子会更有帮助，比如如何用这两个工具监控机床的振动或温度数据。 检查是否需要补充一些资源链接或社区支持信息，方便用户进一步学习。同时，提醒他们注意数据安全和协议兼容性，这些在之前的回答中也提到过，保持一致性。最后，保持语言简洁，避免技术术语过于复杂，确保用户能够理解并实际应用。</think>--- ### **InfluxDB + Grafana 介绍** InfluxDB 是一款开源的时序数据库，专为**高频率时间序列数据**（如传感器读数、设备状态）设计；Grafana 是开源的可视化工具，支持多数据源联动分析。二者结合广泛用于工业监控、物联网等场景。 --- #### **1. 核心功能与特点** | **组件** | **核心功能** | **优势** | |------------|-----------------------------------------------------------------------------|--------------------------------------------------------------------------| | **InfluxDB** | - 存储时序数据（时间戳、数值、标签）<br>- 支持高效写入与查询<br>- 提供类SQL查询语言（Flux/InfluxQL） | - 高性能读写（每秒百万级数据点）<br>- 数据压缩率高<br>- 支持连续聚合（downsampling） | | **Grafana** | - 数据可视化（图表、仪表盘）<br>- 多数据源整合（InfluxDB、MySQL、Prometheus等）<br>- 告警与通知配置 | - 丰富的图表类型（折线图、热力图等）<br>- 灵活定制界面<br>- 支持团队协作与权限管理 | --- #### **2. 机床数据采集中的应用** ##### **典型场景** - **实时监控**：采集主轴转速（$n = \frac{1000V_c}{\pi D}$）、温度、能耗等数据，生成动态看板。 - **历史分析**：存储长期数据，分析设备利用率（例如 $OEE$ 计算）。 - **异常检测**：设置阈值告警（如振动值超过 $5\text{mm/s}$ 触发通知）。 ##### **数据流示例** 1. **采集层**：通过 Modbus/TCP 或 OPC UA 从机床控制器读取数据。 2. **存储层**：数据写入 InfluxDB，按时间戳和标签（如设备ID、参数类型）组织。 3. **可视化层**：Grafana 连接 InfluxDB，创建实时仪表盘（如转速趋势图）。 --- #### **3. 部署与配置步骤** 1. **安装 InfluxDB** - 下载地址：[InfluxDB官网](https://www.influxdata.com/) - 配置数据存储策略（如保留周期 `RETENTION POLICY`）。 2. **安装 Grafana** - 下载地址：[Grafana官网](https://grafana.com/) - 添加 InfluxDB 数据源（需填写IP、端口、数据库名）。 3. **数据写入示例**（Python脚本） ```python from influxdb_client import InfluxDBClient client = InfluxDBClient(url="http://localhost:8086", token="your_token") write_api = client.write_api() data = "machine_data,device=CNC-01 rpm=3000,temp=45.2" write_api.write(bucket="factory", record=data) ``` 4. **创建仪表盘** - 在 Grafana 中新建面板，选择 InfluxDB 数据源，编写查询语句（如 `SELECT mean("temp") FROM "machine_data"`）。 --- #### **4. 优势与局限** | **优势** | **局限** | |-----------------------------------|---------------------------------------| | 完全免费开源，社区活跃 | 大规模数据需优化存储策略（分片、集群） | | 低延迟实时展示（<1秒） | 复杂查询需学习 Flux/InfluxQL 语法 | | 支持工业协议插件（如MQTT、Modbus） | 告警功能较基础（需配合其他工具如Alertmanager） | --- #### **5. 实际案例参考** - **机床振动监控**： - 采集振动传感器数据（单位：$m/s^2$），存储至 InfluxDB。 - 在 Grafana 中设置阈值告警，触发时发送邮件或 Slack 通知。 - **能耗分析**： - 统计多台机床的每日能耗（公式：$E = P \cdot t$），生成对比柱状图。 --- #### **6. 学习资源推荐** - **官方文档**：[InfluxDB文档](https://docs.influxdata.com/)、[Grafana文档](https://grafana.com/docs/) - **社区教程**：GitHub 开源项目（如 `telegraf-influxdb-grafana` 模板）。 通过 InfluxDB + Grafana，用户可快速构建低成本、高灵活性的数据监控系统，尤其适合机床数据采集的初期探索与中小规模部署。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值