prometheus out of bound 问题处理

已于 2024-11-19 08:50:34 修改
阅读量382 收藏 1
点赞数 2
文章标签： prometheus
于 2024-11-18 20:52:55 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_44397993/article/details/143866281
版权

一、背景
运行面promtheus因为调整资源，进行了pod重启，导致控制面的一级 prometheus报错，监控数据无法显示。

二、处理过程
查看控制面prometheus pod日志，发现prometheus日志报如下错误：
在这里插入图片描述解决方法：
1、停止 prometheus 服务
2、删除 wal 目录
3、删除 chunks_head 目录
4、删除 lock 文件
5、删除queries.active 文件
6、启动 prometheus 服务

注： 官方反馈这是一个bug，具体iuess如下：

https://github.com/prometheus/prometheus/issues/12182

CSH056
关注
Golang定时任务监控：Prometheus实战
Golang编程笔记的博客
05-18 621
在现代分布式系统中，定时任务是关键的基础组件，负责执行周期性的数据处理、系统维护等任务。本文旨在提供一套完整的解决方案，使用Prometheus监控Golang实现的定时任务系统，确保任务执行的可靠性、及时发现异常情况。本文将首先介绍Prometheus的核心概念，然后详细讲解如何在Golang应用中集成Prometheus客户端，最后展示完整的监控系统搭建和告警配置。Prometheus：开源的系统监控和告警工具包Metric：监控指标，表示系统某个方面的度量值Scrape。
云原生之深入解析如何使用Prometheus扩展Kubernetes调度器
╰つ栺尖篴夢ゞ
06-19 1448
Kubernetes 集群中允许运行多个不同的 scheduler，也可以为 Pod 指定不同的调度器进行调度。在一般的 Kubernetes 调度教程中并没有提到这点，这也就是说，对于亲和性，污点等策略实际上并没有完全的使用 kubernetes 调度功能，在之前提到的一些调度插件，如基于端口占用的调度 NodePorts 等策略一般情况下是没有使用到的，本文就是对这部分内容进行讲解，这也是作为扩展调度器的一个基础。
【Prometheus|报错】Out of bounds
wei的博客
12-22 2043
Prometheus报错Out of bounds；pushgateway（0/1）error : out of bounds
Prometheus 安装、部署、出图（使用grafana）
givenchy_yzl的博客
08-20 2300
一、Prometheus安装与部署 安装服务端 # 下载安装包 [root@promethus ~]# mkdir /prometheus [root@promethus /opt]# cd /prometheus/ [root@promethus /prometheus]# wget https://github.com/prometheus/prometheus/releases/download/v2.25.0/prometheus-2.25.0.linux-amd64.tar.gz # 解压 [r
Prometheus连接exporter报错tcp ip:port: connect: no route to host
qq_52545499的博客
02-27 393
单独访问node_exporter能够访问数据。
真正解决prometheus Error on ingesting samples that are too old or are too far into the future的问题
qq_39103891的博客
06-24 5875
真正解决prometheus Error on ingesting samples that are too old or are too far into the future的问题 看了很多国内的论坛，完全在误导，不去看清问题真相 一、问题引出 突然有天就数据查询失败，异常如下 level=warn ts=2020-10-09T02:29:06.700Z caller=scrape.go:1216 component="scrape manager" scrape_pool=service.serve
【博客668】prometheus如何调试和解决out of order samples
qq_43684922的博客
06-15 3117
Prometheus 内部的 TSDB 是仅附加的，一旦系列有 t=10 的样本，您就不能摄取任何更早时间的样本，例如 t=9。如果刮擦尝试这样做，您将收到如下警告：这里的 test 是抓取配置的 job_name，target 是被抓取的 URL。只提供了有多少样本受到影响，否则它可能是垃圾邮件。
【博客674】警惕Prometheus 中的重复样本和无序时间戳错误
qq_43684922的博客
06-25 5707
但 Prometheus 可能会出现错误配置，导致多个目标共享相同的标签集，这可能会导致结果时间序列之间的标签集冲突。然后，TSDB 会将多个原始系列的流视为单个系列，但当它们的样本因无序或重复时间戳而相互冲突时，会拒绝无效追加。但是，Prometheus 可能会出现错误配置，导致 Prometheus 尝试附加到 TSDB 时获得重复或无序的样本时间戳，但未能成功。当样本具有不同的样本值时，它还会拒绝与系列中最新样本具有相同时间戳的样本（否则，它们将被忽略）。
Prometheus所有监控项出现no data，prometheus pod日志报“out of bounds“错误
qq_36257612的博客
05-05 2384
也就是说，第一次更改服务器时间为2029年，那么tsdb时间序列即从当前时间直接跳转到2029年开始存储，如果一直保持这样下去，也不会出现什么大问题，顶多时间序列会出现断裂，即当前时间序列对应的metric查出来是no data；然而，又把服务器时间与本地做了同步，时间序列从2029年一下子回到了2023年，那么当每次向tsdb存数据的时候，发现最近一次的时间序列大于当前的时间序列，无法满足tsdb递增存储时间序列的原则。第一次更改服务器时间，时间序列断裂，当前时间序列对应的metric是no data。
监控工具之Prometheus安装使用
if9600的博客
01-18 1221
文章目录一、简介二、安装部署三、FAQs 一、简介 Prometheus是一套开源的监控＆报警＆时间序列数据库的组合．基本原理是通过HTTP协议周期性抓取被监控组件的状态． Prometheus 中的四种数据类型 （1）Counter：用于累计值，例如记录请求次数、次数完成数、错误发生次数。一直增加不会减少，重启进程后会被重置 （2）Gauge：常规数值，如温度变化、内存、CPU使用变化。重启进程后会被重置 （3）Histogram：直方图（柱状图），常用于跟踪时间发生的规模，例如：请求耗时、响应大小。可以
Prometheus自带指标整理
pandani的专栏
02-07 5740
序号 指标 类型 含义 原文 1 go_gc_duration_seconds summary 垃圾收集周期的暂停持续时间 A summary of the pause duration of garbage collection cycles 2 go_goroutines ...
记一次 remote write 故障（thanos)
discsthnew的博客
11-05 873
至此，梳理事故流程如下：网络故障，导致边缘prom数据堆积。由于prom和thanos wal文件开始结束时间不一致，因此可能会出现时序过久的错误改大了prom并发。正常情况下，prom会自动计算发送速率和并发。当数据发送受阻时，会拉起更多的并发来维持发送速率，这会导致一个问题。如果是因为服务端处理能力不足引起的同步滞后，在拉起更多并发后，会加剧对服务端性能压榨，服务端因为压力过大，引起更多的同步滞后，由此引发恶性循环。因此对此情况的处理方式是：将prommax_shards和设为正常值，不宜过大。
prometheus的remotewrite解析
wulitaotao96的博客
01-16 5884
WAL是每两小时压缩一次，如果远程写入的目标地址挂了超过两个小时，就会导致这段时间没被发送的数据丢失。prometheus配置了remote write的目标地址后，它会从WAL读取数据，然后把采样数据写入各分片的内存队列，最后发起向远程目标地址的请求。prometheus没有提供远程存储，但提供了远程存储的接口，远程存储只要实现这一接口，即可存储和读取prometheus的数据；实现：与prometheus做的事情相反，先进行sappy的解压缩，然后再protobuf反序列化，得到真实的数据。
夜莺n9e对接多个Prometheus
qq_21047625的博客
10-11 1582
夜莺n9e 单机多实例启动
普罗米修斯清除历史数据
热门推荐
w345731923的专栏
02-04 2万+
数据存储 Prometheus具有配置本地存储的多个标志。最重要的是： --storage.tsdb.path：Prometheus写入数据库的位置。默认为data/。 --storage.tsdb.retention.time：何时删除旧数据。默认为15d。storage.tsdb.retention如果此标志设置为默认值以外的任何值，则覆盖。 --storage.tsdb.retention.size：[EXPERIMENTAL]要保留的最大存储块字节数。最旧的数据将首先被删除。默认为0或禁用。
Prometheus源码解读系列
夜月鸿影的博客
06-01 1869
Prometheus源码解读系列专题，不断更新中......
2018-06-08 prometheus 使用过程中遇见的问题
逆风飞翔的博客
06-08 5978
已修复 Get http://ip:port/metrics: dial tcp ip:port: socket: too many open files 已修复 context deadline exceeded 原因：铁通走了电信出口, 添加铁通静态路由网段 route add -net 122.72.0.0 netmask 255.255.0.0...
Prometheus断电后启动异常 Error on ingesting samples that are too old or are too far into the future
刘李404not_found的博客
10-09 3883
国庆假期回来后，发现 Prometheus 服务启动后没数据，查看日志 level=warn ts=2020-10-09T02:29:06.700Z caller=scrape.go:1216 component="scrape manager" scrape_pool=service.server target=http://192.168.1.22:9100/metrics msg="Error on ingesting samples that are too old or are too far i
如何解决Prometheus的存储容量问题？
最新发布
04-10
<think>好的，用户想了解Prometheus存储容量优化的方案和配置。首先，我需要回忆一下Prometheus的存储机制，以及常见的优化方法。根据用户提供的引用内容，联邦机制和远程存储方案是其中两种方法。 首先，联邦机制（Federation）的作用是分层收集数据，边缘节点处理大部分数据，只有部分数据汇总到中心，这样可以减轻中心存储的压力。不过用户提到联邦机制落地较难，更推荐远程存储方案。所以可能需要详细说明这两种方法，但重点放在远程存储上。 接下来，远程存储方案，比如使用Thanos、Cortex或M3DB等，这些工具可以将数据长期存储在对象存储中，如S3或GCS，从而减少本地存储的压力。配置方面，需要修改Prometheus的remote_write配置，指向远程存储端点。 然后，用户可能还需要了解本地存储的优化，比如调整数据保留时间、使用TSDB的压缩和持久化策略。例如，调整--storage.tsdb.retention.time参数来控制数据保留时间，或者使用SSD来提高IO性能。 另外，数据分片（Sharding）也是一个优化点，通过运行多个Prometheus实例，每个实例负责不同的指标，分散存储压力。这需要合理规划指标的分片策略，可能通过服务发现或标签来分配。 配置示例部分，用户可能需要具体的配置文件片段，比如如何设置remote_write，或者分片配置的例子。同时，注意事项部分需要提醒用户规划好指标、避免冗余，以及监控存储使用情况。 最后，生成相关问题时要覆盖用户可能进一步想知道的内容，比如具体工具对比、数据保留策略、分片实施步骤等。</think>### Prometheus存储容量优化方案及配置 Prometheus存储容量优化主要通过**联邦机制**和**远程存储方案**实现，核心目标是减少中心节点存储压力并延长数据保留周期。以下是具体实施方案： #### 一、联邦机制分层处理 1. **边缘节点配置** ```yaml # 边缘Prometheus配置示例 scrape_configs: - job_name: 'node' static_configs: - targets: ['192.168.1.10:9100'] # 告警规则本地处理 alerting: alertmanagers: - static_configs: - targets: ['localhost:9093'] ``` 2. **中心节点配置** ```yaml # 中心Prometheus抓取边缘聚合数据 scrape_configs: - job_name: 'federate' scrape_interval: 60s honor_labels: true metrics_path: '/federate' params: 'match[]': - '{__name__=~"cluster:.*"}' static_configs: - targets: ['edge-prometheus:9090'] ``` 通过联邦机制可减少90%的中心端数据量[^1] #### 二、远程存储方案（推荐） 1. **Thanos架构部署** ```yaml # Prometheus添加远程写入 remote_write: - url: "http://thanos-sidecar:10908/api/v1/receive" ``` 2. **存储配置示例** ```yaml # Thanos组件配置对象存储 type: S3 config: bucket: "prometheus-data" endpoint: "s3.amazonaws.com" access_key: "AKIA****" secret_key: "******" insecure: false ``` 该方案可将数据保留周期从15天延长至数年[^1] #### 三、本地存储优化 1. 启动参数调整： ```bash --storage.tsdb.retention.time=30d # 缩短本地保留时间 --storage.tsdb.max-block-duration=2h # 提高数据压缩率 ``` 2. 启用TSDB压缩： ```yaml # prometheus.yml tsdb: compaction: enable: true max_concurrent_compactions: 4 ``` #### 四、数据分片策略 ```yaml # 分片Prometheus配置示例 - job_name: 'sharded_job' params: 'shard': ['0', '1'] # 分片编号 relabel_configs: - source_labels: [__address__] modulus: 2 target_label: __shard__ replacement: $1 ``` **注意事项：** 1. 建议提前规划指标采集范围 2. 定期执行`tsdb clean`清理过期数据 3. 对重要指标启用降采样（downsampling） 4. 监控TSDB目录大小：`prometheus_tsdb_storage_blocks_bytes`
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值