Graphite项目Carbon组件配置详解

虞熠蝶

于 2025-06-07 09:04:33 发布

阅读量344

点赞数 5

本文链接：https://blog.youkuaiyun.com/gitblog_00910/article/details/148488178

版权

Graphite项目Carbon组件配置详解

graphite-web A highly scalable real-time graphing system 项目地址: https://gitcode.com/gh_mirrors/gr/graphite-web

前言

Graphite是一个开源的监控工具，由多个组件组成，其中Carbon是负责接收、处理和存储时间序列数据的核心组件。本文将深入讲解Carbon组件的配置方法，帮助用户根据自身需求优化Graphite的性能和存储策略。

Carbon配置文件概述

Carbon的配置文件位于/opt/graphite/conf/目录下。初次安装Graphite时，该目录下只有.conf.example示例文件，需要用户手动创建实际配置文件：

pushd /opt/graphite/conf
cp carbon.conf.example carbon.conf
cp storage-schemas.conf.example storage-schemas.conf

示例配置提供了合理的默认值，但可能无法满足所有场景下的分辨率和存储需求。

核心配置文件详解

1. carbon.conf

这是Carbon的主配置文件，定义了各个守护进程的设置。文件分为几个主要部分：

[cache]：控制carbon-cache守护进程
[relay]：控制carbon-relay守护进程
[aggregator]：控制carbon-aggregator守护进程

实用技巧：

carbon-cache和carbon-relay可以在同一主机上运行
可以通过交换[cache]和[relay]部分中的LINE_RECEIVER_PORT和PICKLE_RECEIVER_PORT端口设置来避免重新配置已部署的指标发送器
在[relay]部分设置DESTINATIONS时，要注意[cache]部分中新设置的PICKLE_RECEIVER_PORT

2. storage-schemas.conf

此文件定义了指标的存储保留策略，将指标路径与模式匹配，并指定数据点的存储频率和历史记录。

关键特性：

支持多个配置段，按从上到下的顺序应用
使用正则表达式匹配指标名称
第一个匹配的模式将被应用
保留策略在发送第一个指标时设置
修改此文件不会影响已创建的.wsp文件

保留策略格式：

[section_name]
pattern = 正则表达式
retentions = 频率1:历史1,频率2:历史2,...

频率和历史可以使用以下后缀：

s - 秒
m - 分钟
h - 小时
d - 天
w - 周
y - 年

示例：

[apache_busyWorkers]
pattern = ^servers\.www.*\.workers\.busyWorkers$
retentions = 15s:7d,1m:21d,15m:5y

此例表示：

每15秒一个数据点，保留7天
每分钟一个数据点(由15秒数据聚合)，保留21天
每15分钟一个数据点(由1分钟数据聚合)，保留5年

3. storage-aggregation.conf

此文件定义如何将数据聚合到低精度保留策略中，格式与storage-schemas.conf类似。

关键参数：

xFilesFactor：介于0和1之间的浮点数，指定必须有多少比例的非空值才能聚合为非空值(默认0.5)
aggregationMethod：聚合方法，可选average(默认)、sum、min、max和last

示例：

[all_min]
pattern = \.min$
xFilesFactor = 0.1
aggregationMethod = min

4. relay-rules.conf

中继规则用于将特定指标发送到特定后端，由carbon-relay系统处理。

示例：

[example]
pattern = ^mydata\.foo\..+
servers = 10.1.2.3, 10.1.2.4:2004, myserver.mydomain.com

5. aggregation-rules.conf

聚合规则允许在指标到达时就将多个指标相加，减少在URL中频繁求和的需求。

格式：

output_template (频率) = 方法 input_pattern

可用聚合方法包括：sum、avg、min、max和各种百分位数(p50到p999)。

示例：

<env>.applications.<app>.all.requests (60) = sum <env>.applications.<app>.*.requests

6. rewrite-rules.conf

重写规则允许使用Python正则表达式重写指标名称。

格式：

regex-pattern = replacement-text

文件分为[pre]和[post]两部分，分别表示在接收指标时和应用聚合后执行重写。

7. 白名单和黑名单

通过USE_WHITELIST标志启用，可以只接受白名单中的指标或拒绝黑名单中的指标。

配置位置：

whitelist.conf：每行一个正则表达式，匹配允许的指标
blacklist.conf：每行一个正则表达式，匹配拒绝的指标

最佳实践建议

保留策略设计：
- 根据业务需求设计合理的保留策略
- 高频数据保留较短时间，低频数据保留较长时间
- 使用多级保留策略平衡精度和存储空间
聚合规则：
- 对需要频繁查询的汇总指标设置聚合规则
- 注意百分位数聚合的特殊性
性能优化：
- 合理配置carbon-cache的MAX_CREATES_PER_MINUTE等参数
- 根据硬件资源调整MAX_UPDATES_PER_SECOND
监控与维护：
- 定期监控磁盘使用情况
- 使用whisper-resize.py调整已有指标的保留策略
- 使用whisper-set-aggregation-method.py修改已有指标的聚合方法