Grafana Tempo vParquet3 格式设计与性能优化解析-优快云博客

本文链接：https://blog.youkuaiyun.com/gitblog_00261/article/details/148524808

Grafana Tempo vParquet3 格式设计与性能优化解析

tempo Grafana Tempo is a high volume, minimal dependency distributed tracing backend. 项目地址: https://gitcode.com/gh_mirrors/tempo1/tempo

引言

在分布式追踪系统中，高效的存储和查询性能至关重要。Grafana Tempo 作为一款开源的分布式追踪后端，其存储格式的演进直接影响着系统的整体性能。本文将深入解析 Tempo 最新提出的 vParquet3 存储格式设计，探讨其如何通过优化属性存储结构来显著提升 TraceQL 查询性能。

背景与现状

当前 Tempo 使用的 Parquet 格式将所有 span 属性存储在名为 Attrs 的重复组中。这种设计存在几个关键问题：

存储效率低：属性列占整个块大小的 30-70%
查询性能瓶颈：搜索特定属性需要访问大量数据
热点属性集中：分析显示，10个最常用的属性占用了超过50%的属性存储空间

初步基准测试表明，为高频属性设置专用列可带来显著改进：

块大小减少约10%
通用属性列的压缩大小减少40%
无匹配查询速度提升70-80%
有匹配查询速度提升30-50%

vParquet3 设计目标

vParquet3 的核心目标是支持为高负载场景配置专用属性列，主要特性包括：

基础支持：
- 仅支持字符串类型的资源级和span级属性
- 可按租户手动配置专用列
- 支持不同配置版本的块共存
未来扩展：
- 自动分析工作负载并推荐配置
- 支持动态schema和多种编码方式
- 在压缩时动态应用新配置到旧块

技术实现细节

备用列架构设计

vParquet3 采用"备用列"方案而非完全动态schema，以平衡复杂度和灵活性：

type DedicatedAttrs struct {
    String01 *string `parquet:",snappy,optional,dict"`
    String02 *string `parquet:",snappy,optional,dict"`
    // ...共10个备用列
}

type Span struct {
    // ...其他字段
    DedicatedAttrs DedicatedAttrs `parquet:""`
}

这种设计预留了10个字符串类型的专用列，足以满足大多数使用场景。

元数据管理

每个块的 meta.json 新增专用列映射信息：

{
    "dedicatedColumns": [
        {"scope": "span", "name": "http.method", "type": "string"},
        {"scope": "resource", "name": "service.name", "type": "string"}
    ]
}

配置管理

通过YAML配置和覆盖机制支持运行时调整：

limits:
  dedicated_columns:
    - scope: span
      attribute: http.status_code
      type: string
    - scope: resource
      attribute: deployment.environment
      type: string