Pydantic/Logfire 采样机制深度解析：优化日志与追踪数据的艺术-优快云博客

Pydantic/Logfire 采样机制深度解析：优化日志与追踪数据的艺术

logfire Uncomplicated Observability for Python and beyond! 🪵🔥 项目地址: https://gitcode.com/gh_mirrors/lo/logfire

什么是采样及其重要性

在现代应用监控和日志系统中，采样（Sampling）是一项关键技术，它通过有选择性地保留部分追踪数据（traces）或跨度（spans），在数据完整性和系统资源消耗之间取得平衡。Pydantic/Logfire 提供了强大的采样机制，帮助开发者有效管理海量监控数据。

采样主要解决两个核心问题：

降低存储和分析成本
减少系统性能开销

采样类型对比

头部采样（Head Sampling）

头部采样在追踪开始时立即做出采样决策，特点是：

实现简单高效
决策基于有限信息
适合大多数常规场景

import logfire
# 随机保留50%的追踪数据
logfire.configure(sampling=logfire.SamplingOptions(head=0.5))

尾部采样（Tail Sampling）

尾部采样延迟决策直到追踪结束，特点是：

基于完整信息做出决策
可以保留关键数据（如错误或长耗时操作）
实现复杂度较高

# 保留包含错误或耗时超过5秒的追踪
logfire.configure(sampling=logfire.SamplingOptions.level_or_duration())

实战采样策略

基础随机采样

最简单的采样方式是随机保留一定比例的追踪：

# 保留30%的追踪数据
logfire.configure(sampling=logfire.SamplingOptions(head=0.3))

智能条件采样

更高级的采样策略可以基于日志级别和操作时长：

# 保留包含警告及以上级别或耗时超过3秒的追踪
logfire.configure(
    sampling=logfire.SamplingOptions.level_or_duration(
        level_threshold='warn',
        duration_threshold=3.0
    )
)

混合采样策略

结合头部和尾部采样可以取得更好的效果：

# 先随机保留10%的追踪，再从中筛选重要数据
logfire.configure(
    sampling=logfire.SamplingOptions.level_or_duration(head=0.1)
)

背景采样率

即使不满足条件，也可以保留部分常规数据作为背景参考：

# 确保至少保留20%的基础数据
logfire.configure(
    sampling=logfire.SamplingOptions.level_or_duration(background_rate=0.2)
)

高级自定义采样

自定义头部采样器

对于特殊需求，可以实现自定义采样逻辑：

from opentelemetry.sdk.trace.sampling import Sampler

class CriticalPathSampler(Sampler):
    def should_sample(self, parent_context, trace_id, name, *args, **kwargs):
        if 'critical' in name:
            return True  # 总是采样关键路径
        return False  # 忽略其他

logfire.configure(
    sampling=logfire.SamplingOptions(head=CriticalPathSampler())
)

自定义尾部采样函数

更精细化的尾部采样控制：

def custom_tail_sampler(span_info):
    if span_info.level > 'error':
        return 1.0  # 保留所有严重错误
    if span_info.duration > 10:
        return 0.8  # 高概率保留长耗时操作
    return 0.2  # 低概率保留常规操作

logfire.configure(sampling=logfire.SamplingOptions(tail=custom_tail_sampler))