分布式系统故障排查：用`Jaeger`追踪微服务间的调用链

最新推荐文章于 2025-11-15 17:56:12 发布

原创最新推荐文章于 2025-11-15 17:56:12 发布 · 1k 阅读

29 ·

CC 4.0 BY-SA版权

文章标签：

#分布式系统 # 微服务 # 故障排查 # Jaeger # 调用链

Python面试场景题专栏收录该内容

595 篇文章

订阅专栏

分布式系统故障排查：用`Jaeger`追踪微服务间的调用链

Jaeger分布式追踪系统

在当今复杂的微服务架构中，一个看似简单的API请求可能会触发数十个内部服务调用。当系统出现异常或性能下降时，定位问题变得异常困难。没有可视化的调用链路，排查故障就像在迷宫中盲目摸索。

本文将介绍如何使用Jaeger构建分布式追踪系统，帮助你在微服务架构中精准定位性能瓶颈和故障根源。

为什么需要分布式追踪？

传统的日志和监控在微服务环境中面临诸多挑战：

服务间调用关系复杂，难以追踪完整流程
难以确定哪个服务是瓶颈
无法直观展示请求在各服务间的传播路径
缺乏端到端的性能分析视角

Jaeger简介

Jaeger是CNCF孵化的开源分布式追踪系统，由Uber开发并贡献。它具备以下特点：

兼容OpenTracing标准
支持多种存储后端（Elasticsearch、Cassandra等）
提供直观的UI界面
具备高可扩展性，适合大规模微服务环境

核心概念

使用Jaeger前，需要理解几个核心概念：

Trace: 一次完整请求的调用链
Span: 调用链中的一个操作单元
SpanContext: 包含TraceID等传递给下游服务的上下文信息
Baggage: 随调用链传递的键值对数据

实战：集成Jaeger到微服务

1. 部署Jaeger

使用Docker快速启动Jaeger:

docker run -d --name jaeger \
  -e COLLECTOR_ZIPKIN_HOST_PORT=:9411 \
  -p 5775:5775/udp \
  -p 6831:6831/udp \
  -p 6832:6832/udp \
  -p 5778:5778 \
  -p 16686:16686 \
  -p 14268:14268 \
  -p 14250:14250 \
  -p 9411:9411 \
  jaegertracing/all-in-one:1.29

2. 在服务中集成Jaeger客户端

以Python服务为例:

from jaeger_client import Config
from flask import Flask

app = Flask(__name__)

def init_tracer():
    config = Config(
        config={
            'sampler': {
                'type': 'const',
                'param': 1,
            },
            'logging': True,
        },
        service_name='order-service',
    )
    return config.initialize_tracer()

tracer = init_tracer()

@app.route('/api/orders/<order_id>')
def get_order(order_id):
    with tracer.start_span('get_order') as span:
        span.set_tag('order_id', order_id)
        # 调用其他服务
        with tracer.start_span('call_payment_service', child_of=span) as child_span:
            # 模拟调用支付服务
            child_span.set_tag('service', 'payment')
            # 实际业务逻辑...
    
    return {'status': 'success'}

3. 跨服务传递上下文

当一个服务调用另一个服务时，需要传递追踪上下文：

# 在调用方
headers = {}
tracer.inject(span.context, 'http_headers', headers)
requests.get(f'http://payment-service/api/payments/{payment_id}', headers=headers)

# 在被调用方
span_ctx = tracer.extract('http_headers', request.headers)
span = tracer.start_span('process_payment', child_of=span_ctx)

故障排查实战

场景：API响应缓慢

假设用户反馈订单查询API响应缓慢，我们如何使用Jaeger定位问题？

访问Jaeger UI (http://localhost:16686)
选择服务"order-service"，查找慢请求
分析调用链路图，识别耗时最长的Span
发现"call_payment_service"占用了大量时间
进一步查看支付服务的日志和监控

Jaeger UI示例

最佳实践

合理命名Span：使用有意义的名称，包含服务和操作信息
添加关键标签：记录请求ID、用户ID等业务标识符
记录重要事件：使用span.log_kv()记录关键步骤
采样策略选择：生产环境考虑使用概率采样减少开销
与日志系统集成：在日志中包含TraceID，便于关联查询

高级功能

1. 自定义采样策略

sampler = RateLimitingSampler(max_traces_per_second=10)

2. 记录异常信息

try:
    # 业务逻辑
except Exception as e:
    span.set_tag('error', True)
    span.log_kv({
        'event': 'error',
        'error.kind': type(e).__name__,
        'error.message': str(e),
        'stack': traceback.format_exc(),
    })
    raise