Dubbo链路追踪——生成全局ID(traceId)

全链路日志追踪traceId(http、dubbo、mq) 一、概述 1、目的 目前许多系统项目之间的调用,有基于微服务的,有通过HTTP请求的,还有通过mq的。那么在处理一次请求的时候,可能会调用多个服务或者调用多个其他系统功能,这样就会产生很多的日志,此时,如果想查看这一次调用的完整的请求链路的日志时,就会变得比较困难,虽然我们有一些集中的日志收集工具比如ELK,我们需要把这一些日志串联起来,这个问题很关键,因为如果没有串联起来,排查日志就是一件很困难的事情。 2、解决办法 一般来说,系统之间的调用不外乎两种:http和dubbo。当然还有通过中间. 阅读详情

全局 traceId

关于链路追踪,在微服务的趋势下,一次调用的日志信息分布在不同的机器上或目录下,当需要看一条链路调用所有的日志信息时,这是个比较困难的地方,我们虽然有ELK , Sentry等日志异常收集分析工具, 但是如何把信息串起来也是一个关键的问题。 我们一般的做法是在系统调用开始时生成一个traceId , 并且它伴随着一次调用的整个生命周期 。 当一个服务调用另外一个服务的时候,traceId 则向下透传,全局使用唯一一个。

一、通过修改Dubbo源码实现全局traceId(侵入性高不建议使用)

我们通过分析源码可以知道客户端在调用服务段进行服务消费时,实际上发送的是封装过的Request实体 ,Data为Invocation实体对象(接口签名,参数类型,参数值,及attachment附件)

final class HeaderExchangeChannel implements ExchangeChannel {
...
    public ResponseFuture request(Object request, int timeout) throws RemotingException {
        if (closed) {
            throw new RemotingException(this.getLocalAddress(), null, "Failed to send request " + request + ", cause: The channel " + this + " is closed!");
        }
        // create request.
        Request req = new Request();
        req.setVersion("2.0.0");
        req.setTwoWay(true);
        req.setData(request);
        DefaultFuture future = new DefaultFuture(channel, req, timeout);
        try {
            channel.send(req);
        } catch (RemotingException e) {
            future.cancel();
            throw e;
        }
        return future;
    }
...
}

通过源码可知 request是入参,其他参数均为固定,所以只能在request中做文章。

代码涉及到的类有

  • TraceIdUtil : 链路追踪全局ID生成器
  • InvokerInvocationHandler : 消费端Invocation处理器
  • DubboProtocol : Dubbo协议处理入口,内有服务提供者处理请求数据信息的Handler处理器

TraceIdUtil源码如下

public class TraceIdUtil {

    private static final ThreadLocal<String> TRACE_ID = new ThreadLocal<String>();

    public static String getTraceId() {
        if(TRACE_ID.get() == null) {
            String s = UUID.randomUUID().toString();
            setTraceId(s);
        }
        return TRACE_ID.get();
    }

    public static void setTraceId(String traceId) {
        TRACE_ID.set(traceId);
    }
}

由Dubbo线程模型图示可知,Dubbo客户端调用实际上通过JavassistProxyFactory获取的是Proxy代理对象。

代码如下

public class JavassistProxyFactory extends AbstractProxyFactory {
    ...
    @SuppressWarnings("unchecked")
    public <T> T getProxy(Invoker<T> invoker, Class<?>[] interfaces) {
        return (T) Proxy.getProxy(interfaces).newInstance(new InvokerInvocationHandler(invoker));
    }
    ...
}

其中 InvokerInvocationHandler 调用数据的处理及rpc调用实体的封装过程。所以我们需要在调用的起始位置添加traceId信息 。

其次是服务提供者进行请求处理过程: DubboProtocol的requestHandler 请求处理器(不明白请详读服务Dubbo服务暴露过程源码)

将traceId 从RpcInvocation 的attachment属性中取出 ,传给TraceIdUtil 方面后续调用过程使用。

扩展Provider端Filter (无侵入性,建议使用)

创建Filter 服务提供者端扩展

/**
 * Created with IntelliJ IDEA.
 *
 * @author: bakerZhu
 * @description:
 * @time: 2018年09月09日
 * @modifytime:
 */
@Activate(group = {Constants.CONSUMER, Constants.PROVIDER} , order = -9999)
public class GlobalTraceFilter implements Filter {

    @Override
    public Result invoke(Invoker<?> invoker, Invocation invocation) throws RpcException {
        String traceId = invocation.getAttachment("traceId");
        if(!StringUtils.isBlank(traceId)) {
            RpcContext.getContext().setAttachment("traceId",traceId);
        }else { // 第一次发起调用
            RpcContext.getContext().setAttachment("traceId", UUID.randomUUID().toString());
        }
        return invoker.invoke(invocation);
    }
}

资源文件夹下创建 META-INF/dubbo 文件夹 创建com.alibaba.dubbo.rpc.Filter 文件,并编辑文件内容 gtrace=com.alibaba.dubbo.rpc.filter.GlobalTraceFilter

疑惑点 为什么设置Dubbo上下文的attachment调用时会出现在 RpcInvocation中

详见 AbstractInvoker.invoke(Invocation inv) 方法

public abstract class AbstractInvoker<T> implements Invoker<T> {
    public Result invoke(Invocation inv) throws RpcException {
        ......
        Map<String, String> context = RpcContext.getContext().getAttachments();
        if (context != null) {
            invocation.addAttachmentsIfAbsent(context);
        }
        if (getUrl().getMethodParameter(invocation.getMethodName(), Constants.ASYNC_KEY, false)) {
            invocation.setAttachment(Constants.ASYNC_KEY, Boolean.TRUE.toString());
        }
        RpcUtils.attachInvocationIdIfAsync(getUrl(), invocation);
        ......
    }
}

将上下文的“附件信息”拷贝到RpcInvocation中

文章来源:https://my.oschina.net/LucasZhu/blog/2046356
推荐阅读:https://www.roncoo.com/course/list.html?courseName=Dubbo

dubbo项目traceId链路传递(MDC方案及重复traceId处理) dubbo项目,traceId链路传递,MDC方案,重复traceId处理 阅读详情

相关推荐

Dubbo 全链路追踪日志的实现

目标 http接口 所有HTTP API响应体中增加traceId字段: { "code": 200, "data": "Hello world", "msg": "ok", "traceId": "bd41aed8b2da4895a9d2b43d1ef12595" } dubbo接口 对于服务调用方:每次调用服务时,都需要向服务提供方传递traceId...

小猪快跑的博客 1105

分布式全局ID生成方案汇总和对比

1. 为什么需要全局ID 当业务量不大的时候,单库单表使用数据库自增ID就可以解决绝不多数问题,可是随着业务的增长,势必涉及到分库分表,此时使用数据库的主键ID就会出现问题,因此我们需要一个全局唯一的ID。 2. 全局ID的要求 全局唯一 支持高并发 能够体现一定属性 高可靠,容错单点故障 高性能 3. 生成方案 UUID 数据库自增ID 号段模式 Redis twitter 雪花算法(SnowFlake) 滴滴出品(TinyID) 百度 (Uidgenerator) 美团(L

weixin_52161584的博客 575

QT6与QT5安装全攻略:从下载到环境配置一站式指南

本文提供了一份详尽的QT6与QT5安装教程,涵盖从版本选择、在线安装器使用到环境变量配置的全过程。针对新手常见痛点,重点对比了QT6与QT5的安装差异,并给出了MinGW与MSVC编译器的选择建议,旨在帮助开发者快速搭建稳定可用的QT开发环境,避免常见错误。

weixin_29216353的博客 314

链路追踪的时候,链路id是怎么管理的(面试)

链路追踪的时候,链路id是怎么管理的 每一个请求入口,traceid,每一次服务调用,spanid,上游服务id,parenetid,调用时间,timestamp,有正向的,还有反向的,把请求发出,请求接收,业务处理,各种时间都记录下来,计算网络耗时和业务处理耗时。 底层的服务框架,接收到每一层请求调用的时候都要交给链路追踪系统的客户端框架来处理一下,traceid,代表了一次请求。 链路追踪数据: traceid=1,spanid=1,parentid=0,received_timestamp=1

qq_37286668的博客 1501

我每天如何使用 ChatGPT

我偶尔会用这个功能作为开始。我本人非常喜欢阅读,让 ChatGPT 来概括所有文章,感觉就像身处于但丁描述的地狱的某个层次那样痛苦。然而,有时一些文章实在是太啰嗦、无聊,或者写得让人不愉快(比如一个无趣记者对一个让人讨厌的人进行的漫无焦点的采访)。我需要获取这些文章中的一些信息,以便保持信息的更新和了解。在晚期资本主义的广告经济下,很多文章只在一个段落里提供新信息,其余都是无聊的填充内容,只是为了展示糟糕的广告,这实在是对人们的时间和生命的一种浪费。我有几次利用 ChatGPT 来。

KevinDai007的博客 3787

图相似度模型(论文篇)

图相似度模型

weixin_43702653的博客 5753

为全局请求添加 TraceId ,看日志再也不懵逼

不知道大家有没有一堆日志就是定位不到那块是异常部分,接口错误无法复现,也找不到报错信息等比较棘手的问题。其实解决上面的问题很简单,只要我们为每一个请求都分配一个唯一的 RequestId 或者叫 TraceId ,一旦出了问题,只需要拿着 Id 去日志里一搜,妖魔鬼怪立马原形毕露。对于分布式链路追踪,有很多开源中间件,本文主要通过 logback 的 MDC 实现。

老男孩的架构路 1418

Maya ACES工作流程配置(Arnold 及 RedShift 贴图配置规范-还原出SP-Aces流程下贴图正确的效果) PS还原Aces流程下渲染的图

*如果使用SP,项目工程如果新建的时候设置的就是Aces的流程的话,按规范正常导出即可,贴图会带上相对应的后缀,然后贴图导入材质球的时候会根据后缀自动设置相对应的色彩空间;**万一不是,就自己手动设置一下对应的色彩空间即可;然后点击选择当前的或者选择全部导入的贴图,点击右下角后,开始转换;我复制了一下,一个默认没有LUT的效果,然后另外一个是加载2个LUT后的还原效果,和渲染的效果应该是没有区别的,至少我没有看出明显的区别;把需要转换的贴图拖拽到左侧,然后右面选择需要转换到的相对应的色彩空间;...

Yuulily 7999

Springboot全文链路id,并ELK搭建部署整合全文链路id

Springboot全文链路id,并ELK搭建部署整合全文链路id

记录开发日常笔记 2208

避开ego_planner仿真的第一个坑:深度相机、点云与odom话题配置全指南

本文详细解析了ego_planner仿真中深度相机、点云与odom话题配置的关键问题,帮助开发者避开常见陷阱。从数据流架构到具体配置细节,包括深度相机的内外参匹配、点云数据规范要求以及odom话题的验证方法,提供了全面的实战指南和优化建议。

weixin_30335575的博客 494

告别屏幕闪烁:手把手教你用示波器抓取并分析MIPI DSI信号(以RK平台为例)

本文详细介绍了如何利用示波器抓取并分析MIPI DSI信号,以解决LCD屏幕闪烁、花屏等问题。以RK平台为例,从工具准备、示波器参数配置到信号捕获与波形解读,提供了一套完整的调试方案,帮助硬件工程师快速定位和解决显示接口信号完整性问题。

weixin_33704591的博客 658

Dubbo如何传递链路追踪id?

分布式链路追踪就是将一次分布式请求还原成调用链路,将一次分布式请求的调用情况集中展示,比如各个服务节点上的耗时、请求具体到达哪台机器上、每个服务节点的请求状态等等。链路跟踪主要功能:故障快速定位:可以通过调用链结合业务日志快速定位错误信息。链路性能可视化:各个阶段链路耗时、服务依赖关系可以通过可视化界面展现出来。链路分析:通过分析链路耗时、服务依赖关系可以得到用户的行为路径,汇总分析应用在很多业务场景。dubbo通过spi和Adaptive注解来实现链路追踪id传递。

HBLOG 2385

ViT 实战 万字全攻略:从图像分类到医学影像,Transformer 重塑视觉 AI

摘要:本文深度解析 ViT(Vision Transformer)算法在视觉任务中的原理与实践,涵盖图像分类、目标检测、语义分割及医学影像分析四大领域。从理论出发,详细拆解图像分块、位置编码、Transformer 编码器等核心机制;通过 PyTorch 与 Timm 库实现模型构建、训练与优化,提供 CIFAR-10、Pascal VOC、Cityscapes 及医学数据集的完整代码示例。针对工业级部署,重点介绍模型量化、TensorRT 加速、Flask API 开发及 Docker 容器化方案。

专注于人工智能、软件开发、工控自动化、工厂数字化及智能化等领域,希望和大家共同进步! 1944

【Dubbo】Dubbo简单自定义链路传递traceId

此方式只是一个简单的实现,真实场景允许条件下直接使用sentinel等专门框架完成的限流链路追踪的功能。

imbzz的博客 1207

《UDS协议从入门到精通》系列——图解0x27:安全访问

什么是安全访问服务?应用场景和基本原理是什么?全网最直观详细的图解UDS-0x27:安全访问服务!!

车载系统攻城狮 7240

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

链路日志traceId

  项目查日志太麻烦,多台机器之间查来查去,还不知道是不是同一个请求的。打印日志时使用 MDC 在日志上添加一个 traceId,使用 traceId 跨系统传递   1 背景 同样是新项目开发的笔记,因为使用的是分布式架构,涉及到各个系统之间的交互       这时候就会遇到一个很常见的问题:   单个系统是集群部署,日志分...

t194978的博客 6438

温度PID控制PLC程序

温度PID稳定控制程序,适用于欧姆龙PLC,对其他PLC也具有很大参考价值

Spring Cloud与Dubbo混用场景下的traceId全链路追踪方案

在微服务架构中,链路追踪是排查问题的核心手段。当系统同时使用Spring Cloud和Dubbo两套RPC体系时,traceId的跨进程传递变得尤为棘手。其原理是通过Filter和Interceptor在HTTP Header与RPC隐式参数中注入traceId,并借助TransmittableThreadLocal实现跨线程传递。该方案能有效串联全链路日志,提升排查效率,适用于混合微服务架构下的日志追踪场景。

weixin_32306957的博客 99

Probability and Statistics - 4th edition

Probability and Statistics - 4th edition

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

基于trace_id的链路追踪,含Feign、Hystrix、线程池等场景

目前公司的微服务架构是基于Spring Cloud来实现的,而在实现服务间trace_id链路追踪的时候,发现服务提供方和服务调用方的trace_id不一致,所以在此记录该问题的解决方案,并针对Java体系中常见的场景进行了分析和给出了具体的实现方案。 一、概述 在微服务的体系架构中,都存在一个服务与服务之间的调用链路追踪问题。虽然在生产环境中会采用第三方的组件或服务来实现链路追踪,比如SkyWalking、阿里云arms等,但一旦脱离开这些第三方的功能,微服务体系中的问题排查将会变得异常艰辛,所以如果.

白云 8132

traceId怎么通过Dubbo调用传递

需分别实现消费端和服务端的过滤器(可合并为一个类,通过判断角色区分处理)。/*** Dubbo链路追踪过滤器,自动传递traceId*/@Activate(group = {CommonConstants.CONSUMER, CommonConstants.PROVIDER}) // 激活消费端和服务端// traceId在attachment中的键名@Override// 区分消费端和服务端逻辑// 消费端:将当前MDC的traceId放入attachment。

青鱼入云的博客 490

分布式追踪中TraceID消失之谜:Dubbo链路追踪完整排障指南

在分布式系统中,TraceID(追踪标识)就像一根无形的线,串联起各个服务节点的调用链路。但当这根线突然断裂——也就是TraceID神秘消失时,排查问题就如同在迷宫中失去了地图。本文将通过Dubbo框架的实际代码案例,从配置层、传输层到应用层,系统解析TraceID丢失的五大典型场景及对应的解决方案,帮助开发者快速定位并修复分布式追踪中的"断链"问题。 ## 链路追踪基础:TraceID在Dub...

gitblog_00684的博客 570

dubbo traceId透传实现日志链路追踪(基于Filter和RpcContext实现)

一、要解决什么问题: 使用elk的过程中发现如下问题: 1.无法准确定位一个请求经过了哪些服务 2.多个请求线程的日志交替打印,不利于查看按时间顺序查看一个请求的日志。 二、期望效果 能够查看一个请求完整的链路日志,不受其它请求日志的干扰。 三、动手实现 消费端需要做什么: 1.新建一个拦截器,拦截所有请求,在调用接口前生成一个链路id(traceId)并放入log4j的MDC和dubb...

weixin_30462049的博客 1770

终极解决:Apache Dubbo分布式链路追踪TraceID缺失问题全解析

Apache Dubbo作为一款高性能、轻量级的分布式服务框架,在微服务架构中被广泛应用。然而在实际开发中,分布式链路追踪的TraceID缺失问题常常困扰开发者,导致问题排查困难。本文将全面解析Dubbo中TraceID缺失的根本原因,并提供一套完整的解决方案,帮助你快速定位和解决分布式调用中的追踪问题。 ## 为什么TraceID对Dubbo分布式调用至关重要? 在分布式系统中,一个用户请求

gitblog_00634的博客 541

Spring Cloud+Dubbo混合架构下TraceId透传与链路追踪实战

在分布式系统与微服务架构中,链路追踪是定位跨服务请求必不可少的观测手段。一次用户请求往往要经过网关、业务服务与消息队列等多个节点,而traceId作为贯穿整条调用链的全局唯一标识,其生成规则与透传机制直接决定了日志能否串成完整调用链。在Spring Cloud与Dubbo混合架构下,HTTP Header、Dubbo attachment与异步线程上下文构成了三条核心透传通道;借助MDC将traceId注入日志,并结合线程池TaskDecorator解决异步场景下的上下文丢失,才能确保从入口到底层服务的日志

weixin_32288959的博客 227

分布式链路追踪实战:Spring Cloud + Dubbo 下 TraceId 传递全方案

在微服务架构中,一次用户请求往往要跨越 HTTP、RPC、线程池和消息队列等多重边界。链路追踪通过 traceId 为每一次调用分配全局唯一标识,将分散在不同服务日志中的记录串联成完整调用链,是分布式系统排障的基础能力。然而,仅仅在入口生成 traceId 远远不够——异步线程会导致 ThreadLocal 失效,Dubbo 异步回调会丢失上下文,网关转发可能覆盖透传值,这些细节都会让日志链在关键时刻断裂。本文围绕 Spring Cloud 与 Dubbo 混合架构,系统梳理了从生成规范、过滤器透传、Tas

weixin_33507732的博客 250
上一篇: dubbo同名方法的问题及思考
下一篇: Java 实现区块链中的区块,BLOCK的实现
java_66666
博客等级 码龄10年 339粉丝 42原创
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值