微服务日志增加链路追踪requestId

目录

背景

网关

全局请求过滤器

鉴权过滤器/全局异常处理器改造

响应头处理过滤器

ThreadContext工具类

Common公共包中新增全局过滤器

公共过滤器

sevrlet 相关常量类

各个服务配置

FeignConfiguration

logback.xml配置

继续完善

使子线程能够继承线程上下文映射

扩展Hystrix

其他

设置filter执行顺序


背景

以下内容主要在原框架的基础上做部分改造,以及新增。改造是因为要兼容原filter等内容,但是实际上自己重新开始做的话也差不多。

实现了微服务下的日志链路追踪以及微服务中请求的耗时监控。

网关

网关中的全局请求过滤器、鉴权过滤器、全局异常处理器改造,增加响应头处理过滤器。

(ps:根据项目不同,过滤器、拦截器、处理器可能不同,但是原理是相同的,当前的系统只需要修改上面三个地方就可以了)

全局请求过滤器

import com.gene.gateway.utils.LogGlobalFilterUtil;
import org.apache.logging.log4j.ThreadContext;
import org.springframework.cloud.gateway.filter.GatewayFilterChain;
import org.springframework.cloud.gateway.filter.GlobalFilter;
import org.springframework.core.Ordered;
import org.springframework.http.server.reactive.ServerHttpRequest;
import org.springframework.http.server.reactive.ServerHttpResponse;
import org.springframework.stereotype.Component;
import org.springframework.web.server.ServerWebExchange;

import lombok.extern.slf4j.Slf4j;
import reactor.core.publisher.Mono;


@Component
@Slf4j
public class GatewayFilter implements GlobalFilter, Ordered {
    @Override
    public Mono<Void> filter(ServerWebExchange exchange, GatewayFilterChain chain) {
        try {
            ServerHttpRequest serverHttpRequest = exchange.getRequest();
            ServerHttpResponse serverHttpResponse = exchange.getResponse();
            LogGlobalFilterUtil.setThreadContext(serverHttpRequest, serverHttpResponse);
            log.info("请求地址:{}", exchange.getRequest().getURI().getPath());
            return chain.filter(exchange);
        } finally {
            ThreadContext.remove(LogGlobalFilterUtil.REQUEST_ID_HEADER);
        }
    }

    @Override
    public int getOrder() {
        return 0;
    }
}

1.在请求和响应头中放入RequestId

2.在ThreadContext中放入RequestId(log4j2 1.x版本用MDC,2.x版本用ThreadContext)

ServerHttpRequest serverHttpRequest = exchange.getRequest();
ServerHttpResponse serverHttpResponse = exchange.getResponse();
LogGlobalFilterUtil.setThreadContext(serverHttpRequest, serverHttpResponse);

避免内存溢出

​
finally { ThreadContext.remove(LogGlobalFilterUtil.REQUEST_ID_HEADER); }

鉴权过滤器/全局异常处理器改造

跟全局请求过滤器对于request、response和ThreadContext的处理逻辑相同,只是其他业务逻辑不同.

(个人觉得这里并不完善,可以通过改造异步线程池以及设置request的子线程共享去实现在全局请求过滤器中处理一次就可以,本人没有试过,只是有个思路)

响应头处理过滤器

该过滤器的主要作用是处理响应中的header值重复的,因为在网关处理过一次response的header,在各个微服务中也要处理response的header,调用链上多次的处理会导致值重复,所以在返回的时候去重。

import lombok.extern.slf4j.Slf4j;
import org.springframework.cloud.gateway.filter.GatewayFilterChain;
import org.springframework.cloud.gateway.filter.GlobalFilter;
import org.springframework.cloud.gateway.filter.NettyWriteResponseFilter;
import org.springframework.core.Ordered;
import org.springframework.http.HttpHeaders;
import org.springframework.stereotype.Component;
import org.springframework.web.server.ServerWebExchange;
import reactor.core.publisher.Mono;

import java.util.List;
import java.util.stream.Collectors;

/**
 * @description: 头部信息去重过滤器
 * @author: gene
 * @date: 2021/11/30 13:14
 */
@Component
@Slf4j
public class HeaderFilter implements GlobalFilter, Ordered {
    @Override
    public Mono<Void> filter(ServerWebExchange exchange, GatewayFilterChain chain) {
        return chain.filter(exchange).then(
                Mono.defer(() -> {
                    HttpHeaders httpHeaders = exchange.getResponse().getHeaders();
                    httpHeaders.forEach((k, v) -> {
                        if (null != v && v.size() > 1) {
                            List<String> list = v.stream().distinct().collect(Collectors.toList());
                            httpHeaders.replace(k, list);
                        }
                    });
                    return chain.filter(exchange);
                })
        );
    }

    @Override
    public int getOrder() {
        // 指定此过滤器位于NettyWriteResponseFilter之后, 待处理完响应体后接着处理响应头
        return NettyWriteResponseFilter.WRITE_RESPONSE_FILTER_ORDER + 1;
    }
}

指定此过滤器位于NettyWriteResponseFilter之后, 待处理完响应体后接着处理响应头

NettyWriteResponseFilter.WRITE_RESPONSE_FILTER_ORDER + 1

ThreadContext工具类

import org.apache.logging.log4j.ThreadContext;
import org.springframework.http.HttpHeaders;
import org.springframework.http.server.reactive.ServerH
### 使用本地上下文替代微服务日志链路追踪中MDC的可行性分析 在微服务架构中,分布式日志链路追踪是一个关键问题。传统的MDC(Mapped Diagnostic Context)机制通过线程本地存储(ThreadLocal)来实现日志上下文信息的传递。然而,在异步或非阻塞编程模型下,MDC的局限性逐渐显现。因此,使用本地上下文(Context)作为替代方案成为一种可能的选择[^1]。 #### 可行性分析 本地上下文(如Java中的`java.util.concurrent.Context`或其他语言的类似实现)提供了一种更灵活的方式来管理跨线程的日志上下文信息。相比于MDC依赖于线程绑定的方式,本地上下文可以更好地支持异步和多线程场景下的数据传递。此外,随着服务网格技术的发展,微服务之间的通信逐渐被抽象到基础设施层面,业务逻辑更加专注于核心功能,这也为本地上下文的引入提供了更多可能性[^1]。 #### 实现方式 以下是基于本地上下文替代MDC的一种实现方式: 1. **定义全局上下文对象**:创建一个统一的上下文对象,用于存储日志链路追踪所需的标识符(如Trace ID、Span ID等)。该对象可以在请求进入系统时初始化,并在整个请求生命周期内保持一致性。 2. **使用编程语言的上下文机制**:例如,在Go语言中可以使用`context.Context`,在Python中可以使用`contextvars`模块。这些工具允许开发者将上下文信息与协程或线程解耦,从而实现跨线程的数据传递。 3. **拦截器或过滤器集成**:在微服务框架中,通过拦截器或过滤器捕获请求头中的链路追踪信息,并将其注入到本地上下文中。以下是一个示例代码片段: ```python import contextvars # 定义上下文变量 trace_id_var = contextvars.ContextVar("trace_id") def set_trace_id(trace_id): trace_id_var.set(trace_id) def get_trace_id(): return trace_id_var.get() # 拦截器示例 class TraceInterceptor: def process_request(self, request): trace_id = request.headers.get("X-Trace-ID") set_trace_id(trace_id) ``` 4. **日志记录增强**:修改日志记录器,使其能够自动从本地上下文中提取链路追踪信息并添加到日志输出中。例如: ```python import logging class ContextAwareLogger(logging.Logger): def makeRecord(self, name, level, fn, lno, msg, args, exc_info, func=None, extra=None, sinfo=None): record = super().makeRecord(name, level, fn, lno, msg, args, exc_info, func, extra, sinfo) record.trace_id = get_trace_id() return record ``` 5. **服务网格支持**:结合服务网格技术,将链路追踪信息的传递从应用层转移到基础设施层。这样可以进一步减少对本地上下文的依赖,同时提升系统的可维护性和扩展性[^1]。 #### 总结 使用本地上下文替代MDC是一种可行且有效的解决方案,尤其适用于异步或非阻塞编程模型下的微服务架构。通过合理的实现方式,不仅可以解决传统MDC的局限性,还能更好地适应未来无服务时代的技术发展趋势[^1]。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值