分布式链路追踪-skywalking入门体验

SkyWalking中Trace落地实现方案 Skywalking Traceid 阅读详情

背景

旁友,你的线上服务是不是偶尔来个超时,或者突然抖动一下,造成用户一堆反馈投诉。然后你费了九牛二虎之力,查了一圈圈代码和日志才总算定位到问题原因了。或者公司内部有链路追踪系统,虽然可以很轻松地通过监控判断问题出现的原因,但是对其中的逻辑完全摸不着头脑。只能上网搜索一番。

旁友,skywalking分布式链路追踪框架了解一下。

有的旁友会有疑惑,我的Spring Boot 就是一个单体应用么,不需要链路追踪?有问题直接翻日志就行了,但是即使是一个 Spring Boot 单体应用,也会和以下服务打交道:

  • 关系数据库,例如说 MySQL、PostgreSQL 等等。
  • 缓存数据库,例如说 Redis、Memcached 等等。
  • 外部三方服务,例如说微信公众号、微信支付、支付宝支付、短信平台等等

可见,仅仅一个 Spring Boot 单体应用,就已经涉及到分布在不同进程中的服务了。此时,就非常有必要用上skywalking。例如说,线上某个 接口访问非常慢,用SkyWalking 可以定位是MySQL 查询比较慢呢,还是调用的第三方服务比较慢。

而在分布式服务中,各个大厂内部系统成百上千的,链路关系更加复杂。比如你在外卖平台上的一个点击请求可能跨了内部几十个Java应用了,在这么长的链路里去排查问题,没有好使的工具怎么行呢。如图是当前分布式系统的现状,图片来源:鹰眼下的淘宝分布式调用跟踪系统介绍

根据上图,我们设想:

1.系统中有可能每天都在增加新服务或删除旧服务,也可能进行升级,当系统出现错误,我们如何定位问题?

2.当用户请求时,响应缓慢,怎么定位问题?

3.服务可能由不同的编程语言开发,1、2 定位问题的方式,是否适合所有编程语言?

Skywalking框架

1.介绍

SkyWalking 是什么?

官方网址 skywalking.apache.org/

skywalking是一个优秀的国产开源框架,2015年由个人吴晟(华为开发者)开源 , 2017年加入Apache孵化器。短短两年就被Apache收入麾下,实力可见一斑。

分布式系统的应用程序性能监视工具,专为微服务、云原生架构和基于容器(Docker、K8s、Mesos)架构而设计。

提供分布式追踪、服务网格遥测分析、度量聚合和可视化一体化解决方案。

代码无侵入,通信方式采用GRPC,实现方式是java探针,支持告警,JVM监控,支持全局调用统计等等

skywalking的架构参考了谷歌的Dapper框架的论文,Dapper并没有开源,只给了篇论文,感兴趣但又不喜英文文档的旁友可以看看论文的中文翻译Dapper,大规模分布式系统的跟踪系统

整体架构如下:

  • Tracing Metrics Logging :负责从应用中,收集链路信息,发送给 SkyWalking OAP 服务器。目前支持 SkyWalking、Zikpin、Jaeger 等提供的 Tracing 数据信息。Java应用通常使用SkyWalking Agent 收集数据
  • SkyWalking OAP :skywalking服务端(Transport layer,Receiver cluster,Aggregator cluster)负责接收 Agent 发送的 Tracing 数据信息,然后进行分析,存储到外部存储器( Storage ),最终提供查询功能。
  • Storage option :Tracing 数据存储。目前支持 ES、H2 多种存储器。我们用ES存储即可 。
  • GUI :负责提供可视化控台,查看链路等
  • Alarm:提供告警功能,这里不展示讲

2.Docker方式搭建Skywalking环境

为了快速搭建环境,避免各种系统、配置环境不同造成踩坑的情况。我们用docker直接创建ElasticSearch、Skywalking-OAP、Skywalking-UI以及ES的管理工具Kibana。这样一套运行环境直接就能用了。话不多说,直接开干

整体架构如下:

用到的工具版本号如下表:

工具版本号
ElasticSearch7.14.2
Kibana7.14.2
skywalking-oap-server9.1.0
skywalking-ui9.1.0

其中skywalking的docker-compos.yml运行脚本可以从官方的Github上获取apache/skywalking/docker

脚本需要修改,直接参考我的就行,不懂的参数都有具体说明:

version: '3'
services:
  elasticsearch:
    image: docker.elastic.co/elasticsearch/elasticsearch:7.14.2
    container_name: elasticsearch
    ports:
      - 9200:9200
      - 9300:9300
    environment:
      - "cluster.name=elasticsearch"
      - "bootstrap.memory_lock=true"
      - "ES_JAVA_OPTS=-Xms256m -Xmx512m"
      - "discovery.type=single-node"

  kibana:
    image: docker.elastic.co/kibana/kibana:7.14.2
    container_name: kibana
    depends_on:
      - elasticsearch
    ports:
      - 5601:5601
    environment:
      # IP地址为运行电脑的IP地址,Mac上通过 ifconfig en0 命令获取
      - "elasticsearch.hosts=http://192.168.1.5:9200" 

  skywalking-oap:
    image: apache/skywalking-oap-server:9.1.0
    container_name: skywalking-oap
    depends_on:
      - elasticsearch
    ports:
      - "11800:11800"
      - "12800:12800"
    healthcheck:
      test: [ "CMD-SHELL", "/skywalking/bin/swctl ch" ]
      interval: 30s
      timeout: 10s
      retries: 3
      start_period: 10s
    environment:
      TZ: Asia/Shanghai
      SW_STORAGE: elasticsearch
      SW_STORAGE_ES_CLUSTER_NODES: elasticsearch:9200
      SW_HEALTH_CHECKER: default
      SW_TELEMETRY: prometheus

  skywalking-ui:
    image: apache/skywalking-ui:9.1.0
    container_name: skywalking-ui
    depends_on:
      - skywalking-oap
    links:
      - skywalking-oap
    ports:
     # UI界面程序占用的端口
      - "8080:8080"
    environment:
      TZ: Asia/Shanghai
      # IP地址为运行电脑的IP地址,Mac上通过 ifconfig en0 命令获取
      SW_OAP_ADDRESS: http://192.168.1.8:12800


2.1 Docker镜像加速

按上述配好docker-compose.yml文件后,命令行到所在目录下执行docker-compose up可以拉起镜像,第一次运行时会下载镜像,docker默认的镜像仓库在国外,所以下载速度和蜗牛一样慢。为了加速下载,需要配置国内的docker镜像

获取国内docker镜像库地址的方法:

  1. 阿里云官方镜像加速,获取加速器地址文档:阿里云官方镜像加速
  2. 网上搜索docker镜像加速,下面是测过有效的公共镜像库

配置方法:

Docker桌面版Preference -> Docker Engine 在Json配置里加上,加好之后重启Docker,然后再重新拉镜像,速度立马快得飞起🚀🚀🚀

  # 按需加上多个镜像库地址
  "registry-mirrors": [
        "https://hub-mirror.c.163.com",
    "https://mirror.baidubce.com"
  ]


2.2 Skywalking UI界面

docker启动后,Skywalking第一次运行会自行在ES里创建索引,运行日志没有报错,说明启动成功了,浏览器打开http://127.0.0.1:8080/可以看到Skywalking 的界面

2.3 Skywalking agent使用

数据的采集通过agent,Java应用启动时通过-javaagent参数配置Skywalking agent。在IDEA中运行时,在启动参数vm 中配置即可。

Skywalking Agent下载

官网上下载Java agent压缩包Skywalking Agent下载,当前最新的版本是v8.12.0,下载到自己电脑上找个位置解压。我的是放在/Users/longbig/opt/目录下

shell脚本方式

# 配置agent地址,agent服务名,skywalking-oap collector地址(注意IP地址,因为我是docker运行,需要使用本机的局域网IP)
export JAVA_AGENT=-javaagent:/Users/yuyunlong/opt/skywalking-agent/skywalking-agent.jar=agent.service_name=multi_function,collector.backend_service=192.168.1.8:11800

# jar启动
java -jar $JAVA_AGENT application.jar

IDEA运行方式

在你需要运行的springboot应用的VM options里加上上面的参数,启动即可

启动完之后随便调用几个接口试试,然后再在Skywalking的界面查看效果

2.3 追踪数据

下面是我的服务的拓扑图,服务之间的依赖关系可以看的非常清楚,如果旁友的应用比较多的话,能铺满整个屏幕的

到此Skywalking的搭建就完成了

3. Skywalking集成Logback实现Trace日志打印

在之前的文章里,我们用了个简陋的方法实现了traceId的传递全链路追踪体验—TraceId的生成,现在我们用上Skywalking框架来打印traceId

加上Maven依赖

        <!-- SkyWalking 对 Logback 的集成 -->
        <dependency>
            <groupId>org.apache.skywalking</groupId>
            <artifactId>apm-toolkit-logback-1.x</artifactId>
            <version>8.10.0</version>
        </dependency>

        <dependency>
            <groupId>org.apache.skywalking</groupId>
            <artifactId>apm-toolkit-trace</artifactId>
            <version>8.10.0</version>
        </dependency>

logback-spring.xml文件修改内容:

主要修改2个地方

  • CONSOLE_LOG_PATTERN 里加上%tid,配置traceId占位符
  • layout通过TraceIdPatternLogbackLayout 实现对%tid替换为Skywalking TraceId
    <!-- 彩色日志 -->
    <!-- 彩色日志依赖的渲染类 -->
    <conversionRule conversionWord="clr" converterClass="org.springframework.boot.logging.logback.ColorConverter" />
    <conversionRule conversionWord="wex" converterClass="org.springframework.boot.logging.logback.WhitespaceThrowableProxyConverter" />
    <conversionRule conversionWord="wEx" converterClass="org.springframework.boot.logging.logback.ExtendedWhitespaceThrowableProxyConverter" />
    <!-- 彩色日志格式 -->
    <property name="CONSOLE_LOG_PATTERN" value="${CONSOLE_LOG_PATTERN:-%clr(%d{yyyy-MM-dd HH:mm:ss.SSS}){faint} %clr(${LOG_LEVEL_PATTERN:-%5p}) %clr(${PID:- }){magenta} %clr(---){faint} %clr([%15.15t]){faint} %clr(%-40.40logger{39}){cyan} %clr(:){faint} [%tid] %m%n${LOG_EXCEPTION_CONVERSION_WORD:-%wEx}}"/>

<!--输出到控制台-->
    <appender name="CONSOLE" class="ch.qos.logback.core.ConsoleAppender">
        <!--此日志appender是为开发使用,只配置最底级别,控制台输出的日志级别是大于或等于此级别的日志信息-->
        <filter class="ch.qos.logback.classic.filter.ThresholdFilter">
            <level>info</level>
        </filter>
        <encoder class="ch.qos.logback.core.encoder.LayoutWrappingEncoder">
            <layout class="org.apache.skywalking.apm.toolkit.log.logback.v1.x.TraceIdPatternLogbackLayout">
                <Pattern>${CONSOLE_LOG_PATTERN}</Pattern>
            </layout>
            <!-- 设置字符集 -->
            <charset>UTF-8</charset>
        </encoder>
    </appender>

简单测试看看

随便写了个探活接口,看看接口耗时和日志打印效果

服务日志打印:

界面traceId搜索

自实现分布式链路追踪 方案&实践 排查问题是程序员的基本能力也是必须要会的,在开发环境,我们可以debug,但是一旦到了服务器上,就很难debug了,最有效的方式就是通过日志揪出bug,而一次请求的日志如果没有一个唯一的链路标识(我们下边称他为traceId),单靠程序员人工分析的话,费时费力,尤其是请求量高频的接口,更是雪上加霜,排查问题效率大打折扣,作为程序员,低效的方式是忍不了的!!!本文我将用一次实战演练,来演示常用框架/中间件/多服务 之间如何传递traceId。 阅读详情

相关推荐

skywalking从入门到精通(四)-自定义链路追踪

skywalking如何自定义链路追踪? apm-toolkit-trace ,apm-toolkit-opentracing 2种方案。

ratel的博客 4171

猿创征文|链路追踪-Skywalking入门

旁友,你的线上服务是不是偶尔来个超时,或者突然抖动一下,造成用户一堆反馈投诉。然后你费了九牛二虎之力,查了一圈圈代码和日志才总算定位到问题原因了

龙大 940

Skywalking 链路追踪

Skywalking 链路追踪 Skywalking 根据官方的解释,Skywalking是一个可观测性平台(Observability Analysis Platform简称 OAP)和应用性能管理系统(Application Performance Management 简称 APM)。提供分布式链路追踪、服务网格(Service Mesh)遥测分析、度量(Metric)聚合和可视化一体化解决方案。 一、APM 系统概述 APM(Application Performance Monitoring

程序猿进阶 1万+

java微服务项目整合skywalking链路追踪框架

java微服务项目整合skywalking链路追踪框架

沐雨橙风ιε的博客 2241

分布式全链路追踪 SkyWalking基本原理(一)

分布式链路追踪 SkyWalking基本原理一、APM简介二、分布式链路追踪二、Apache Skywalking(Incubator)简介1. Apache SkyWalking:2. Skywalking已经支持从6个可视化维度剖析分布式系统的运行情况。三、什么是 SkyWalking四、SkyWalking 原理架构图如下:五、SkyWalking 核心模块介绍:六、各模块组件视图简介1. ...

AMimiDou_212 1万+

分布式链路追踪原理详解及SkyWalking、Zipkin介绍

背景:追踪调用链路,监控链路性能,排查链路故障 随着微服务架构的流行,一次请求往往需要涉及到多个服务,需要一些可以帮助理解系统行为、用于分析性能问题的工具,以便发生故障的时候,能够快速定位和解决问题。 单体架构中可以使用 AOP 在调用具体的业务逻辑前后分别打印一下时间即可计算出整体的调用时间,使用 AOP 来 catch 住异常也可知道是哪里的调用导致的异常。 基本实现原理 一个完整请求链路的追踪ID(traceid)用于查出本次请求调用的所有服务,每一次服务调用的跨度ID(spanid.

Hello World 1万+

Spring Boot 链路追踪 SkyWalking 入门

1. 概述 如果胖友还没了解过分布式链路追踪SkyWalking,建议先阅读下艿艿写的《SkyWalking 极简入门》文章。虽然这篇文章标题是安装部署,实际可以理解成《一文带你快速入门 SkyWalking》,哈哈哈。 可能会有胖友会有疑惑,Spring Boot 不是一个单体应用么,为什么可以使用 SkyWalking 进行分布式链路追踪呢?其实这里有一个误区!即使是一个 Spring Boot 单体应用,我们一般可能会和以下服务打交道: 关系数据库,例如说 MySQL、Oracle、SQL...

weixin_42073629的博客 6万+

链路追踪神器:SkyWalking

上一篇文章介绍了分布式链路追踪的一种方式:Spring Cloud Sleuth+ZipKin,这种方案目前也是有很多企业在用,但是作为程序员要的追逐一些新奇的技术,Skywalking作为后起之秀也是值得大家去学习的。skywalking是一个优秀的国产开源框架,2015年由个人吴晟(华为开发者)开源 , 2017年加入Apache孵化器。短短两年就被Apache收入麾下,实力可见一斑。

BUG指挥课堂 8013

拥有故障诊断能力的分布式链路追踪系统:Skywalking

Skywalking是由国内开源爱好者吴晟开源并提交到Apache孵化器的产品,它同时吸收了Zipkin /Pinpoint /CAT 的设计思路。特点是:支持多种插件,UI功能较强,支持非侵入式埋点。目前使用厂商最多,版本更新较快。数据存储支持:Elasticsearch、MySQL、H2、TiDB。默认是H2,而且是存到内存。实际我们一般将其存到ES。在默认情况下Skywalking是没有记录我们的业务方法的,如果需要添加业务方法的链路监控我们就需要添加如下的依赖</</</</

专注上位机开发、机器视觉、机器学习、嵌入式软硬件开发 4万+

分布式链路追踪-SkyWalking

SkyWalking是开源的可观测平台,主要用于收集,分析,聚合和可 视化服务和云原生基础设施的数据。Skywalking提供了一种简单得 方式来维护分布式系统得视图关系。在开发过程中,开发人员经常会使用IDEA的Debug功能(包含本地 和远程)调试应用,在JVM进程期间获取应用运行的JVM信息,变量 信息等。这些个技术通过Java Agent来实现的,那么Java Agent到 底是啥,为啥这么吊?idea得Debug功能热部署 JRebel各种线上诊断工具代码覆盖率工具性能分析。

qq_55577704的博客 1894

SkyWalking链路追踪

随着系统设计变得日趋复杂,越来越多的组件开始走向分布式化,如微服务、分布式数据库、分布式缓存等,使得后台服务构成了一种复杂的分布式网络。往往前端的一个请求需要经过多个微服务、跨越多个数据中心才能最终获取到结果,如下图并且随着业务的不断扩张,服务之间互相调用会越来越复杂,这个庞大的分布式系统调用网络可能会变的如下图所示:那随之而来的就是我们将会面临的诸多困扰:问题定位:当某一个服务节点出现问题导致整个调用失败,无法快速清晰地定位问题服务。

m0_62943934的博客 1877

Skywalking链路追踪

APM(Application Performance Monitoring)系统是一种用于监控和管理应用程序性能的工具。它可以帮助开发人员和运维团队实时监控应用程序的性能指标、识别潜在的性能问题,并提供性能优化建议。APM系统可以帮助用户及时发现和解决应用程序的性能问题,提升用户体验和系统稳定性。它可以应用于各种类型的应用程序,包括Web应用、移动应用、微服务架构等。SkyWalking是一个开源的应用性能监控(APM)系统,用于监控和管理分布式系统的性能。

qq_48721706的博客 9570

分布式链路追踪之SkyWalking

在微服务架构中,一次请求往往涉及到多个模块,多个中间件,多台机器的相互协作才能完成。这一系列调用请求中,有些是串行的,有些是并行的,那么如何确定这个请求背后调用了哪些应用,哪些模块,哪些节点及调用的先后顺序?如何定位每个模块的性能问题?本文将为你揭晓答案。衡量一个接口的性能好坏,一般我们至少会关注以下三个指标。

swimming_in_IT_的博客 3971

RabbitMQ - 分布式追踪:集成 SkyWalking 实现消息链路追踪

Bean@Bean@Bean统一 Agent 版本:确保所有服务使用相同版本的 SkyWalking Agent。合理命名服务应具有业务含义(如生产环境使用持久化存储:避免 H2 导致数据丢失。监控 Agent 健康度:通过 SkyWalking 自身的 Metrics 监控 Agent 上报状态。结合日志系统:将 Trace ID 注入日志(如 Logback MDC),实现日志-追踪联动。

千淘万漉虽辛苦,吹尽狂沙始到金 2万+

# 分布式链路追踪_skywalking_学习(1)

分布式链路追踪_skywalking_学习(1) 一、APM 系统概述 1、什么是 APM 系统? 2、分布式链路追踪 二、Skywalking 介绍 三、环境搭建-ElasticSearch 环境搭建 四、环境搭建-skywalking 环境搭建 五、 agent 的使用-简介 六、agent 的使用-linux下 tomcat7 和 8 中使用 七、agent 的使用-Spring Boot 八、RocketBot 的使用

段子手168的博客 1617

分布式链路追踪 SkyWalking 源码分析 —— Agent 收集 Trace 数据

点击上方“芋道源码”,选择“设为星标”做积极的人,而不是积极废人!源码精品专栏中文详细注释的开源项目RPC 框架 Dubbo 源码解析网络应用框架 Netty 源码解析...

芋道源码 3118

全网最全的Skywalking链路追踪

写在前面:笔者发现目前关于Skywalking的内容很是零散,没有成型的内容,笔者在项目中使用到Skywalking进行埋点分析,下面分三篇来介绍下Skywalking,分别是Skywalking基本知识,Skywalking基于docke安装,SpringBoot工程集成Skywalking Skywalking介绍 1 服务监控三要素 服务监控需要满足的三要素分别如下: 日志监控 指标监控 请求链路追踪 服务监控只要能满足这三个要素,基本就能实现我们想要的监控效果,我们来看看为什么服务监控需要满足这

scmagic的博客 1万+

DSP(数字信号处理器)技术概要

数字信号处理器(digital signal processor,DSP)是一种用于数字信号处理的可编程微处理器,它的诞生与快速发展,使各种数字信号处理算送得以实时实现,为数字信号处理的研究和应用打开了新局面,提供了低成本的实际工作环境和应用平台,推动了新的理论和应用领域的发展。目前,DSP技术在通信、航空、航天。雷达、工业控制、医疗、网络及家用电器等各个领域都得到了广泛应用。 1.1 DSP系统和芯片的结构特点1.1.1 DSP系统的基本结构通过传感数将非电物理量转换为模拟电信号,预处理一般包括放大器和滤

m0_46582485的博客 2万+
上一篇: [Java 8] (1) 函数式编程简介
下一篇: 【设计模式】Java设计模式 - 观察者模式
Java技术那些事儿
博客等级 码龄5年 2306粉丝 2584原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值