什么是链路追踪?分布式系统如何实现链路追踪?

分布式系统中的Dapper与Twitter Zipkin:链路追踪技术的实现与应用 本文深入探讨了Dapper和Zipkin作为分布式系统中关键的链路追踪工具的演进与应用。Dapper作为Google的开创性作品,通过精确的时间戳和分布式日志记录,革新了对分布式系统性能问题的诊断能力。而Zipkin则以其开放性和社区驱动的特性,成为了广泛采用的开源解决方案,支持多语言、多协议的链路追踪需求。文章详细分析了它们在微服务架构中的实际应用,包括如何通过追踪和监控分布式调用路径,提升系统的可观察性和性能优化的能力。最后,通过案例研究和技术评估,展示了如何利用这些工具解决复杂的分布式系统问题,为开发 阅读详情

点击上方“芋道源码”,选择“设为星标”

管她前浪,还是后浪?

能浪的浪,才是好浪!

每天 10:33 更新文章,每天掉亿点点头发...

源码精品专栏

 

来源:www.toutiao.com/

i6884571378981274123/

c0dd591cc09ca89e26bac0117f8fc997.jpeg


在分布式系统,尤其是微服务系统中,一次外部请求往往需要内部多个模块,多个中间件,多台机器的相互调用才能完成。在这一系列的调用中,可能有些是串行的,而有些是并行的。在这种情况下,我们如何才能确定这整个请求调用了哪些应用?哪些模块?哪些节点?以及它们的先后顺序和各部分的性能如何呢?

这就是涉及到链路追踪。

什么是链路追踪?

链路追踪是分布式系统下的一个概念,它的目的就是要解决上面所提出的问题,也就是将一次分布式请求还原成调用链路,将一次分布式请求的调用情况集中展示,比如,各个服务节点上的耗时、请求具体到达哪台机器上、每个服务节点的请求状态等等。

89abbd6f27f842f7550cef590735979a.png

基于 Spring Boot + MyBatis Plus + Vue & Element 实现的后台管理系统 + 用户小程序,支持 RBAC 动态权限、多租户、数据权限、工作流、三方登录、支付、短信、商城等功能

  • 项目地址:https://github.com/YunaiV/ruoyi-vue-pro

  • 视频教程:https://doc.iocoder.cn/video/

链路追踪的原理

衡量一个接口,我们一般会看三个指标:

1、接口的 RT(Route-Target)你怎么知道? 2、接口是否有异常响应? 3、接口请求慢在哪里?

1、单体架构时代

在创业初期,我们的系统一般是单体架构,如下:

eed597852a26b3b6bb768a762d679a06.png

对于单体架构,我们可以使用 AOP(切面编程)来统计这三个指标,如下:

a34d52d8dfdf354fe9068b7652c6dffb.png

使用 AOP(切面编程),对原本的逻辑代码侵入更少,我们只需要在调用具体的业务逻辑前后分别打印一下时间即可计算出整体的调用时间。另外,使用 AOP(切面编程)来捕获异常也可知道是哪里的调用导致的异常。

2、微服务架构

随着业务的快速发展,单体架构越来越不能满足需要,我们的系统慢慢会朝微服务架构发展,如下:

11f9d9d042b94f3dfa7c9586543492a9.png

在微服务架构下,当有用户反馈某个页面很慢时,虽然我们知道这个请求可能的调用链是 A -----> C -----> B -----> D,但服务这么多,而且每个服务都有好几台机器,怎么知道问题具体出在哪个服务?哪台机器呢?

91971db7392eff56073855ff359bfa8c.png

这也是微服务这种架构下的几个痛点:

1、排查问题难度大,周期长 2、特定场景难复现 3、系统性能瓶颈分析较难

分布式调用链就是为了解决以上几个问题而生,它主要的作用如下:

1、自动采取数据 2、分析数据,产生完整调用链:有了请求的完整调用链,问题有很大概率可复现 3、数据可视化:每个组件的性能可视化,能帮助我们很好地定位系统的瓶颈,及时找出问题所在

通过分布式追踪系统,我们能很好地定位请求的每条具体请求链路,从而轻易地实现请求链路追踪,进而定位和分析每个模块的性能瓶颈。

7612ba6a740583a8c54cd2ba8bb1ffd3.png

3、分布式调用链标准(OpenTracing)

OpenTracing 是一个轻量级的标准化层,它位于应用程序/类库和追踪或日志分析程序之间。它的出现是为了解决不同的分布式追踪系统 API 不兼容的问题。

3e96114da8252e10329aed1840daf722.png

OpenTracing 通过提供与平台和厂商无关的 API,使得开发人员能够方便地添加追踪系统,就像单体架构下的AOP(切面编程)一样。

说到这里,大家是否想过 Java 中类似的实现?还记得 JDBC 吧?JDBC 就是通过提供一套标准的接口让各个厂商去实现,程序员即可面对接口编程,不用关心具体的实现。这里的接口其实就是标准。所以,制定一套标准非常重要,可以实现组件的可插拔。

f2b37541750f616883d8f0096c732832.png

OpenTracing 的数据模型,主要有以下三个:

  • Trace: 一个完整请求链路

  • Span: 一次调用过程(需要有开始时间和结束时间)

  • SpanContext: Trace 的全局上下文信息,如里面有traceId

为了让大家更好地理解这三个概念,我特意画了一张图:

da1747250db36f34fcef925e4c7eb61f.png

如图所示,一次下单的完整请求就是一个 Trace。TraceId是这个请求的全局标识。内部的每一次调用就称为一个 Span,每个 Span 都要带上全局的 TraceId,这样才可把全局 TraceId 与每个调用关联起来。这个 TraceId 是通过 SpanContext 传输的,既然要传输,显然都要遵循协议来调用。如图所示,如果我们把传输协议比作车,把 SpanContext 比作货,把 Span 比作路应该会更好理解一些。

理解了这三个概念,接下来我们就看看分布式追踪系统是如何采集图中的微服务调用链。

bb7b4f40d5d4115aaf8f5ec1ec780548.png

我们可以看到底层有一个 Collector 一直在默默无闻地收集数据,那么每一次调用 Collector 会收集哪些信息呢。

1、全局 trace_id:这是显然的,这样才能把每一个子调用与最初的请求关联起来 2、span_id: 图中的 0,1,1.1,2,这样就能标识是哪一个调用 3、parent_span_id:比如 b 调用 d 的 span_id 是 1.1,那么它的 parent_span_id 即为 a 调用 b 的 span_id 即 1,这样才能把两个紧邻的调用 关联起来。

有了这些信息,Collector 收集的每次调用的信息如下:

5ab224b871ba4d1ba9e3b791b42d7bfc.png

根据这些图表信息显然可以据此来画出调用链的可视化视图如下:

2f89ff4f76f196d8e5d4b1030d3cdbd0.png

于是一个完整的分布式追踪系统就实现了。

以上实现看起来确实简单,但有以下几个问题需要我们仔细思考一下:

1、怎么自动采集 span 数据:自动采集,对业务代码无侵入 2、如何跨进程传递 context 3、traceId 如何保证全局唯一 4、请求量这么多采集会不会影响性能

接下来,我们来看看链路追踪系统 SkyWalking 是如何解决以上四个问题的。

基于 Spring Cloud Alibaba + Gateway + Nacos + RocketMQ + Vue & Element 实现的后台管理系统 + 用户小程序,支持 RBAC 动态权限、多租户、数据权限、工作流、三方登录、支付、短信、商城等功能

  • 项目地址:https://github.com/YunaiV/yudao-cloud

  • 视频教程:https://doc.iocoder.cn/video/

链路追踪系统SkyWalking的原理

1、怎么自动采集 span 数据

SkyWalking 采用了插件化 + javaagent 的形式来实现了 span 数据的自动采集,这样可以做到对代码的无侵入性。插件化意味着可插拔,扩展性好。如下图所示:

77fb37f390f245477a70534a5c1e3989.png

2、如何跨进程传递 context

我们知道数据一般分为 header 和 body,就像 http 有 header 和 body,RocketMQ 也有 MessageHeader,Message Body。body 一般放着业务数据,所以不宜在 body 中传递 context,应该在 header 中传递 context,如图所示:

d1696cc25155d3522f0c04cfbe9764e1.png

dubbo 中的 attachment 就相当于 header,所以我们把 context 放在 attachment 中,这样就解决了 context 的传递问题。

a65a711d286c58a89122fc645427a28d.png 2ec4d306588aa373bea92be719cc8f47.png

3、traceId 如何保证全局唯一

要保证全局唯一 ,我们可以采用分布式或者本地生成的 ID。使用分布式的话,需要有一个发号器,每次请求都要先请求一下发号器,会有一次网络调用的开销。所以 SkyWalking 最终采用了本地生成 ID 的方式,它采用了大名鼎鼎的 snowflow 算法,性能很高。

57d18d532d845c80a2cfa6439362c8ed.png

不过 snowflake 算法有一个众所周知的问题:时间回拨 ,这个问题可能会导致生成的 id 重复。那么 SkyWalking 是如何解决时间回拨问题的呢。

d487af87fba1563a6d95e36bd936887a.png

每生成一个 id,都会记录一下生成 id 的时间(lastTimestamp),如果发现当前时间比上一次生成 id 的时间(lastTimestamp)还小,那说明发生了时间回拨,此时会生成一个随机数来作为 traceId。这里可能就有同学要较真了,可能会觉得生成的这个随机数也会和已生成的全局 id 重复,是否再加一层校验会好点。

这里要说一下系统设计上的方案取舍问题了,首先如果针对产生的这个随机数作唯一性校验无疑会多一层调用,会有一定的性能损耗,但其实时间回拨发生的概率很小(发生之后由于机器时间紊乱,业务会受到很大影响,所以机器时间的调整必然要慎之又慎),再加上生成的随机数重合的概率也很小,综合考虑这里确实没有必要再加一层全局唯一性校验。对于技术方案的选型,一定要避免过度设计,过犹不及。

4、请求量这么多,全部采集会不会影响性能?

如果对每个请求调用都采集,那毫无疑问数据量会非常大,但反过来想一下,是否真的有必要对每个请求都采集呢?其实没有必要,我们可以设置采样频率,只采样部分数据,SkyWalking 默认设置了 3 秒采样 3 次,其余请求不采样,如图所示:

0c321a13a7834ea73028791a2c71ff95.png

这样的采样频率其实足够我们分析组件的性能了,按 3 秒采样 3 次,这样的频率来采样数据会有啥问题呢。理想情况下,每个服务调用都在同一个时间点,这样的话每次都在同一时间点采样确实没问题。如下图所示:

0d532786ed538dc75b335ed8972a9523.png

但在生产上,每次服务调用基本不可能都在同一时间点调用,因为期间有网络调用延时等,实际调用情况很可能是下图这样:

8d7d9007592ea54b67c7b5230204a61a.png

这样的话就会导致某些调用在服务 A 上被采样了,在服务 B,C 上不被采样,也就没法分析调用链的性能。

那么 SkyWalking 是如何解决的呢?

它是这样解决的:如果上游有携带 Context 过来(说明上游采样了),则下游将强制采集数据,这样可以保证链路完整。

SkyWalking 的基础架构

SkyWalking 的基础如下架构,可以说几乎所有的的分布式调用都是由以下几个组件组成的。

804841cd00152646d5daae9fa5cd4023.png

首先当然是节点数据的定时采样,采样后将数据定时上报,将其存储到 ES, MySQL 等持久化层,有了数据自然而然可根据数据做可视化分析。

SkyWalking 的性能如何

如下是官方的测评数据:

5628243160f0711ca62c7c184384ff95.png

图中蓝色代表未使用 SkyWalking 的表现,橙色代表使用了 SkyWalking 的表现,以上是在 TPS 为 5000 的情况下测出的数据,可以看出,不论是 CPU,内存,还是响应时间,使用 SkyWalking 带来的性能损耗几乎可以忽略不计。

接下来我们再来看 SkyWalking 与另一款业界比较知名的分布式追踪工具 Zipkin、Pinpoint 的对比(在采样率为 1 秒 1 个,线程数 500,请求总数为 5000 的情况下做的对比)。

可以看到在关键的响应时间上, Zipkin(117ms),PinPoint(201ms)远逊于 SkyWalking(22ms)!从性能损耗这个指标上看,SkyWalking 完胜!

6782015644012ddddc3ff74009eda999.png

再看下另一个指标:对代码的侵入性如何。

ZipKin 是需要在应用程序中埋点的,对代码的侵入强,而 SkyWalking 采用 javaagent + 插件化这种修改字节码的方式可以做到对代码无任何侵入。除了性能和对代码的侵入性上 SkyWaking 表现不错外,它还有以下优势几个优势:

  • 对多语言的支持,组件丰富: 目前其支持 Java、 .Net Core、PHP、NodeJS、Golang、LUA 语言,组件上也支持dubbo, mysql 等常见组件,大部分能满足我们的需求。

  • 扩展性: 对于不满足的插件,我们按照 SkyWalking 的规则手动写一个即可,新实现的插件对代码无入侵。

以上虽然主要以SkyWalking为例来介绍链路追踪系统,但是并不是说其他链路追踪系统一点不适用。具体选择什么样的,大家可按实际场景灵活选择。



欢迎加入我的知识星球,一起探讨架构,交流源码。加入方式,长按下方二维码噢:

cc3a5cd9bc68ce35b6f923b054dc057d.png

已在知识星球更新源码解析如下:

c5223e895f6a384d51efe0a11e200928.jpeg

99327ce52da03944ef509f433ba2856f.jpeg

577931223a37ea0bdc95e67539d7a56b.jpeg

0905411bf6e2619161b92c9f221b5057.jpeg

最近更新《芋道 SpringBoot 2.X 入门》系列,已经 101 余篇,覆盖了 MyBatis、Redis、MongoDB、ES、分库分表、读写分离、SpringMVC、Webflux、权限、WebSocket、Dubbo、RabbitMQ、RocketMQ、Kafka、性能测试等等内容。

提供近 3W 行代码的 SpringBoot 示例,以及超 4W 行代码的电商微服务项目。

获取方式:点“在看”,关注公众号并回复 666 领取,更多内容陆续奉上。

文章有帮助的话,在看,转发吧。
谢谢支持哟 (*^__^*)
从数学到机床:RTCP背后的几何变换与工业实现 本文深入解析RTCP(Rotary Tool Center Point)技术在五轴数控加工中的核心作用,通过几何变换与运动学原理实现刀尖点跟随,确保加工精度。从数学基础到工业实现,详细探讨了算法架构、机床结构适配及精度保障方法,为数控系统开发和高效加工提供关键技术支撑。 阅读详情

相关推荐

Android逆向实战:抖音聊天记录数据库解析与导出(附完整SQL查询)

本文提供了一份Android逆向实战指南,详细解析了抖音聊天记录数据库的结构与导出方法。通过定位核心的`im.db`数据库文件,深度解读conversation_list、msg等关键表结构,并附上完整的SQL查询语句,帮助开发者或研究人员安全、合规地提取和分析本地聊天数据,适用于移动安全研究与数据分析场景。

mango的博客 865

在Java项目中使用traceId跟踪请求全流程日志

最近在项目开发中遇到了一些问题,项目为多机部署,使用kibana收集日志,但并发大时使用日志定位比较麻烦,大量日志输出导致很难筛出指定请求的全部相关日志,以及下游服务调用对应的日志。因此计划对项目日志打印进行一些小改造,使用一个traceId跟踪请求的全部路径,前提是不修改原有的打印方式。 简单的解决思路 想要跟踪请求,第一个想到的就是当请求来时生成一个traceId放在ThreadLoc...

Stay Foolish 8万+

基于LightGBM和多模型融合的量化交易研究:沪深300为例【附代码】

📊 数据科学与大数据专业 | 数据分析与模型构建 | 数据驱动决策✨ 专业领域:数据挖掘与清洗大数据处理与存储技术机器学习与深度学习模型数据可视化与报告生成分布式计算与云计算数据安全与隐私保护💡 擅长工具:Python/R/Matlab 数据分析与建模Hadoop/Spark 大数据处理平台SQL数据库管理与优化Tableau/Power BI 数据可视化工具TensorFlow/PyTorch 深度学习框架✅数据科学与大数据技术毕业论文【数据】

lagougongzuoshi的博客 1671

使用篇丨链路追踪(Tracing)很简单:链路实时分析、监控与告警

前文回顾:基础篇|链路追踪(Tracing)其实很简单使用篇|链路追踪(Tracing)其实很简单:请求轨迹回溯与多维链路筛选在前面文章里面,我们介绍了单链路的筛选与轨迹回溯,是从单次请求的视角来分析问题,类似查询某个快递订单的物流轨迹。但单次请求无法直观反映应用或接口整体服务状态,经常会由于网络抖动、宿主机 GC 等原因出现偶发性、不可控的随机离群点。当一个问题发生时,应用负责人或稳定性负责人需...

阿里巴巴中间件 1845

告别手动复制粘贴!用Python脚本+pywinauto实现PC微信消息自动发送(附完整源码)

本文详细介绍了如何利用Python和pywinauto实现PC微信消息的自动化发送,告别繁琐的手动操作。从环境搭建、UI控件定位到构建健壮的发送流程,再到高级功能扩展和项目打包部署,全面解析了自动化办公的实现方案,显著提升工作效率。

weixin_30315723的博客 585

frp内网穿透(socks隧道)

在实验过程中还是遇到了挺多的问题,但好在大多都解决了。不过还是遗留了一些不懂的问题,等以后再慢慢研究了。最后,以上仅为个人的拙见,如何有不对的地方,欢迎各位师傅指正与补充,有兴趣的师傅可以一起交流学习。

2301_76227305的博客 1万+

java框架分布式追踪_分布式追踪系统架构与设计

Kafka消息追踪支持当我们为kafka提供消息追踪支持时,我们希望把Kafka服务(也被称为brokers),做为一个黑箱看待。换言之,我们希望brokers不需要知道消息是否被消费(即brokers不需要知道消息是否通过它发送给消费者)因此我们不需要修改Kafka的源码。我们采用与RPC 服务类似的处理方式,在升级生产者之前先升级消费者。消费者反向兼容并能检查到一个包含追踪信息的消息,以之前T...

weixin_34647584的博客 211

HyperLPR3车牌识别-Android-SDK光速部署与使用

基于深度学习高性能中文车牌识别 High Performance Chinese License Plate Recognition Framework.快速部署AndroidSDK

tunm 6123

kafka使用_kafka使用Interceptors实现消息端到端跟踪

现在,Kafka指标的采集都仅包括客户端或broker,这使得用户跟踪消息在集群内的传递路径,构建系统端到端的性能和行为画像变的困难。从技术上讲,通过修改应用以收集或跟踪额外的信息来测量系统端到端的性能是可行的,但对于关键的基础设施应用来说,这种方案并不一定是切实可行的。在生产环境中,能够快速部署工具来观察,测量和监控Kafka客户端行为(粒度直至消息级别),是非常有用的。同时,不同应用...

weixin_39678304的博客 426

再相逢【知识图谱】中文医学知识图谱CMeKG,中文产科医学知识图谱COKG | 附:图数据库Neo4j下载安装教学(遇到问题并解决) + Neo4j基本操作

本篇文章介绍知识图谱的相关知识。从便于理解的角度切入,给出知识图谱的形象化定义,并介绍了国内的中文医学知识图谱CMeKG,还以用户视角体验了中文产科医学知识图谱。目录二介绍了如何部署安装Neo4j数据库,并解决了部署过程中遇到的一些基础错误,随后介绍了Neo4j图数据库的基础操作。

追光者♂:记录、分享、总结、提升,现象级专栏《Python从入门到人工智能》作者,无惧黑暗,坚信曙光 2620

威纶通触摸屏与S7-1200以太网通信的具体方法和步骤(非常详细)

威纶通触摸屏与S7-1200以太网通信的具体方法和步骤(非常详细)

Robot_PLC_HMI_Automation 1万+

Golang链路追踪:实现高效可靠的分布式系统监控_golang 链路追踪

o)**[外链图片转存中…(img-EsjkgCs3-1712873881461)]

2401_84248681的博客 782

SAP B1中文培訓教材_SDK

公司内部培训资料,对开发工具 ,DIAPI, UIAPI,Add-ON有详细解说

Golang链路追踪:实现高效可靠的分布式系统监控

链路追踪是一种用于监控分布式系统中请求的传输路径和性能的技术。它能够帮助开发人员和运维人员快速定位和排查系统中的性能问题和错误。链路追踪记录了请求从发起方到目标方的完整路径,并在每个节点上记录请求的处理时间、调用的服务和调用的方法等信息。在一个典型的分布式系统中,一个请求可能要经过多个服务的处理。每个服务都会记录请求的一些重要信息,并将这些信息传递给下一个服务。通过链路追踪,我们可以从整体上了解请求的处理流程,找出潜在的性能瓶颈和错误。

hitpter的专栏 1080

温度PID控制PLC程序

温度PID稳定控制程序,适用于欧姆龙PLC,对其他PLC也具有很大参考价值

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

Golang链路追踪:实现高效可靠的分布式系统监控_golang 链路追踪(1)

o)**[外链图片转存中…(img-netLDUf6-1712873856640)]

2401_84248681的博客 711

华为的C语言编程规范.pdf

华为技术有限公司内部技术规范。本规范制定了编写C语言程序的基本原则、规则和建议。从代码的清晰、简洁、可测试、安全、程序效率、可移植各个方面对C语言编程作出了具体指导。

Golang链路追踪:实现高效可靠的分布式系统监控_golang 链路追踪(2)

链路追踪是一种用于监控分布式系统中请求的传输路径和性能的技术。它能够帮助开发人员和运维人员快速定位和排查系统中的性能问题和错误。链路追踪记录了请求从发起方到目标方的完整路径,并在每个节点上记录请求的处理时间、调用的服务和调用的方法等信息。在一个典型的分布式系统中,一个请求可能要经过多个服务的处理。每个服务都会记录请求的一些重要信息,并将这些信息传递给下一个服务。通过链路追踪,我们可以从整体上了解请求的处理流程,找出潜在的性能瓶颈和错误。

2401_84910911的博客 557

什么是链路追踪?分布式系统如何实现链路追踪?本文给你超清晰解答

链路追踪是分布式系统下的一个概念,它的目的就是要解决上面所提出的问题,也就是将一次分布式请求还原成调用链路,将一次分布式请求的调用情况集中展示,比如,各个服务节点上的耗时、请求具体到达哪台机器上、每个服务节点的请求状态等等。

weixin_49307478的博客 5817

打造透明、高效的分布式系统:通过 EMQX ECP 集成实现链路追踪功能

本文将介绍 EMQX ECP 和 Datalayers 如何通过 OpenTelemetry Collector 集成以实现链路追踪功能,基于 ECP 通过 Datalayers 的 REST API 查询,可以实现对链路追踪数据的检索和展示,辅助用户对分布式系统的监控和诊断。

emqx_broker的博客 1409

android如何设置多个span_什么是链路追踪?分布式系统如何实现链路追踪?

公众号关注“杰哥的IT之旅”,选择“星标”,重磅干货,第一时间送达!在分布式系统,尤其是微服务系统中,一次外部请求往往需要内部多个模块,多个中间件,多台机器的相互调用才能完成。在这一系列的调用中,可能有些是串行的,而有些是并行的。在这种情况下,我们如何才能确定这整个请求调用了哪些应用?哪些模块?哪些节点?以及它们的先后顺序和各部分的性能如何呢?这就是涉及到链路追踪。什么是链路追踪? 链路...

weixin_42389421的博客 302

使用Spring Cloud Sleuth实现分布式系统的链路追踪

使用Spring Cloud Sleuth实现分布式系统的链路追踪大家好,我是微赚淘客系统3.0的小编,是个冬天不穿秋裤,天冷也要风度的程序猿!一、引言在微服务架构中,应用程序被分解成多个服务,每个服务都可以独立部署和扩展。这种架构虽然带来了很多好处,但也增加了调试和监控的复杂性。链路追踪(Tracing)是一种用于监控和...

weixin_37060293的博客 123
上一篇: 小米:技术教父离职
下一篇: 您需要模块,而不是微服务
公众号-芋道源码
博客等级 码龄10年 1637粉丝 377原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值