Apache Kafka: 优化部署的10个最佳实践

Kafka 生产者与消费者在大数据领域的最佳实践 在大数据处理领域,Apache Kafka 作为分布式流处理平台,已成为构建实时数据管道的事实标准。本文聚焦 Kafka 生态中生产者(Producer)与消费者(Consumer)的核心机制,深入解析消息生产的可靠性保障、消费端的高效处理策略,以及端到端一致性实现等关键议题。通过理论分析、数学建模与代码实战,为数据工程师提供可落地的最佳实践,覆盖从基础配置到复杂场景优化的全流程。核心概念:解析生产者/消费者架构,构建消息流转的全局视图算法与模型:量化分析吞吐量、延迟与可靠性的平衡关系实战指南。 阅读详情

原文作者:Ben Bromhead 译者:江玮

原文地址:https://www.infoq.com/articles/apache-kafka-best-practices-to-optimize-your-deployment

关键点:

  • Kafka的低开销和易于水平伸缩的设计使得它能基于廉价硬件高效地运行。
  • 使用最好的磁盘为ZooKeeper提供强大的网络带宽,分别存储日志,隔离ZooKeeper进程,禁用交换以减少延迟。
  • 将Kafka的默认复制因子从2增加到3,这在大多数生产环境中都是合适的。
  • 更多的分区意味着更大的并行化和吞吐量,但分区也意味着更多的复制延迟、重新负载均衡和文件句柄资源。
  • 监视系统指标,如网络吞吐量、文件句柄、内存、负载、磁盘使用情况,以及JVM统计数据,如GC和堆使用情况。

Apacha Kafka以著名奥匈帝国小说家卡夫卡命名(注1),并且没有辜负这个名字。它对后端技术人员充满吸引力;产品具备深度和挑战性;当足够全面理解后,同样能带来的丰厚回报。遵循Kafka的一系列最佳实践,可以使这个强大的数据流平台的使用和管理变得非常容易且有效。

注1:弗兰兹·卡夫卡,生活于奥匈帝国的捷克德语小说家,本职为保险业职员。主要作品有小说《审判》、《城堡》、《变形记》等。深受尼采、柏格森哲学影响,作品大都用变形荒诞的形象和象征直觉手法,表现被充满敌意的社会环境所包围的孤立、绝望的个人。

以下是10个技巧可以优化Kafka部署并更使之容易管理:

1.设置日志配置参数确保日志可管理
2.了解Kafka的硬件需求
3.充分利用Apache ZooKeeper
4.正确设置复制和冗余策略
5.合理配置Topic
6.使用并行处理
7.在考虑安全性的情况下配置和隔离Kafka
8.通过提高Ulimit避免停机
9.保持较低的网络延迟
10.有效利用监控和警报

接下来让我们逐一详细看看这些最佳实践。

1、 设置日志配置参数确保日志可管理

Kafka为用户提供了大量的日志配置选项,虽然默认设置是合理的,但是更好的方式是根据实际的业务情况,自定义日志行为以匹配特定需求。包括设置日志保留策略、清理、压缩。

可以使用log.segment.bytes,log.segment.ms和log.cleanup.policy来控制日志行为。如果在业务中不需要保留大量历史日志,可以通过设置cleanup.policy来清理特定大小的日志文件,或者设定在某个时间点清理。此外还可以将其设置为“compact”,以便在需要时保留日志。日志文件清理会消耗CPU和RAM资源,清理、压缩的频率和性能需要小心权衡。

压缩是Kafka确保每个消息键至少保留最后一个已知值的过程(在单个Topic分区的数据日志中)。压缩操作会对Topic中每个键进行处理,只保留其最后一个值,并清除所有其他重复项。在删除时,键值会被设为“null”(它被称为“tombstone”,形象地表示删除)。
在这里插入图片描述
图1- Kafka日志压缩过程

Kafka日志相关参考文档:
Log
Compaction Basics

2、了解Kafka的硬件需求

虽然许多不熟悉Kafka的团队会高估它的硬件需求,但实际上Kafka开销很低而且在设计上对水平扩展很友好。这使得使用廉价的硬件就可以高效地运行Kafka:

CPU:除非需要SSL和日志压缩,否则Kafka不需要强大的CPU。同时,使用的核越多,并行性越好。在大多数情况下,可以使用LZ4来提升性能。

RAM:在大多数情况下,Kafka可以使用6GB的RAM来优化堆空间。对于特别重的生产负载,使用32GB或更多。额外的RAM将用于支持OS页面缓存和提高客户机吞吐量。虽然Kafka可以用更少的RAM运行,但是当可用内存更少时,它处理负载的能力就会受到限制。

Disk:Kafak在RAID设置中使用多个驱动器时非常有用。RAID在底层实现了物理磁盘的负载均衡和冗余,虽然会牺牲一些磁盘空间和写入性能。在配置中使用多目录,每个目录挂在在不同的磁盘(或者RAID)上。由于Kafka的顺序磁盘I/O范式,SSD没有提供多少优势,此外不应该使用NAS(注2)。

Network & File:建议使用XFS(注3),如果环境允许,建议将集群部署在单个数据中心。与此同时传输的网络带宽应尽可能充足。

注2:NAS(Network Attached Storage:网络附属存储):连接在网络上具备资料存储功能的装置,也称为“网络存储器”。它是专用数据存储服务器,将存储设备与服务器彻底分离,集中管理数据。

注3:XFS是一个64位文件系统,最大支持 8exbibytes 减1字节的单个文件系统,实际部署时取决于宿主操作系统的最大块限制。对于一个32位Linux系统,文件和文件系统的大小会被限制在 16tebibytes。

Apache Kafka官网还包含专门的硬件和OS配置内容,其中提供了宝贵的建议。关于Kafka负载/性能测试的其他有用链接如下:

Benchmarking Apache Kafka: 2 Million Writes Per Second (On Three Cheap Machines)
Load Testing Apache Kafka on AWS
Performance testing

3、充分利用Apache ZooKeeper

运行的Apache ZooKeeper集群是运行Kafka的关键依赖项。但是当使用ZooKeeper和Kafka一起使用时,有一些重要的最佳实践需要注意。

ZooKeeper节点的数量一般最多5个。一个节点适合于开发环境,对于大多数生产环境三个节点的Kafka集群足够了。虽然大型Kafka部署可能需要5个ZooKeeper节点来减少延迟,但是必须考虑节点上的负载。如果7个或更多的节点同步和处理请求,整个系统的负载将变得非常大,性能可能会有明显的影响。(虽然最新版本的Kafka在Zookeeper上的负载要比以前版本低得多,以前的版本使用Zookeeper来存储消费偏移量。)

最后正如Kafka的硬件需求一样,为ZooKeeper提供尽可能充足的网络带宽。使用最好的磁盘、单独存储日志、隔离ZooKeeper进程和禁用交换也会减少延迟。下表突出显示了不同Kafka版本中依赖Zookeeper的一些控制台操作。早期版本0.8.0在控制台没有很多可用的功能。从0.10.0.0开始,我们可以看到一些主要的功能移出了Zookeeper,从而降低了Zookeeper的利用率。
在这里插入图片描述
适当的管理意味着Kafka部署的弹性,一个重要实践是将Kafka默认复制因子从2增加到3,这在大多数生产环境中都是合适的。这样做可以确保即使其中一个broker失效也不用担心,甚至损失两个broker也不会影响系统的可用性。另一个需要考虑的是数据中心机架区域。例如,如果使用AWS, Kafka服务器应该位于相同的区域,但同时也要考虑多个可用性区域来实现冗余和弹性。

4、正确设置复制和冗余策略

机架部署需要考虑的Kafka配置参数为:

broker.rack=rack-id

正如Apache Kafka文档中所述:

When a topic is created, modified or replicas are redistributed, the rack constraint will be honoured, ensuring replicas span as many racks as they can (a partition will span min(#racks, replication-factor) different racks).

一个例子:

考虑三个机架上分布的9个Kafka代理(B1-B9),如下图所示:
在这里插入图片描述
图2- Kafka集群具有机架感知

图中具有三个分区(P1、P2、P3)和复制因子为3 (R1、R2、R3)的单个Topic将为每个机架中的一个节点分配一个分区。这个场景提供了高可用性,每个分区都有两个副本,即使整个机架故障(如图上所示)。

5、合理配置Topic

Topic配置对Kafka集群的性能有很大的影响。由于上生产之后再对复制因子或分区计数等设置的进行更改,有可能影响线上,因此尽可能在初始时就以正确的方式估算并设置好配置。如果需要更改或创建新Topic,确保在Stage环境中测试该新Topic。

把复制因子改为3时,在处理大型消息时要深思。如果可能的话,将大消息分成有序的多个片段,或者使用指向数据的指针(例如主键)。如果这些方式都无法采用,建议在生产端启用压缩。默认的日志段大小是1 GB,如果消息更大,必须仔细分析业务场景。分区(Partition)计数也是一个非常重要的设置,将在下一节详细讨论。

Topic配置有默认值,可以在创建时覆盖,也可以在稍后进行特定配置时覆盖。如上所述,最重要的配置之一是复制因子(replication factor)。以下示例演示了从控制台创建Topic,复制因子为3,以及使用其他“Topic级别”配置的3个分区:

bin/kafka-topics.sh --zookeeper ip_addr_of_zookeeper:2181 --create --topic my-topic --partitions 3 --replication-factor 3 --config max.message.bytes=64000 --config flush.messages=1

获取Topic级别配置的完整列表可以参考官方文档。

6、 使用并行处理(Parallel Processing)

Kafka是为并行处理而设计的,就像并行化本身一样,充分发挥它需要掌握平衡的艺术。分区计数是一个Topic级设置,分区越多,并行化和吞吐量越大。然而分区还意味着更多的复制延迟、重新负载均衡和大量文件句柄。

找到最佳分区设置并不复杂,可以计算基于当前硬件期望达到的吞吐量,然后计算所需的分区数量。根据保守的估计,单个Topic上一个分区可以交付10MB /s,以此进行推断,可以获得所需的总吞吐量。另一种方法是为每个broker每个Topic使用一个分区,然后进行性能测试并检查结果,如果需要更大的吞吐量,则将分区加倍。

Overall, a useful rule here is to aim to keep total partitions for a topic below 10, and to keep total partitions for the cluster below 10,000. If you don’t, your monitoring must be highly capable and ready to take on what can be very challenging rebalances and outages!

The number of partitions is set while creating a Kafka topic as shown below.

一般来说,Topic的总分区建议保持在10以下,并将集群的总分区保持在10,000以下。如果分区数远多于此,那么必须做好完善的监控并且服务中断做好预案。

以下是在创建Kafka主题时设置分区的数量:

bin/kafka-topics.sh --zookeeper ip_addr_of_zookeeper:2181 --create --topic my-topic --partitions 3 --replication-factor 3 --config max.message.bytes=64000 --config flush.messages=1

此外,也可以在创建之后增加分区计数。但是它会影响消费端,因此建议在考虑清楚所有后果之后再执行此操作。

bin/kafka-topics.sh --zookeeper zk_host:port/chroot --alter --topic topic_name --partitions new_number_of_partitions

7、 在考虑安全性的情况下配置和隔离

Kafka安全部署主要两点:1) Kafka的内部配置,2) Kafka运行的基础设施。

Kafka .9版本包含了许多有价值的安全特性,例如Kafka/client和Kafka/ZooKeeper身份验证支持,以及TLS支持。虽然TLS会对吞吐量和性能带来成本,但它有效地地隔离和保护Kafka broker的流量。

隔离卡Kafka和ZK对安全至关重要。除了特殊情况,ZK不应该连接到公网,应该只和Kafka沟通(如有共用情况则另说)。防火墙和安全组应该隔离Kafka和ZooKeeper,将broker驻留在私有网络中并拒绝外部连接。中间件或负载平衡层应该将Kafka与公网客户端隔离。

Kafka的安全选项和协议如下:

  • SSL/SASL:客户端到代理、内部代理、代理到工具的身份验证。
  • SSL:客户端到代理之间、代理之间以及工具到代理之间的数据加密
  • SASL类型:SASL/GSSAPI (Kerberos)、SASL/PLAIN、SASL/冲压- sha -512/冲压- sha -256、sasl_auth载体
  • Zookeeper安全性:客户端的身份验证(代理、工具、生产者、消费者),ACL授权。
    使用SASL_SSL进行安全设置的示例配置:

#Broker configuration listeners=SSL://host.name:port,SASL_SSL://host.name:port advertised.listeners=SSL://host.name:port,SASL_SSL://host.name:port

security.protocol=SASL_SSL security.inter.broker.protocol=SSL listener.security.protocol.map=INTERBROKER:SSL,PUBLIC_CLIENT: SASL_PLAINTEXT,PRIVATE_CLIENT:SASL_PLAINTEXT ssl.keystore.location=/var/private/ssl/server.keystore.jks

ssl.keystore.password=test1234
ssl.key.password=test1234

ssl.truststore.location=/var/private/ssl/server.truststore.jks

ssl.truststore.password=test1234 sasl.mechanism.inter.broker.protocol=PLAIN sasl.enabled.mechanisms=PLAIN

#Client Configuration (jaas file) sasl.mechanism=PLAIN

sasl.jaas.config=org.apache.kafka.common.security.plain.PlainLoginModule required \

username="[USER NAME]" \

password="[USER PASSWORD]";

8、通过提高Ulimit避免停机

常见的问题场景:broker由于负载太高而下线,本质上是由于占用了大量文件句柄导致的错误。通过编辑/etc/sysctl.conf并将Ulimit配置为允许128,000个或更多的打开文件,可以避免这种错误。

增加CentOS的ulimit的一个例子:

1)创建新文件/etc/security/limits.d/nofile.conf

2)输入以下内容:

  • soft nofile 128000

  • hard nofile 128000

3)重启系统或服务。

4)通过以下命令进行验证。

*ulimit -a

*以外还有很多方法可以增加ulimit。可以针对实际的Linux发行版,使用任何合适的方法。

9、 保持较低的网络延迟

为了降低Kafka部署的延迟,确保broker在地理上位于离客户最近的区域,并确保在选择云服务商提供的实例时考虑网络性能。如果硬件、带宽等因素影响服务质量,可以考虑在基础设施及硬件上进行有价值的投资。

10、有效利用监控和警报

在创建Kafka集群时,遵循上面的实践可以避免许多问题,但仍要保持警惕,在问题出现之前识别并正确处理。

监视系统指标(如网络吞吐量、打开的文件句柄、内存、负载、磁盘使用情况及其他因素),监视JVM统计数据(包括GC和堆使用情况)等都是必要的。仪表板和历史记录工具可以大大提高问题发现的时效。与此同时,可以通过Nagios或PagerDuty等系统配置延迟峰值或磁盘空间不足等预警,以便在问题如滚雪球一样越滚越大之前得到妥善解决。

通过Instaclustr控制台显示的Kafka监控图示例:
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
原文作者:Ben Bromhead 译者:江玮

原文链接:https://www.infoq.com/articles/apache-kafka-best-practices-to-optimize-your-deployment

版权声明:本文版权归作者(译者)及公众号所有

推荐阅读:https://www.roncoo.com/view/133

kafka配置调优实践 立即下载

相关推荐

从零配置XDMA:手把手教你PCIe BAR与AXI总线的地址转换(基于Vivado2023)

本文基于Vivado2023,手把手教你配置XDMA IP核,深入解析PCIe BAR与AXI总线地址转换的核心原理。通过实战步骤,详细说明如何正确设置BAR参数(如32/64位、预取使能)及地址映射,确保主机能稳定访问FPGA侧寄存器与内存,是解决PCIe通信调试难题的关键指南。

2w3e4r5t6y的博客 1219

整理了一周的Kafka规划和优化方案

部署规划 系统选型 因为kafka服务端代码是Scala语言开发的,因此属于JVM系的大数据框架,目前部署最多的3类操作系统主要由Linux ,OS X 和Windows,但是部署在Linux数量最多,为什么呢?因为I/O模型的使用和数据网络传输效率两点。 第一:Kafka新版本的Clients在设计底层网络库时采用了Java的Select模型,而在Linux实现机制是epoll,模型在redis中也是这几种,明确一点就是:kafka跑在Linux上效率更高,因为epoll取消了轮询机制,换成了回调机制,

felix 1757

IntelliJ IDEA 2025.1 + Gradle 镜像配置避坑指南:解决依赖下载慢的终极方案

本文针对IntelliJ IDEA 2025.1开发环境中Gradle依赖下载缓慢的问题,提供了详细的镜像配置避坑指南。通过解析Gradle依赖解析机制,重点指导如何正确配置阿里云等国内镜像仓库,并分享验证配置生效、排查常见错误及高级优化技巧,旨在彻底解决依赖下载难题,提升开发效率。

weixin_28835551的博客 532

kafka 调优

kafka 调优 压力测试

m0_56017821的博客 4106

华为OD机试 - 压缩日志查询(Python/JS/C/C++ 双机位C卷 100分)

本专栏收录于《华为OD机试真题(Python/JS/C/C++)》。刷的越多,抽中的概率越大,私信哪吒,备注华为OD,加入华为OD刷题交流群,每一题都有详细的答题思路、详细的代码注释、3个测试用例、为什么这道题采用XX算法、XX算法的适用场景,发现新题目,随时更新。某设备需要记录每分钟检测到的指标值。为了节约存储空间,将连续相同指标值的记录合并。压缩之前:202411231000,11 202411231001,11 202411231002,12 202411231003,12 202411231004,

学Java,找哪吒 1880

SpringBoot实现快速导入EXCEL

MaterialMonitorController.java @Log(title = "物料监测", businessType = BusinessType.IMPORT) @RequiresPermissions("system:materialMonitor:import") @PostMapping("/importData") @ResponseBody ...

LEN程序员的一生 4817

【Kafka系列 04】Kafka 性能调优,怎么做?

通常来说,调优是为了满足系统常见的非功能性需求。在众多的非功能性需求中,性能绝对是我们最关心的那一个。不同的系统对性能有不同的诉求,比如对于数据库用户而言,性能意味着请求的响应时间,用户总是希望查询或更新请求能够被更快地处理完并返回。对 Kafka 而言,性能一般是指和。吞吐量,即TPS,是指 Broker 端进程或 Client 端应用程序每秒能处理的字节数或消息数,这个值自然是越大越好。延时,与类似响应时间,它表示从 Producer 端发送消息到 Broker 端持久化完成之间的时间间隔。

Hyatt的博客 2368

基于模糊神经网络实现水质评价预测 - Matlab源码

首先定义输入层、隐含层和输出层的节点数,并初始化权重和阈值,然后开始训练模型,在每轮训练中通过比较模型的输出值与实际值的误差来更新权重和阈值,直到误差达到最小值,为了提高模型的性能,我们可以采用交叉验证等技术进行优化。首先需要准备好数据集,使用的是嘉陵江的水质监测数据集,数据集包含了多个指标,如 pH 值、溶解氧、总氮、总磷等,以及相应的水质等级,我们需要将数据集分为训练集和测试集。在当今环境日益恶化的情况下,水质监测变得越来越重要,模糊神经网络作为一种新型的。

weixin_50547796的博客 148

Apache Kafka:优化部署的 10 种最佳实践

Apache Kafka:优化部署的 10 种最佳实践 Hadoop技术博文 本文英文原文链接:https://www.infoq.com/articles/apache-kafka-best-practices-to-optimize-your-deployment 本文要点 Kafka 低开销和友好水平扩展的设计使它可以使用廉价的日用硬件仍能保持成功运行。 使用最好的磁盘、分别存储日志、隔离...

weixin_42644102的博客 220

自私兽群优化器(SHO)详解:从生物本能到智能优化

自私兽群优化器(SHO)是一种受动物群体自私行为启发的智能优化算法。该算法模拟动物在捕食威胁下的两种行为:聚集行为(全局搜索)和自私行为(局部搜索),将优化问题的解空间映射为生存环境,候选解视为猎物个体。SHO通过安全性评估将猎物分为安全、危险和高危三类,分别采用不同的位置更新策略,并引入捕食者角色增加选择压力。相比传统优化算法,SHO具有无需梯度信息、自适应平衡探索与开发、参数简单等优势,特别适合高维复杂和多模态优化问题。算法通过马尔可夫链理论保证收敛性,已在工程设计和数据挖掘等领域展现出良好性能。

qq_42212808的博客 202

企业数字化转型解决方案架构设计:一个五维全景视角

本文系统探讨了企业数字化转型的架构设计框架,提出五维协同模型:企业架构作为战略罗盘,业务架构聚焦价值创造,应用架构实现能力载体,数据架构提供智能燃料,技术架构奠定基础支撑。文章深入分析了各架构域的核心要素、设计原则及相互关系,并指出数字化转型需通过渐进路径,结合战略引领、技术赋能和组织变革,构建有机统一的架构体系。该框架为企业应对数字化复杂性提供了系统性方法论,强调从整体视角实现技术与业务的深度融合。

金牌架构师 1257

Apache Kafka:优化部署的10种最佳实践

本文要点Kafka 低开销和友好水平扩展的设计使它可以使用廉价的日用硬件仍能保持成功运行。使用最好的磁盘、分别存储日志、隔离ZooKeeper进程,以及禁用交换以减少延迟,从而为ZooKeeper提供强大的网络带宽。将Kafka的默认复制因子从两个增加到三个,这适用于大多数生产环境。更多的分区意味着更好的并行化和吞吐量,但分区也意味着更多的复制延迟、平衡,以及打开更多服务器文件。监控系统网络吞吐量...

weixin_34372728的博客 99

精雕软件(JDpaint) 5.5 绿色版

精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版

Apache Kafka Docker 容器化部署指南

本文详细介绍了Apache Kafka的Docker容器化部署方案。主要内容包括:Kafka简介及其应用场景;基于Docker的部署环境准备与镜像获取;单节点、自定义配置、多节点集群等多种部署模式的具体实现方法;功能测试验证流程;生产环境配置建议(数据持久化、资源限制、安全设置等);常见故障排查方法。该方案通过容器化技术简化Kafka部署,提供从开发测试到生产环境的完整指导,强调高可用性、性能优化和安全配置,帮助用户快速构建可靠的消息流处理平台。

java_logo的专栏 1198

efm32 入门.pdf

本PDF共计22页,介绍的是操作驱动API,下载与否自己斟酌。

温度PID控制PLC程序

温度PID稳定控制程序,适用于欧姆龙PLC,对其他PLC也具有很大参考价值

构建实时数据管道:Apache Kafka 的架构、实现与最佳实践

Apache Kafka 是一个分布式流处理平台,最初由 LinkedIn 开发,后开源并成为 Apache 顶级项目。高吞吐量与低延迟:能够处理海量数据,适用于高并发场景。持久化与容错性:数据被持久化到磁盘,并支持副本机制,确保数据不丢失。扩展性强:通过水平扩展轻松应对数据增长。灵活的发布/订阅模型:支持多种消费模式,适用于实时流处理和事件驱动架构。

一名热衷于技术的全栈开发者,专注于前端与后端的全面技术探索。在这里,我将分享我在技术领域的学习与成长,助力更多开发者的进步。 1177

ssm框架搭建

这个是一个在idea上成功跑起来的ssm框架项目,保存在这里方便以后使用直接下载

【 Kafka进阶5】使用 Docker 部署 Apache Kafka 集群完全指南

本文介绍了使用Docker容器化部署Kafka的全链路方案,从单节点快速测试到生产级多节点集群配置。主要内容包括: Docker部署优势:环境一致性、快速扩缩容、资源隔离和简化运维,并提供JVM版和GraalVM原生镜像选择。 镜像选择:官方提供JVM版(生产推荐)和GraalVM原生版(仅测试),后者启动更快但功能受限。 核心配置:详细说明KRaft模式、节点角色划分及关键环境变量,支持三种配置输入方式(环境变量优先)。 安全认证:介绍SASL(仅JVM支持)和SSL的配置方法及注意事项。 部署示例:提供

海兰 561
上一篇: jvm的那些设置参数你都知道吗
下一篇: JMeter性能测试从入门到精通
java_66666
博客等级 码龄10年 339粉丝 42原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值