干货 | 大模型LLM-微调经验分享&总结

最新推荐文章于 2025-07-17 10:30:00 发布
最新推荐文章于 2025-07-17 10:30:00 发布
阅读量865 收藏 1
点赞数
CC 4.0 BY-SA版权
原文链接：https://mp.weixin.qq.com/s?__biz=Mzg2NzUxNTU1OA==&mid=2247628213&idx=3&sn=dd30c1aa1c07894e01e6fcff257e4002&chksm=cf6de6ed0e2332757f1eb801d069ff452a67470b27c4544fe448d722ca3358f8619ef61a0ee2&scene=126&sessionid=0

作者 | 刘聪NLP  编辑 | 极市平台

原文链接：https://zhuanlan.zhihu.com/p/620885226

点击下方卡片，关注“自动驾驶之心”公众号

戳我-> 领取自动驾驶近15个方向学习路线

>>点击进入→自动驾驶之心『大语言模型』技术交流群

本文只做学术分享，如有侵权，联系删文

导读

 

本文总结了作者在ChatGLM-6B模型微调的经验，并汇总了目前开源项目&数据。

写在前面

大型语言模型横行，之前非常焦虑，现在全面拥抱。目前也有很多开源项目进行大模型微调等，笔者也做了一阵子大模型了，特此来介绍一下ChatGLM-6B模型微调经验，并汇总了一下目前开源项目&数据。笔者与很多人微调结论不同，本人在采用单指令上进行模型微调，发现模型微调之后，「并没有出现灾难性遗忘现象」。

项目地址：https://github.com/liucongg/ChatGLM-Finetuning

ChatGLM-6B模型微调

模型越大对显卡的要求越高，目前主流对大模型进行微调方法有三种：Freeze方法、P-Tuning方法和Lora方法。笔者也通过这三种方法，在信息抽取任务上，对ChatGLM-6B大模型进行模型微调。为了防止大模型的数据泄露，采用一个领域比赛数据集-汽车工业故障模式关系抽取(https://www.datafountain.cn/competitions/584)，随机抽取50条作为测试集。

详细代码见上面的GitHub链接，并且也被ChatGLM官方收录。

56a255a2eff1a5677a4cd8a82b7a24f6.jpeg

Freeze方法

Freeze方法，即参数冻结，对原始模型部分参数进行冻结操作，仅训练部分参数，以达到在单卡或不进行TP或PP操作，就可以对大模型进行训练。

微调代码，见finetuning_freeze.py，核心部分如下：

for name, param in model.named_parameters():
    if not any(nd in name for nd in ["layers.27", "layers.26", "layers.25", "layers.24", "layers.23"]):
        param.requires_grad = False

针对模型不同层进行修改，可以自行修改。训练代码均采用DeepSpeed进行训练，可设置参数包含train_path、model_dir、num_train_epochs、train_batch_size、gradient_accumulation_steps、output_dir、prompt_text等，可根据自己的任务配置。

CUDA_VISIBLE_DEVICES=0 deepspeed finetuning_freeze.py --num_train_epochs 5 --train_batch_size 2

三元组抽取的推理代码，见predict_freeze.py，其他任务可以根据自己的评价标准进行推理预测。

PT方法

PT方法，即P-Tuning方法，参考ChatGLM官方代码(https://github.com/THUDM/ChatGLM-6B/blob/main/ptuning/README.md) ，是一种针对于大模型的soft-prompt方法。

4994336639a6f6c60dde2e6663eabc90.jpeg

  • P-Tuning(https://arxiv.org/abs/2103.10385)，仅对大模型的Embedding加入新的参数。

  • P-Tuning-V2(https://arxiv.org/abs/2110.07602)，将大模型的Embedding和每一层前都加上新的参数。

微调代码，见finetuning_pt.py，核心部分如下：

config = ChatGLMConfig.from_pretrained(args.model_dir)
config.pre_seq_len = args.pre_seq_len
config.prefix_projection = args.prefix_projection

model = ChatGLMForConditionalGeneration.from_pretrained(args.model_dir, config=config)

for name, param in model.named_parameters():
    if not any(nd in name for nd in ["prefix_encoder"]):
        param.requires_grad = False

当prefix_projection为True时，为P-Tuning-V2方法，在大模型的Embedding和每一层前都加上新的参数；为False时，为P-Tuning方法，仅在大模型的Embedding上新的参数。

可设置参数包含train_path、model_dir、num_train_epochs、train_batch_size、gradient_accumulation_steps、output_dir、prompt_text、pre_seq_len、prompt_text等， 可根据自己的任务配置。

CUDA_VISIBLE_DEVICES=0 deepspeed finetuning_pt.py --num_train_epochs 5 --train_batch_size 2 --pre_seq_len 16

三元组抽取的推理代码，见predict_pt.py，其他任务可以根据自己的评价标准进行推理预测。

Lora方法

Lora方法，即在大型语言模型上对指定参数增加额外的低秩矩阵，并在模型训练过程中，仅训练而外增加的参数。当“秩值”远小于原始参数维度时，新增的低秩矩阵参数量很小，达到仅训练很小的参数，就能获取较好的结果。

2a65d1ad6df80d6a9b0e717454401b35.jpeg

  • Lora论文：https://arxiv.org/abs/2106.09685

  • 官方代码：https://github.com/microsoft/LoRA

  • HuggingFace封装的peft库：https://github.com/huggingface/peft

微调代码，见finetuning_lora.py，核心部分如下：

model = ChatGLMForConditionalGeneration.from_pretrained(args.model_dir)
config = LoraConfig(r=args.lora_r,
                    lora_alpha=32,
                    target_modules=["query_key_value"],
                    lora_dropout=0.1,
                    bias="none",
                    task_type="CAUSAL_LM",
                    inference_mode=False,
                    )

model = get_peft_model(model, config)

可设置参数包含train_path、model_dir、num_train_epochs、train_batch_size、gradient_accumulation_steps、output_dir、prompt_text、lora_r等，可根据自己的任务配置。

CUDA_VISIBLE_DEVICES=0 deepspeed finetuning_lora.py --num_train_epochs 5 --train_batch_size 2 --lora_r 8

三元组抽取的推理代码，见predict_lora.py，其他任务可以根据自己的评价标准进行推理预测。

注意：对于结果需要保持一致的任务(即关掉dropout，解码关掉do_sample)，需要保存模型的adapter_config.json文件中，inference_mode参数修改成false，并将模型执行model.eval()操作。主要原因是chatglm模型代码中，没有采用Conv1D函数。

三元组抽取实验结果

  • 模型训练时，最大长度为768，Batch大小为2，训练轮数为5，fp16训练，采用DeepSpeed的Zero-1训练；

  • PT为官方的P-Tuning V2训练方法，PT-Only-Embedding表示仅对Embedding进行soft-prompt，Freeze仅训练模型后五层参数，Lora采用低秩矩阵方法训练，秩为8；

  • 由于之前训练PT在48G-A40显卡上会出现OOM，因此之前进行PT实验时对模型开启了gradient_checkpointing_enable，使得模型显存占用变小，但训练时长增加。

  • 训练示例：

prompt_text：你现在是一个信息抽取模型，请你帮我抽取出关系内容为\"性能故障\", \"部件故障\", \"组成\"和 \"检测工具\"的相关三元组，三元组内部用\"_\"连接，三元组之间用\\n分割。文本：
输入：故障现象：发动机水温高，风扇始终是低速转动，高速档不工作，开空调尤其如此。
输出：发动机_部件故障_水温高\n风扇_部件故障_低速转动

时间换空间，可用很好的解决显卡的资源问题，简单玩玩还可以，如果想要模型达到最优效果或可用快速看到效果，还不如租张A100卡，快速实验，推理阶段再用自己的小破卡。

笔者找到一家新的算力平台-揽睿星舟，单张A100仅要6.4元/小时，我翻了一圈，算是便宜的了(反正比AutoDL便宜一点，便宜一点是一点吧)。

下面实验结果均是在租的80G-A100上进行的实验，与Github里用的A40的实验结果会有些差异，主要在训练时长(纯训练速度，剔除模型保存的时间)。说实话，真的要训练一个大模型，多个A100是必不可少的，可以减少很多模型并行的操作，效果上也更好把控一些。

微调方法PT-Only-EmbeddingPTFreezeLora
显卡占用37G56G24G39G
总参数6.259B7.211B6.255B6.259B
可训练参数占比0.0586%13.26%16.10%0.0586%
训练耗时20min52min46min25min
测试结果F10.00.62830.56750.5359

结果分析：

  • 效果为PT>Freeze>Lora>PT-Only-Embedding;

  • 速度为PT-Only-Embedding>Lora>Freeze>PT;

  • PT-Only-Embedding效果很不理想，发现在训练时，最后的loss仅能收敛到2.几，而其他机制可以收敛到0.几。分析原因为，输出内容形式与原有语言模型任务相差很大，仅增加额外Embedding参数，不足以改变复杂的下游任务;

  • PT方法占用显存更大，因为也增加了很多而外参数;

  • 测试耗时，采用float16进行模型推理，由于其他方法均增加了额外参数，因此其他方法的推理耗时会比Freeze方法要高。当然由于是生成模型，所以生成的长度也会影响耗时;

  • 模型在指定任务上微调之后，并没有丧失原有能力，例如生成“帮我写个快排算法”，依然可以生成-快排代码;

  • 由于大模型微调都采用大量instruction进行模型训练，仅采用单一的指令进行微调时，对原来其他的指令影响不大，因此并没导致原来模型的能力丧失;

  • 上面测试仅代表个人测试结果。

很多同学在微调后出现了灾难性遗忘现象，但我这边并没有出现，对“翻译任务”、“代码任务”、“问答任务”进行测试，采用freeze模型，可以用test_forgetting.py进行测试，具体测试效果如下：

  • 翻译任务

10a8fd4cc78a40ab8c19fe441303b5bc.png

  • 代码任务

c9965a69a9e6a353927f9b32f9fa1989.jpeg

  • 问答任务

38b15061b83998baa38c0c576870ffc5.png

后面会把生成任务、分类任务做完，请持续关注Github，会定期更新。（太忙了，会抓紧时间更新，并且官方代码也在持续更新，如遇到代码代码调不通的情况，请及时联系我，我在github也给出了我的代码版本和模型版本）

中文开源大模型&项目

虽然出来很多大模型，但Open的&中文可直接使用的并不多，下面对中文开源大模型、数据集和项目进行一下汇总。

fd9c543ca8cd820ff200005b705f0375.jpeg

中文开源大模型

直接可微调，无需指令增量训练：

  • ChatGLM-6B：https://huggingface.co/THUDM/chatglm-6b

  • ChatYuan-large-v2：https://huggingface.co/ClueAI/ChatYuan-large-v2

原始模型多语言or英文，需要中文指令数据集增量训练：

  • BloomZ：https://huggingface.co/bigscience/bloomz

  • LLama：https://github.com/facebookresearch/llama

  • Flan-T5：https://huggingface.co/google/flan-t5-xxl

  • OPT：https://huggingface.co/facebook/opt-66b

中文开源指令数据

下面中文指令集，大多数从Alpaca翻译而来，请看下面项目中data目录。目前通过ChatGPT或者GPT4作为廉价标注工为自己的数据进行数据标注一个不错的思路。

  • [1]：https://github.com/LC1332/Chinese-alpaca-lora

  • [2]：https://github.com/hikariming/alpaca_chinese_dataset

  • [3]：https://github.com/carbonz0/alpaca-chinese-dataset

  • [4]：https://github.com/Instruction-Tuning-with-GPT-4/GPT-4-LLM

  • [5]：https://github.com/LianjiaTech/BELLE

  • [6]：https://huggingface.co/datasets/JosephusCheung/GuanacoDataset

开源项目

总结下面较火的开源项目：

  • BELLE：https://github.com/LianjiaTech/BELLE

  • ChatGLM：https://github.com/THUDM/ChatGLM-6B

  • Luotuo-Chinese-LLM：https://github.com/LC1332/Luotuo-Chinese-LLM

  • stanford_alpaca：https://github.com/tatsu-lab/stanford_alpaca

总结

目前各大厂的大模型陆陆续续放出，堪称百家争鸣！个人玩家也是全面拥抱，想尽一切办法来训练微调大模型。只愿大家以后可以实现“大模型”自由。愿再无“model-as-a-service”。

投稿作者为『自动驾驶之心知识星球』特邀嘉宾，欢迎加入交流！重磅，自动驾驶之心科研论文辅导来啦，申博、CCF系列、SCI、EI、毕业论文、比赛辅导等多个方向，欢迎联系我们！

55fb1fd603565abf28f74159e9b0c1ae.jpeg

① 全网独家视频课程

BEV感知、BEV模型部署、BEV目标跟踪、毫米波雷达视觉融合、多传感器标定、多传感器融合、多模态3D目标检测、车道线检测、轨迹预测、在线高精地图、世界模型、点云3D目标检测、目标跟踪、Occupancy、cuda与TensorRT模型部署、大模型与自动驾驶、Nerf、语义分割、自动驾驶仿真、传感器部署、决策规划、轨迹预测等多个方向学习视频（扫码即可学习）

2c01d8f735a50bb68bec840f2807dbcb.png

网页端官网：www.zdjszx.com

② 国内首个自动驾驶学习社区

国内最大最专业，近3000人的交流社区，已得到大多数自动驾驶公司的认可！涉及30+自动驾驶技术栈学习路线，从0到一带你入门自动驾驶感知（2D/3D检测、语义分割、车道线、BEV感知、Occupancy、多传感器融合、多传感器标定、目标跟踪）、自动驾驶定位建图（SLAM、高精地图、局部在线地图）、自动驾驶规划控制/轨迹预测等领域技术方案、大模型、端到端等，更有行业动态和岗位发布！欢迎扫描下方二维码，加入自动驾驶之心知识星球，这是一个真正有干货的地方，与领域大佬交流入门、学习、工作、跳槽上的各类难题，日常分享论文+代码+视频

1c63fe3e84c428d91f6afe3e7d581b88.png

③【自动驾驶之心】技术交流群

自动驾驶之心是首个自动驾驶开发者社区，聚焦感知、定位、融合、规控、标定、端到端、仿真、产品经理、自动驾驶开发、自动标注与数据闭环多个方向，目前近60+技术交流群，欢迎加入！扫码添加汽车人助理微信邀请入群，备注：学校/公司+方向+昵称（快速入群方式）

b23e9c771d02a06e60adacf5afb0d4a6.jpeg

④【自动驾驶之心】全平台矩阵

2992c6da008760f6cc231efe9350a646.png

【LLM】Prompt tuning大模型微调实战
发现问题，并解决问题，批判性思维
07-10 1万+
- 给出好的prompt可以让LLM生成更好的答案，反过来想通过LLM帮我们找到好的prompt就是prompt tuning的思路，训练让模型看到新的例子生成prompt，并把该段prompt作为前缀拼接到我们自己的prompt上，送入LLM得到结果 - prompt tuning训练的前缀是向量，所以解释性略差 - 和few show比较：LLM的上下文context长度是有限的（prompt中给出有限的例子，业务复杂时难让模型学习足够多知识），prompt tuning就没有这个限制，只需在训练
【LLM】金融场景的大模型Lora微调实战
发现问题，并解决问题，批判性思维
07-08 9290
金融行业需要垂直领域LLM，因为存在金融安全和数据大多数存储在本地，在风控、精度、实时性有要求 （1）500亿参数的BloombergGPT BloombergGPT金融大模型也是用transformer架构，用decoder路线， 构建目前规模最大的金融数据集FINPILE，对通用文本+金融知识的混合训练。 用了512块40GB的A100 GPU，训练中备份了4个模型，每个模型分了128块GPU。 （2）度小满5月的【源轩大模型】 使用hybrid-tuning方式，首个千亿参数金融大模型 在通用能力评测
实战LLM微调：大语言模型和微调入门
05-18 2004
本文对大模型的发展和现状做了个回顾，并重点介绍了下什么是微调以及如何在大模型上做微调，之后展示了对微调后的模型做评估和量化的技术。
大模型LLM-微调经验分享&总结
weixin_40920183的博客
06-01 1741
作者丨刘聪NLP来源丨知乎写在前面大型语言模型横行，之前非常焦虑，现在全面拥抱。目前也有很多开源项目进行大模型微调等，笔者也做了一阵子大模型了，特此来介绍一下ChatGLM-6B模型微调经验，并汇总了一下目前开源项目&数据。笔者与很多人微调结论不同，本人在采用单指令上进行模型微调，发现模型微调之后，「并没有出现灾难性遗忘现象」。项目地址：https://github.com/liucong...
ChatGLM3-6B实践
m0_46671240的博客
03-25 640
Freeze方法指的是参数冻结，对原始模型的大部分参数进行冻结，仅训练少部分的参数，这样就可以大大减少显存的占用，从而完成对大模型的微调。特别是在Bert模型出来的时候，比较会常用到Freeze的这样一个微调方法，比如Bert有12层，我们把前10层冻结了，只训练后两层。这是一种比较简单微调方法，由于冻结的参数是大部分，微调的参数是少部分，因此在代码中只需要设置需要微调的层的参数即可，把不需要参加训练的层数 requires_grad 设置为False，不让其进行更新，从而达到冻结的这样一个效果。
【AI大模型应用开发】【Fine-Tuning】0. 从一个例子开始学习大模型Fine-Tuning
同学小张的博客
02-23 2107
我们从一个简单的例子入手，先来感受下Fine-Tune微调到底是什么。这个例子可以在笔记本电脑上跑，需要的配置不高。在开始本文的实践案例前，你可以对模型训练一窍不通，本文将带你跑通整个过程，同时解释其中一些概念。
告别炼丹玄学：LLaMA-Factory，一站式LLM微调与部署的终极利器
最新发布
wylee的博客
07-17 341
当ChatGPT的旋风席卷全球，大语言模型（LLMs）不再是遥不可及的学术概念，而是触手可及的生产力工具。然而，通用大模型虽然强大，却往往无法完全满足垂直领域或个性化场景的特定需求。如何让这些庞大的模型学会你的行业知识、掌握你的特定语境、遵循你的独特指令？微调（Fine-tuning）。然而，大模型的微调并非易事。LLaMA、Qwen、Baichuan、InternLM……模型家族日益壮大，选择哪个，如何高效适配？SFT、LoRA、QLoRA、DPO、PPO、ORPO……每种方法理论深奥，实现复杂。
llama factory只支持aplaca和sharegpt格式的微调数据集吗? 想微调glm4，但glm推荐的格式是它自己的格式， 如何解决？
**My Coding Family**
06-25 1033
🏆本文收录于 《全栈Bug调优(实战版)》 专栏，该专栏专注于分享我在真实项目开发中遇到的各类疑难Bug及其深层成因，并系统提供高效、可复现的解决思路和实操方案。无论你是刚入行的新手开发者，还是拥有多年项目经验的资深工程师，本专栏都将为你提供一条系统化、高质量的问题排查与优化路径，助力你加速成长，攻克技术壁垒，迈向技术价值最大化与职业发展的更高峰🚀！    📌 特别说明： 文中部分技术问题来源于真实生产环境及网络公开案例，均经过精挑细选与系统化整理，并结合多位一线资深架构师和工程师多年实战经验沉淀，提
Coggle数据科学 | 大模型技术内参：39 种提示工程 在 29 种 NLP 任务精度对比
csdn_xmj的博客
07-27 1203
大语言模型（LLMs）在许多不同的自然语言处理（NLP）任务中表现出色。提示工程需要编写称为提示的自然语言指令，以结构化方式从LLMs中提取知识。与以往的最新技术（SoTA）模型不同，提示工程不需要根据给定的NLP任务进行广泛的参数重新训练或微调，因此仅依赖于LLMs的嵌入知识。
【AI大模型：认知升级】4、工业级的大模型系统强在哪？
RickyIT的专栏
06-05 1239
工业级大模型系统的核心挑战在于开源工具与工业化需求间的显著差距，主要体现在三个方面：架构设计缺陷（如单节点系统无法应对万级QPS）、向量检索瓶颈（大规模数据管理困难）和商业可用性问题（领域适配成本高）。理论层面，工业级系统需要融合符号主义、连接主义和行为主义等算法流派，并通过分布式训练基础设施（如DGX SuperPod）实现高效模型训练。实践上，需构建数据驱动的业务建模方法论，结合强化学习微调（RLHF）和混合专家模型（MoE）等先进技术，最终建立支持实时推荐、智能质检等多场景的在线服务体系。
美妆企业自建专属大模型（开源模型汇总+训练方法汇总）_化妆模型开源
2401_85379281的博客
07-06 1377
服务数十家美妆企业，成功交付私有化大模型后，我们发现美妆企业成功拥抱专属大模型的关键在于：1、2、众所周知，大模型的训练成本极高，在海量算力的成本压力下，OpenAI和谷歌都选择了闭源来保证自家大模型的优势地位。但是从计算机科学与人工智能的发展历程来看，开源始终对软件技术乃至IT技术发展有着巨大的推动作用。大模型时代，Meta率先走上了开源的道路，LLaMA基座开源之后，也因其出色的性能，迅速吸引了大量开发者。Meta 更是发布了免费可商用版本 Llama 2。
微调大型语言模型（LLM）：应用案例示例
XianxinMao的博客
03-14 1243
本文讨论了大型语言模型（LLM）的微调，这是一种通过少量数据训练已经预训练好的模型以执行特定任务的过程。微调可以让LLM在翻译、文本分类、文本生成等领域更加高效。本文还提供了微调的实践示例和代码，帮助读者理解并应用微调过程。
精华分享 | 大模型LLM微调技巧与实践总结
2401_85373898的博客
10-22 1734
大型语言模型横行，之前非常焦虑，现在全面拥抱。目前也有很多开源项目进行大模型微调等，笔者也做了一阵子大模型了，特此来介绍一下ChatGLM-6B模型微调经验，并汇总了一下目前开源项目&数据。笔者与很多人微调结论不同，本人在采用单指令上进行模型微调，发现模型微调之后，
LLM大模型技术实战：一文总结大模型微调方法！！
aolan123的博客
02-04 1808
大模型会成为AI时代的一项基础设施。作为像水、电一样的基础设施，预训练大模型这样的艰巨任务，只会有少数技术实力强、财力雄厚的公司去做。绝大多数人，是水、电的应用者。对这部分人来说，掌握如何用好大模型的技术，更加重要。用好大模型的第一个层次，是掌握用好大模型的第二个层次，是，这也是今天这篇文章的主题。
大模型训练与微调实操经验：超细节总结
2401_84494441的博客
02-17 1237
本篇主要从训练数据预处理、模型结构、训练参数设置与错误处理四大角度比较细节地分享大模型微调经验。大模型的训练和微调过程相对于以前NLP中fine-tuning模式存在一些新的坑，并且做一些简单的消融实验相对于以前的模式试错成本也更高；此外目前很多算法工程师更多精力都放在了处理数据上， 工作之余很难有精力去做探索实验。所以小伙伴们在实践前可以多看看一些通用的实践经验，带着一些先验知识去探索，尽量规避自己陷入一些无意义的坑中。本篇将开启一个新系列，尽量细节的讲讲大模型中训练和微调的经验。本篇主要从。
Pyhon 大模型常见的微调方式，LLMs常见的Finetune方式；chatglm3微调实战；大模型微调通俗易懂总结
L_goodboy的博客
04-01 2725
Pyhon 大模型常见的微调方式，LLMs常见的Finetune方式；chatglm3微调实战；大模型微调通俗易懂总结
大模型微调方法：冻结方法 Freeze、P-Tuning 系列、LoRA、QLoRA
热门推荐
Debroon
12-13 1万+
在 Prompt Tuning 中，连续提示仅插入到 Transformer 的第一层输入嵌入序列中，而在接下来的Transformer层中，连续提示位置的嵌入是由之前的 Transformer 层计算得到的。在 P-tuning v2 中，作者发现重参数化的改进很小，尤其是对于较小的模型，同时还会影响模型的表现。：传统的预训练模型中，只有最后一层或者少数几个层的参数会被更新，而其他层的参数保持不变。因此，只微调后几层的全连接层参数，可以保留预训练模型的大部分知识，同时通过微调来适应具体任务的特定要求。
对于LLM大模型，到底微调还是不微调？
bagell的博客
10-09 951
请参考上述问题，以指导你是否需要 RAG 和/或微调，并通过内部实验来分析错误并理解可能的指标提升。最后，微调探索确实需要一个稳健的数据收集和数据改进策略，我们建议在开始微调之前进行这一步。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值