大模型知识蒸馏概述

最新推荐文章于 2025-04-14 12:57:09 发布
最新推荐文章于 2025-04-14 12:57:09 发布
阅读量4.8k 收藏 29
点赞数 8
文章标签： 人工智能 开发语言 产品经理 prompt chatgpt 大模型 LLM
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/huang9604/article/details/139108536
版权

近年来，随着Transformer、MOE架构的提出，使得深度学习模型轻松突破上万亿规模参数，从而导致模型变得越来越大，因此，我们需要一些大模型压缩技术来降低模型部署的成本，并提升模型的推理性能。而大模型压缩主要分为如下几类：

  • 剪枝（Pruning）
  • 知识蒸馏（Knowledge Distillation）
  • 量化（Quantization）
  • 低秩分解（Low-Rank Factorization）

本文将讲述当前大模型蒸馏相关的一些工作。

知识蒸馏简介

知识蒸馏是一种机器学习模型压缩方法，它用于将大型模型（教师模型）的知识迁移到较小的模型（学生模型）中。

知识蒸馏（KD），也被称为教师-学生神经网络学习算法，是一种有价值的机器学习技术，旨在提高模型性能和泛化能力。

它通过将知识从复杂的模型（称为教师模型）转移到更简单的模型（称为学生模型）来实现这一点。 KD背后的核心思想是将教师模型的综合知识转化为更精简、更有效的表示。

本文，我们将概述利用LLM作为教师的蒸馏方法。根据这些方法是否将LLM的涌现能力（EA）提炼成小语言模型（SLM）来对这些方法进行分类。 因此，我们将这些方法分为两个不同的类别：标准 KD 和基于 EA 的 KD。 为了直观地表示，下图提供了LLM知识蒸馏的简要分类。

image.png

标准知识蒸馏

Standard KD旨在使学生模型学习LLM所拥有的常见知识，如输出分布和特征信息。这种方法类似于传统的KD，但区别在于教师模型是LLM。 比如：MINILLM 和 GKD。

MINILLM （论文：Knowledge Distillation of Large Language Models）深入研究了白盒生成LLM的蒸馏。 它观察到最小化前向 Kullback-Leibler 散度 (KLD) 的挑战（这可能会导致教师分布中不太可能的区域出现概率过高，从而在自由运行生成过程中导致不可能的样本）。为了解决这个问题，MINILLM 选择最小化逆向 KLD。 这种方法可以防止学生高估教师分布中的低概率区域，从而提高生成样本的质量。

image.png

image.png

GKD（论文：GKD: Generalized Knowledge Distillation for Auto-regressive Sequence Models） 探索了自回归模型的蒸馏，这里白盒生成 LLM 是一个子集。 该方法确定了两个关键问题：训练期间的输出序列与学生在部署期间生成的输出序列之间的分布不匹配，以及模型under-specification，其中学生模型可能缺乏与教师分布相匹配的表达能力。GKD 通过在训练期间对学生的输出序列进行采样来处理分布不匹配，它还通过优化替代散度（逆向 KL）来解决模型under-specification的问题。

  • 来源：Google DeepMind

基于涌现能力的知识蒸馏

基于 EA 的 KD 不仅仅迁移 LLM 的常识，还包括蒸馏他们的涌现能力。

与 BERT（330M）和 GPT-2（1.5B）等较小模型相比，GPT-3（175B）和 PaLM（540B）等 LLM 展示了独特的行为。 这些LLM在处理复杂的任务时表现出令人惊讶的能力，称为“涌现能力”。 涌现能力包含三个方面，包括上下文学习 (ICL)、思维链 (CoT) 和指令遵循 (IF)。 如图三所示，它提供了基于EA的知识蒸馏概念的简明表示。

image.png

上下文学习蒸馏

ICL 采用结构化自然语言提示，其中包含任务描述以及可能的一些任务示例作为演示。通过这些任务示例，LLM可以掌握并执行新任务，而无需显式梯度更新。

In-context Learning Distillation: Transferring Few-shot Learning Ability of Pre-trained Language Models 论文中引入了 ICL 蒸馏，它将上下文小样本学习和语言建模功能从 LLM 转移到 SLM。这是通过将上下文学习目标与传统语言建模目标相结合来实现的。

为了实现这一目标，他们在两种小样本学习范式下探索了 ICL 蒸馏：元上下文调优 (Meta-ICT) 和多任务上下文调优 (Multitask-ICT)。

image.png

在 Meta-ICT 中，语言模型使用上下文学习 objectives 在不同任务中进行元训练。这使其能够通过上下文学习来适应看不见的任务，从而扩展其解决问题的能力。

另一方面，Multitask-ICT 使用 ICL objectives 和 target 任务中的一些示例对模型进行微调。随后，它采用上下文学习来对这些任务进行预测。

比较这两种范式，Multitask-ICT 表现出优于 Meta-ICT 的性能。 然而，它在任务适应过程中确实需要更多的计算资源，使其计算加强。

  • 来源：哥伦比亚大学

思维链蒸馏

与 ICL 相比，CoT 采用了不同的方法，它将中间推理步骤（可以导致最终输出）合并到提示中，而不是使用简单的输入输出对。

MT-COT （论文：Explanations from Large Language Models Make Small Reasoners Better） 旨在利用 LLM 产生的解释来加强小型推理机的训练。它利用多任务学习框架使较小的模型具有强大的推理能力以及生成解释的能力。

  • 来源：加州大学圣塔芭芭拉分校、腾讯人工智能实验室、微软等

image.png

Fine-tune CoT （论文：Large language models are reasoning teachers）更进一步，通过随机采样从 LLM 生成多个推理解决方案。 训练数据的增强有助于学生模型的学习过程。

image.png

Fu 等人的研究（论文：Specializing Smaller Language Models towards Multi-Step Reasoning）发现语言模型多维能力之间的权衡，并提出微调指令调整模型。他们从大型教师模型中提取 CoT 推理路径，以提高分布外泛化能力。

  • 来源：爱丁堡大学、艾伦AI研究所

image.png

Hsieh 等人的研究（论文：Distilling Step-by-Step! Outperforming Larger Language Models with Less Training Data and Smaller Model Sizes）使用 LLM 论据作为在多任务框架内训练较小模型的额外指导。

image.png

SOCRATIC CoT（论文：Distilling Reasoning Capabilities into Smaller Language Models）训练两个蒸馏模型：问题分解器和子问题求解器。 分解器将原始问题分解为一系列子问题，而子问题求解器负责解决这些子问题。

  • 来源：苏黎世联邦理工学院计算机科学系

image.png

DISCO（论文：DISCO: Distilling Counterfactuals with Large Language Models）引入了一种基于 LLM 的全自动反事实知识蒸馏方法。它通过工程化的提示使用 LLM 生成短语扰动，然后通过特定于任务的教师模型过滤这些扰动，以提取高质量的反事实数据。

image.png

为了形成更好的监督，SCOTT（论文：SCOTT: Self-Consistent Chain-of-Thought Distillation）通过对比解码从大型 LM（老师）那里得到支持标准答案的论据，这鼓励老师生成只有在考虑答案时才变得更加可信的Token。为了确保可信的蒸馏，我们使用教师生成的基本论据来学习具有反事实推理目标的学生 LM，这可以防止学生忽略基本论据而做出不一致的预测。

image.png

指令遵循蒸馏

IF 致力于仅基于阅读任务描述来增强语言模型执行新任务的能力，而不依赖于少数样本。通过使用一系列以指令表示的任务进行微调，语言模型展示了准确执行以前未见过的指令中描述的任务的能力。

例如，Lion （论文：Lion: Adversarial Distillation of Closed-Source Large Language Model）利用LLM的适应性强的特点来提高学生模型的表现。它提示LLM识别并生成“hard”指令，然后利用这些指令来增强学生模型的能力。这种方法利用了LLM用途广泛的特性来指导学生模型的学习，以解决复杂的指令和任务。

image.png

结语

本文简单讲述了目前大模型知识蒸馏方向的一些工作，在大模型参数量越来越大的今天，该方向（通过相对较小量级的模型蒸馏大模型的知识）的研究显得格外有意义。

如何系统的去学习大模型LLM ？

作为一名热心肠的互联网老兵，我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。

但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的 AI大模型资料 包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

😝有需要的小伙伴，可以V扫描下方二维码免费领取🆓

在这里插入图片描述

一、全套AGI大模型学习路线

AI大模型时代的学习之旅：从基础到前沿，掌握人工智能的核心技能！

img

二、640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

img

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

img

在这里插入图片描述

四、AI大模型商业化落地方案

img

阶段1：AI大模型时代的基础理解

  • 目标：了解AI大模型的基本概念、发展历程和核心原理。
  • 内容：
    • L1.1 人工智能简述与大模型起源
    • L1.2 大模型与通用人工智能
    • L1.3 GPT模型的发展历程
    • L1.4 模型工程
      - L1.4.1 知识大模型
      - L1.4.2 生产大模型
      - L1.4.3 模型工程方法论
      - L1.4.4 模型工程实践
    • L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

  • 目标：掌握AI大模型API的使用和开发，以及相关的编程技能。
  • 内容：
    • L2.1 API接口
      - L2.1.1 OpenAI API接口
      - L2.1.2 Python接口接入
      - L2.1.3 BOT工具类框架
      - L2.1.4 代码示例
    • L2.2 Prompt框架
      - L2.2.1 什么是Prompt
      - L2.2.2 Prompt框架应用现状
      - L2.2.3 基于GPTAS的Prompt框架
      - L2.2.4 Prompt框架与Thought
      - L2.2.5 Prompt框架与提示词
    • L2.3 流水线工程
      - L2.3.1 流水线工程的概念
      - L2.3.2 流水线工程的优点
      - L2.3.3 流水线工程的应用
    • L2.4 总结与展望

阶段3：AI大模型应用架构实践

  • 目标：深入理解AI大模型的应用架构，并能够进行私有化部署。
  • 内容：
    • L3.1 Agent模型框架
      - L3.1.1 Agent模型框架的设计理念
      - L3.1.2 Agent模型框架的核心组件
      - L3.1.3 Agent模型框架的实现细节
    • L3.2 MetaGPT
      - L3.2.1 MetaGPT的基本概念
      - L3.2.2 MetaGPT的工作原理
      - L3.2.3 MetaGPT的应用场景
    • L3.3 ChatGLM
      - L3.3.1 ChatGLM的特点
      - L3.3.2 ChatGLM的开发环境
      - L3.3.3 ChatGLM的使用示例
    • L3.4 LLAMA
      - L3.4.1 LLAMA的特点
      - L3.4.2 LLAMA的开发环境
      - L3.4.3 LLAMA的使用示例
    • L3.5 其他大模型介绍

阶段4：AI大模型私有化部署

  • 目标：掌握多种AI大模型的私有化部署，包括多模态和特定领域模型。
  • 内容：
    • L4.1 模型私有化部署概述
    • L4.2 模型私有化部署的关键技术
    • L4.3 模型私有化部署的实施步骤
    • L4.4 模型私有化部署的应用场景

学习计划：

  • 阶段1：1-2个月，建立AI大模型的基础知识体系。
  • 阶段2：2-3个月，专注于API应用开发能力的提升。
  • 阶段3：3-4个月，深入实践AI大模型的应用架构和私有化部署。
  • 阶段4：4-5个月，专注于高级模型的应用和部署。
这份完整版的大模型 LLM 学习资料已经上传优快云，朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】

😝有需要的小伙伴，可以Vx扫描下方二维码免费领取🆓

在这里插入图片描述

Transformer大模型实战 DistilBERT 模型——BERT模型的知识蒸馏版本
AI天才研究院
07-03 1087
在自然语言处理（NLP）领域，预训练模型如BERT、GPT等展示了强大的文本理解和生成能力，但在实际部署时面临着巨大的计算和存储成本。尤其对于需要在资源受限设备上运行的应用场景，如何在保持高性能的同时降低模型大小成为了一个关键问题。BERT（Bidirectional Encoder Representations from Transformers）是一个多层双向Transformer模型，它能够学习到上下文相关的词语表示，并且在多个下游任务上取得了卓越的效果。Teacher-Student架构。
知识蒸馏:压缩大模型提升部署效率
AI天才研究院
04-03 941
随着深度学习技术的不断发展,越来越复杂和强大的神经网络模型不断涌现,如GPT-3、DALL-E等大规模预训练模型。这些模型往往包含数十亿甚至上百亿个参数,模型体积巨大,给部署和推理带来了巨大的挑战。如何在保持模型性能的前提下,大幅压缩模型体积,提高部署效率,成为了业界关注的热点问题。知识蒸馏技术就是解决这一问题的重要手段之一。通过将大模型的知识转移到一个更小、更高效的模型中,可以在保持甚至提升性能的同时,大幅减小模型的体积和推理时间。
浅谈大模型“蒸馏”技术
kcarly的专栏
02-01 6855
大模型蒸馏技术是人工智能领域的一项重要创新，它通过知识迁移实现了大模型能力向小模型的有效传递。尽管目前仍存在一些挑战，但随着研究的深入和技术的进步，蒸馏技术将在更广泛的领域发挥重要作用。未来，结合自适应、联邦和集成等策略，蒸馏技术有望进一步优化性能和效率，推动AI技术的普及和应用。利用蒸馏技术：通过教师-学生模型架构、分层蒸馏方法以及动态调整策略来优化模型性能与资源消耗。算法优化与硬件加速：研究高效算法并利用专用硬件加速AI推理过程。能量平衡与工艺优化：在工业应用中通过能量平衡计算优化蒸馏过程。
Deepseek为什么选择蒸馏模型？一文彻底搞懂大模型蒸馏技术
2401_85325557的博客
03-29 790
我们看到，DeepSeek 提供了 7B、8B、14B、32B 等多个中小参数量模型，类似地，Qwen（1.5B、3B、7B、14B、32B）和 Llama（7B、13B、34B）也发布了多个中小参数量模型。然而，它们的生成方式有所不同：DeepSeek 是先训练一个超大参数模型，然后通过蒸馏的方式提供小参数量模型；而其他模型则是通过优化训练过程和模型架构来实现。 那么，这两种方式有什么差异？ DeepSeek 为什么选择蒸馏模型？
大模型 - 知识蒸馏原理解析
weixin_47552266的博客
07-07 3927
知识蒸馏通过教师模型提供的软标签引导学生模型，使得学生模型不仅关注硬标签的分类准确性，还能从软标签中学习更丰富的类别间关系，从而在模型压缩的同时尽量保留性能。这种方法特别适用于在资源受限的环境中部署高效的深度学习模型。
简单带你了解大模型时代的知识蒸馏方法
Andrew_Chenwq的博客
11-11 3341
知识蒸馏作为一种高效的模型压缩和知识转移技术，能够在保持模型性能的前提下，大幅降低计算成本和资源需求。无论是在边缘计算、移动设备，还是在大规模机器学习任务中，知识蒸馏都将发挥越来越重要的作用。通过不断的研究与实践，知识蒸馏有望为AI的发展带来更多的创新与突破。
万字长文详解大模型知识蒸馏指南
2401_85325726的博客
02-05 3775
模型蒸馏即知识蒸馏（Knowledge Distillation），是一种模型压缩和加速技术。在深度学习中，大型深度神经网络虽性能优异，但因计算复杂度高、存储需求大，难以部署在资源受限设备上。模型蒸馏通过构建师生架构，让小的学生模型学习大的教师模型的知识，使学生模型在保持较小规模的同时，尽可能接近教师模型的性能。其核心组件包括知识（如教师模型的 logits、中间层特征等）、蒸馏算法（用于指导知识转移）和师生架构（决定知识传递方式）。
大模型接触（一）——模型蒸馏
达分柒的博客
03-05 7071
模型蒸馏的原理、训练方法、算法、应用场景概述
大模型知识蒸馏技术（3）——教师模型与学生模型
谷哥的小弟
02-08 2360
知识蒸馏技术是一种模型压缩方法，其核心在于将教师模型的知识迁移到学生模型中。教师模型通常是大型、复杂的高性能模型，能够学习到丰富的特征表示和复杂的模式，但计算成本高，难以在资源受限的环境中部署。学生模型则是一个小型、轻量级的模型，设计目标是在有限的计算资源和存储空间下实现高效的推理。知识蒸馏的目标是通过教师模型的指导，让学生模型学习到教师模型的输出（如软目标）和特征表示，从而在减少参数量的同时，尽可能继承教师模型的性能。
大模型知识蒸馏技术（8）——知识蒸馏应用场景
谷哥的小弟
03-01 3373
知识蒸馏技术显著提高了模型的推理效率。学生模型由于结构更简单、参数更少，在推理时所需的计算资源和时间也更少。例如，在图像分类任务中，经过知识蒸馏优化后的学生模型，其推理速度比教师模型提高了5倍以上。这使得模型能够在更短的时间内完成任务，提高了系统的整体效率。在实际应用中，这种效率提升尤为重要。例如，在自动驾驶场景中，模型需要在极短的时间内对路况进行准确判断，知识蒸馏后的轻量化模型能够快速处理传感器数据，为自动驾驶决策提供支持。此外，在实时推荐系统中，知识蒸馏优化后的模型能够更快地生成推荐结果，提升用户体验。
大模型知识蒸馏技术（5）——在线蒸馏
谷哥的小弟
02-21 2674
在线蒸馏是一种知识蒸馏方式，其核心特点是教师模型和学生模型的参数在训练过程中同时更新，整个蒸馏框架是端到端训练的。这种方式允许教师模型和学生模型相互影响、共同学习，能够更高效地实现知识迁移，动态适应数据变化和任务需求。
大模型知识蒸馏技术（9）——主流深度学习库的蒸馏实现方案
谷哥的小弟
03-03 1668
Transformers 库通过集成多模态模型（如 CLIP、Vision Transformer 等），支持多模态任务的蒸馏。例如，在视觉问答任务中，教师模型可以是一个复杂的多模态模型，学生模型则是一个轻量级的多模态模型。通过 Distiller 类，教师模型的知识可以有效地迁移到学生模型中，使得学生模型在保持较高性能的同时，显著降低了计算复杂度。
大模型（LLM）中的模型压缩与知识转移技术——知识蒸馏（工作机制、关键要素、应用领域、优势....）
m0_56255097的博客
10-10 1646
AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等，资料免费分享！
【大模型】知识蒸馏（knowledge distillation）算法详解
酒酿小圆子呀～
03-12 1534
虽然基于特征的知识转移为学生模型的学习提供了更多信息，但由于学生模型和教师模型的结构不一定相同，如何从教师模型中选择哪一层特征激活（提示层），从学生模型中选择哪一层（引导层）模仿教师模型的特征激活，是一个需要探究的问题。作者提出了一种称为知识蒸馏的策略，它学习的是教师模型(结构较为复杂的模型)的输出分布(logits)，这种分布信息比原始的(0-1)label具有更加丰富的信息，能够让学生模型(架构较为简单的模型)取得更好的效果。上面一种方法学习目标非常直接，学生模型直接学习教师模型的最后预测结果。
大模型的知识蒸馏:从大模型中提取知识
AI天才研究院
05-05 577
1. 背景介绍 近年来，随着深度学习技术的飞速发展，大规模预训练语言模型（Large Language Models，LLMs）如BERT、GPT-3等在自然语言处理领域取得了显著的成果。这些模型拥有庞大的参数量和复杂的结构，能够从海量数据中学习到丰富的知识和语言规律，并在各种NLP任务中展现出优异的性能。然而，大模型也存在一些问题，例如：
史上最全模型蒸馏全解：一步一步带你走向模型蒸馏全流程
2302_80236633的博客
02-25 6012
模型蒸馏简单来说，就是将一个大模型（比如BERT）的权重，通过一定规则，压缩到小模型（比如RoBERTa）的权重中。 蒸馏其实特别形象，就像把一杯饱和盐水蒸馏成纯净水一样，质量减少了效果却没有多大变化。在大模型（LLM）领域，模型的发展趋势是参数量不断增大。因为模型的性能和模型的规模是正相关的。 从2017年到2024年，LLM的参数数量经历了指数级增长： 2017年，Transformer模型的参数量为0.05亿。 2018年，GPT模型的参数量为0.11亿，BERT模型为0.34亿。 2020年，GPT
大语言模型的知识蒸馏技术
AI天才研究院
03-07 419
1. 背景介绍 1.1 语言模型的崛起 近年来，随着深度学习技术的快速发展，自然语言处理（NLP）领域取得了显著的进展。特别是在语言模型方面，诸如BERT、GPT-3等大型预训练模型的出现，极大地推动了NLP任务的性能提升。然而，这些大型模型通常具有数十亿甚至数百亿的参数，导致计算和存储需求巨大，限制
大模型蒸馏（Model Distillation）
最新发布
Rhett_Butler0922的博客
04-14 541
其核心思想是通过让小型学生模型模仿大型教师模型的输出行为，学习到教师模型的知识，从而在资源受限的场景（如移动设备、边缘设备）中实现高效推理。蒸馏的核心在于让学生模型学习教师模型的“软目标”（soft targets），即输出概率分布，而不仅仅是硬标签（hard labels，如0或1）。软目标包含了教师模型对类别间关系的理解（如“猫”和“狗”之间的相似性），这比硬标签提供了更多的信息。是学生模型的标准softmax输出。是权重超参数，用于平衡两种损失。时退化为标准softmax）。假设教师模型的输出为。
如何在 SCSS 使用 JavaScript 变量/scss全局变量
05-17
在 SCSS 中使用 JavaScript 变量有多种方法，下面介绍其中两种常用的方法： 1. 使用 `:export` 导出 JavaScript 变量作为 SCSS 变量 在 JavaScript 文件中定义变量并使用 `:export` 导出，如： ``` // variables.js 文件 export const primaryColor = '#007bff'; ``` 在 SCSS 文件中引入 JavaScript 变量，并使用 `:import` 引入，如： ``` // style.scss 文件 :import "variables" as variables; body { background-color: variables.primaryColor; } ``` 注意：这种方法需要使用支持 ES6 模块的浏览器或打包工具。 2. 使用 `sass-extract-loader` 将 JavaScript 变量作为全局变量 安装 `sass-extract-loader`，并在 webpack 配置文件中使用，如： ``` // webpack.config.js 文件 module.exports = { // ... module: { rules: [ { test: /\.scss$/, use: [ { loader: 'sass-extract-loader', options: { plugins: ['sass-extract-js'], }, }, // ... ], }, // ... ], }, }; ``` 在 JavaScript 文件中定义变量，并使用 `sass-extract-loader` 导出，如： ``` // variables.js 文件 module.exports = { primaryColor: '#007bff', }; ``` 在 SCSS 文件中使用导出的全局变量，如： ``` // style.scss 文件 $primary-color: var(--primary-color); body { background-color: $primary-color; } ``` 注意：这种方法需要使用 webpack 打包工具。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值