大模型分布式训练的第四种境界

【分布式】大模型分布式训练入门与实践 - 04 数据并行DDP\模型并行\Pipeline并行 可以看到,G-pipe将1个mini-batch切分成多个micro-batch(上图是8),前向时每个micro-batch从device1流向device4,DDP就是这么做的。 阅读详情

主要内容包括:

\1. 历史背景

\2. 分布式训练挑战

\3. 分布式训练技术体系

\4. 未来挑战

\5. Q&A

01 历史背景

图片

自 2019 年以来,大语言模型发展迅猛,不断有新的研究成果涌现,包括各类预训练模型及其应用,如 LLM Infra 等相关技术工作,这些成果令人振奋。然而,对于从事相关基础设施建设的人员来说,这样的发展趋势也带来了诸多挑战。

图片

人们将当前大语言模型领域的机遇与淘金热时期相类比,众所周知其中蕴藏着巨大的价值,但如何有效发掘则是一个问题。在过去淘金需要铲子,而现在在大语言模型时代,则需要更高级别的工具——挖掘机。这一比喻实际上揭示了对基础设施建设提出的更高要求。这意味着不仅要有掌握操作挖掘机技术的专业人才,即具备处理和利用大语言模型技能的专业人员,同时还需要配套完善的基础设施,例如,确保挖掘机能够从一个地方转移到另一个地方的运输链路,以及足够的燃料储备。将当前大模型所需的计算能力建设比作淘金热时期所需工具的升级是非常生动贴切的。

02 分布式训练所面临的挑战

1. 大语言模型对算力的巨大需求

第一个关键挑战在于大语言模型对算力的巨大需求。尽管业界普遍认为大模型需要庞大的算力支持,但具体需求量级往往没有被清晰理解。这里提供一个简单的估算公式:模型所需算力大致等于模型参数数量乘以训练时使用的 token 数量的六倍。

图片

例如,GPT-3 拥有约 1750 亿个参数,在通用预训练阶段使用了 3000 亿个 token,通过计算可知其所需的算力达到了 10 的 23 次方的量级。同样地,我们可以用这个公式估算其他大型模型如 LLM-65B 以及谷歌的相关模型所需要的算力,这些模型所需的算力甚至能达到 10 的 24 次方级别,这是一个极为巨大的数字。达到这样的算力规模后,我们可能会观察到大模型的涌现能力,虽然这一概念仍存在一定的争议。

当模型算力提升至这种水平时,通常会显著提高模型的各项指标性能。对于如此庞大的算力要求,可以直观地联想到其高昂的成本。参考北京资源大会上获取的信息,以LLM-65B 模型为例,单次有效训练或者说找到一个较为优秀的模型可能需要花费四千万到五千万人民币以上。这足以说明大语言模型对算力的需求之大,即使当前算力成本相对降低,但仍处于高位。

图片

2. 大模型规模与显存之间的冲突

第二个挑战是大模型规模与显存之间的冲突问题。目前硬件设备尚未完全突破工业制造上的限制,导致在现有统计数据显示下,即便算力不断提升,但受限于显存容量,我们仍然难以充分利用这些算力资源进行高效的大模型训练。在引用的相关数据中,大约每 3.9 个月模型的大小就会翻一番,这对应着显存消耗的巨大需求。

图片

当前,一个规模达到 5400 亿参数的大模型可能需要接近 2T的显存,其成本极其高昂。同时,尽管单设备算力经常有所提升,但整体算力需求增长速度更快,在过去 18 个月内,算力需求甚至增加了约十倍,从 10 的 23 次方到 10 的 24 次方量级。

图片

然而,GPU 和 TPU 等计算设备的算力发展远低于这一需求增速,随着时间推移,供需差距将进一步扩大。对于技术人员而言,单卡算力难以满足如此大规模的训练需求。以目前最大的算力需求为参照,假设使用单卡 A100 峰值算力 312tFLOPs,若要充分利用所有算力,理论上需要约 254 年才能完成训练。

3. 构建分布式系统

构建分布式系统可以显著缩短这一时间,例如拥有 2048 个 GPU 时,根据计算效率(r)的不同,训练所需时间可降至若干天。

图片

上图右侧表格显示了模型参数规模与单设备硬件利用率之间的关系。通常,模型参数规模越大,硬件利用率越高,因为需要进行更多计算,从而促使利用率得到提升。但在 3000 亿参数规模下,整体利用率仅约为 53%,像 Meta Lab 的 LLM-65B 模型估计利用率可能在 42% 左右。

图片

面对这些挑战,我们需要关注模型在整个集群中的定位、计算流程及其复杂性。深度学习过程主要包括前向传播、反向传播和优化器计算,在大规模集群环境下,网络拓扑结构、硬件间的通信带宽以及不同层级的访问速度都成为设计的关键考量因素。此外,如何优化 CPU 与 GPU 协同工作,提高数据读取预处理和 off-load 任务的效率,以及解决多层交换机下的节点间通讯复杂性,都是分布式大规模训练的重大技术难题。

03 分布式训练技术体系

接下来介绍分布式训练的技术体系,这里分享的内容主要基于公开文献和团队过往的学习积累。

1. 分布式机器学习的基本概念

图片

分布式机器学习的发展历史并不长,只有十来年的时间,但早期的一些关键点如AlexNet 对现今研究仍具有重要启示意义。

实际上,从计算机视觉(CV)的角度看,深度学习首次被引入并取得突破是在 ImageNet 图像识别挑战赛中,显著提升了图像识别性能。在这个领域和方向上,更值得关注的是早期使用两张 GPU 显卡来处理计算密集型任务,这在当时是开创性的尝试。同时,在工业界,百度凤巢系统先前就已开始采用大规模深度神经网络(DNN)进行相关工作。

随着深度学习框架如 TensorFlow 的流行以及分布式训练框架的发展,解决大模型问题的方法也在不断演变。初期可能主要聚焦于稀疏场景下的分布式训练优化,之后百度美颜项目将高性能计算(HPC)中的 All-Reduce 技术引入分布式机器学习,用于加速数据并行处理。再后来,诸如 Word2Vec、DDP 等经典操作的出现推动了这一领域的进步。

到了 2018 年,谷歌提出了将计算图与数据处理平台(如 Spark)中的数据流图概念相结合,通过合理分配资源到各个设备上实现大规模模型训练任务的拆分。Transformer 等高效且易于并行化的模型结构的提出,进一步推动了监督学习算法在自然语言处理(NLP)等领域内的显著提升,同时分布式训练技术也同步快速发展。

在此过程中,英伟达等公司提出了 MegaPipe 等相关工作以实现大规模流水线式训练,并关注张量并行等方面的研究,这些技术近年来愈发成熟并逐步从科研走向实际应用。

2. 数据并行

图片

接下来的重点为数据并行层面,比如微软推出的 DeepSpeed 框架,其核心技术旨在解决大规模分布式训练时的显存占用问题。研究人员发现,显存瓶颈主要包括两大部分:一是参数服务器存储的模型参数、梯度及优化器状态;二是零冗余优化(Zero Redundancy Optimization, ZeRO)相关的显存占用,包括激活函数计算过程中的临时显存分配。

由于 GPU 或 CPU 在进行数据处理和显存分片时必须按照一定的规则快速分配,这就导致了大量临时存储碎片的产生。DeepSpeed 通过科学分析,以及针对性地优化这两部分显存占用,有效提升了计算效率。

在 Zero-DP(数据并行零冗余优化)方面,它将显存优化划分为三个阶段。首先,在 Stage 1 中,研究发现优化器状态无需每个计算节点都存储完整的备份,而是仅需保存属于自身部分的 n 分之一。例如,在拥有 8 张 GPU 卡的情况下,每个设备仅需存储其对应的 0 到 1/8 的数据部分,以此类推。通过这种策略,在前向和反向传播计算过程中,只需在通信同步时进行特定操作,即使只保存 n 分之一的备份,也能确保逻辑上的数据并行正确性。

其次,在 Stage 2 中,梯度同样可以仅保留 n 分之一,计算过程中实时与其他节点交换不属于自身保存范围内的梯度部分,采用类似 All-Reduce 或 Ring-Reduce 的方式来完成梯度聚合。

进一步深入,在 Stage 3 中,模型参数也可以沿用同样的思路,即在前向传播时临时获取所需的部分,以通信时间换取显存空间。

DeepSpeed 框架中的 Zero-DP 实现展现了这一系列思想,尽管实现复杂度较高,但已成为深度学习社区中的一项重要技术突破,并广泛应用于大规模模型训练,如语言模型等场景。其中,Recompute 策略是解决激活函数显存占用问题的关键手段,即在反向传播时重新计算必要的激活值,而非一直保存它们,从而提高显存利用率。此外,随着对 optimizer、梯度和参数切分方法的深入探讨,业界开始考虑是否能将这些数据从 GPU 显存迁移到内存甚至硬盘中存储,这是一种更为激进的方法,旨在进一步释放 GPU 显存资源,优化大规模模型训练过程。然而,这种方法会带来额外的时间成本,目前行业普遍认为前向计算与反向计算的时间比例约为 1:2,因此完全重复前向计算可能会导致大约 20% 至 30% 的时间开销增加。

在资源有限的情况下,可以通过 off-load 技术将计算图的部分放到内存或硬盘中,以减少损耗并支持更大规模的模型训练。这一方法虽然会增加训练时间(例如,从百毫秒到数秒,增幅至少十倍以上),但对于拥有较充裕时间但硬件资源有限的研究者来说,可以尝试采用这种技术来训练模型。

3. 流水线并行

另一个关键领域是流水线并行(pipeline parallelism),这一概念近年来在分布式训练的研究中得到了广泛应用。实际上,在 CPU 操作系统的任务调度层面,流水线并行是一个经典的工作原理,而这里主要聚焦于其在分布式训练中的应用。

流水线并行可以大致划分为两个部分:同步流水线和异步流水线。同步流水线的核心思想是保持与单机训练行为一致,无论最终并行度如何设置,即每个计算阶段的行为都如同在一单一设备上进行训练时那样,包括前向传播、反向传播及通信等操作。

图片

这是一个基本的同步流水线概念,通过将计算图划分成多个 stage,比如这张图展示了四个 stage,并将每个 stage 分配给不同的设备执行,例如 device3 负责某个 stage。

按照从输入到输出的顺序,首先在 device0 上完成计算,然后将产生的激活值(activation)传递给下一个计算节点,以此类推,每个节点在收到前一个节点的激活值后进行相应的计算,并生成新的激活值继续向下传递。在反向传播过程中同样遵循这一逻辑,梯度信息会沿着相反的方向流动。

然而,当我们将这样的流程以图形方式展示给上级或老板时,他们可能会对资源利用效率表示不满,因为在这种同步流水线模式下,所有设备只有在接收到前一阶段的数据之后才能开始工作,而在等待数据传输的过程中,部分设备可能处于空闲状态,无法实现充分利用。

通过将计算图划分为多个 stage,并分配到不同的设备上执行,每完成一个 stage 后就将激活值传递给下一个 stage 进行计算。当设备等待接收上一阶段计算结果(activation 或 gradients)时,会出现空转,这意味着即使拥有大量资源的集群,其实际并行工作比例可能只有四分之一或八分之一,降低了整体利用率,这显然是不可接受的。

为了解决这一问题,谷歌早期的一项研究提出了一种名为“pipeline”的优化思路。该思路通过将每次计算任务切分成更小的部分,并确保计算完成后能迅速传递给下一个设备进行处理,同时当前设备又能立即开始处理来自上一个设备的新任务。

具体而言,这种方法是将 mini-batch 样本进一步细分为 micro-batch 维度,例如原本可能是 64 个 patch,现在可以按 16 个 patch 细分,即每个样本的 micro-batch 数量变为 16。这样操作后,在某些维度上,设备的利用率会有所提高,尽管仍然存在空洞时间(idle time),但在很多情况下,这种时间会被显著缩短。

图片

在讨论分布式训练中的显存管理问题时,阿里巴巴经过一系列科学研究提出了一项名为"1F1B"的工作。尽管随着模型并行度(micro-batch 数)的增加,中间临时保存的副本数量也会增多,导致 GPU 显存峰值持续增长,但这项工作指出通过科学可控的调度策略可以改善这一情况。具体来说,采用“来一个前向计算一个后向”的方式,使得整体显存占用量与设备数量和单个 micro-batch 所占用的激活值大小相关,而非 micro-batch 的数量。这样一来,即使增大 micro-batch 大小,也不会增加显存峰值。

图片

此外,英伟达提出了改进型的工作,在"1F1B"的基础上提出了精细化切分 stage 的方法。不同于先前按连续几层划分 stage 的做法,新的思路是采用 Round Robin 的方式更为细致地分配任务,例如将 8 层网络分为两部分,第一部分从 L1 到 L5,并且在完成一层计算后立即推进至下一设备进行后续计算,从而提高了设备利用率,这种技术被称作交错式(1F1B)流水线方法。

图片

图片

国防科技大学的一项研究则结合了 recompute 技术,发现在流水线并行中的最后一个 stage 无需保存激活值,可以直接进行反向传播计算,通过提前调度相关节点可缩短关键路径,有效提高训练效率。尽管这项工作可能具有一定的局限性,但其带来的性能提升显著,值得深入研究。

图片

在同步训练方面,还有更为激进的方法,例如某位华裔学生的研究,尝试解决一个与传统思路不同的问题,即在考虑时序图时,并不局限于从零到一或从一到零的单向顺序执行。例如,在处理 micro-batch 时,同时利用两个方向进行数据传输和计算,就像在一个双向通道上操作一样。具体来说,设想在设备间构建一个双向通信链路,以 micro-batch 为例子,可以实现数据既从 device 这一端流入流出,也能从另一个方向传递。这样,在对时序进行合理安排、优化 stage 编排时,比如将原本的阶段细分为四个部分,就能够进一步提升整个系统的利用率,包括压缩 pipeline 空间占用的时间,从而实现更高效地运行。

图片

关于流水线并行中的异步变形部分,这里不作详细展开。早期在处理 P 问题时,我们同样面临抉择:是在所有节点的梯度都准备好之后进行一轮整体参数更新(同步),还是只要有部分节点完成就立刻更新参数(异步)。此外,还有诸如 ASP、BSP 和 SSP 等不同版本的同步/异步策略。

在流水线变形中,有一种工作模式是当数据到达后立即执行反向计算,这就要求保存多个副本以应对版本差异问题,确保在异步计算场景下,即使显存使用增多,也能保证充分利用设备算力,并尽量减少显存开销。理论上,这种逻辑能够充分利用所有资源,但在实际应用中,由于中间计算过程存在的参数版本差异,可能导致与单卡训练效果存在一定的差距。

图片

Tensor 运算优化的一项经典工作——m in,强调在处理大规模矩阵计算时(例如数千万个值的矩阵),为了充分挖掘计算能力,可以将矩阵切分并在不同的设备上并行计算。虽然文章没有明确提到这一点,但实际在 m 的实现中,会对 embedding 部分也进行相应的切分处理,以便于后续的 MLP(多层感知机)和 Attention 机制等大矩阵乘法操作。通过合理地在不同设备上分配 tensor 并适时引入通信逻辑,在恰当的时间点进行通讯与结果复用,从而实现对 tensor 变形问题的有效解决。

实际上,在实际工作中,很多人并未充分关注到如何更合理地在不同设备上分配和切分矩阵以优化计算的问题。这里分享一项研究工作,其目标是通过一个创新的通信策略来解决这一问题。该策略主张从二维维度对矩阵进行切分,并基于此对样本进行区分处理。

图片

具体来说,研究者提出了一种类似于 GR=2 的方法,将矩阵在两维空间内划分,并且对权重采用二乘二的方式进行切分,每次仅传输四分之一的数据,在所有切片都完成计算后进行一次整合通信。尽管这个基本概念看似直观且合理,但在实践中,需要在较早阶段就实现同步通信以确保各个设备能拿到相应结果。

图片

以一个假设为例,若在一个设备上将任务划分为八层,那么是否可以在不进行额外通信的情况下,在这八层内部连续进行计算呢?研究指出这是可能的。设想这样一个场景:当完成某一层计算后,当前设备只持有数据的一部分(即一半),然后继续处理下一部分数据,直到最后与其它显卡进行通信时才增加通信逻辑。这样一来,原本输入数据就形成一个斜角,只需要通过对权重进行转置操作,理论上便能在单个设备上连续进行计算,直至必须与其它设备通讯为止。这种技术训练方法旨在通过精细化的任务切分与通信策略优化,提高分布式计算环境下的资源利用率和效率。

04 未来挑战

最后分享我们在实际工作中关注到的几个关键点。

首先,面对当前工业界中复杂且难以通过单一程序、语言或图像清晰表达的问题,我们意识到需要开发一种高度直观且功能丰富的工具。类似于腾讯报道中所展示的那种可视化工具,在深度学习框架推出后起到了重要作用。在现阶段,我们也急需开发出训练过程可视化以及优化调度等方面的辅助工具,这将极大助力于我们的科研团队和同行们的工作进展。

第二点是关于自动变形这一领域的研究,尤其是智能并行相关的技术。值得注意的是,现有的学术研究成果往往更多关注于图(graph)结构本身或设备层面,而忽视了如何处理大量动态信息等实际问题。在前文中提到为了确保算力的有效利用,我们需要考虑如何动态地调整喂给模型的样本数量以及 max-size 等参数,并且要充分应对计算设备内部的异构性问题,包括但不限于计算设备本身的异构性和网卡的异构性。这些因素都可能带来诸多挑战。

此外,在模型结构演进方面,从 Transformer 到当前一些新型模型结构,我们观察到存在变革的需求,例如出现了 WW-KV 这类新型结构。过去的分布式框架主要针对 Transformer 结构进行优化,但在面对其它类型的模型或硬件切换时,原有的策略可能无法有效解决所有问题,甚至于模型结构本身也可能需要适应性改变。

对于 Transformer 结构优化是否转向其它结构方向的问题,确实已有相关研究,但我们所做的工作还远远不够。目前了解到的一些研究不仅局限于优化 Transformer 结构本身,还在探索结合其它结构的可能性,比如参考 CN 等早期和最新的研究成果。

05 Q&A

Q1: 针对于 transformer 结构的优化,有没有想往其它结构的方向优化?

A1: 有一个双向工作的概念,这是一个非常有趣的工作思路,尤其在处理大规模数据和不同设备场景时,其关注点和选型考量都有所区别。例如,当模型规模达到千亿级别时,可能需要采用更细致、更具针对性的方法来优化资源使用和计算流程。由于政策原因,GPU 相关的问题在此不便详细回答,请大家谅解。

Q2: 在较小规模的场景下,如何高效利用显存和计算时间?

A2: 可能会通过一些微调策略来平衡二者,但这通常会导致一定程度上的显存额外损耗。不存在既能最大化利用资源又不违背基本物理限制的方法。例如,我们可以运用像recompute 这样的经典优化技术,在某些层面上进行更细致的优化,虽然这会增加一定的计算耗时(如 10% 以内),但其适用范围有限,往往仅适用于特定的产品或场景。

Q3: 关于 Machin 与 DeepSpeed 这两套框架哪个使用更为广泛的问题。

A3: Machin 主要专注于 3D 并行,尚未实现 z20 和 z23 那样的特性;而 DeepSpeed则主要采用 zero+off-load 的技术。从我的角度来看,这两者的定位并不特别清晰。举例来说,DeepSpeed 自身并未强调独特的并行机制,可能借鉴或复用了 Machin 等其他技术的一些工作成果。至于哪个框架使用得更多,则需要根据具体应用场景来判断,我个人认为它们各有其适用范围和优缺点。

在大模型训练过程中,我们可以将其大致分为预训练(pre-tuning)和微调(alignment)两个阶段。对于预训练阶段,当模型参数规模庞大,计算设备上载入和训练复杂度较高时,往往会选择使用像 Machin-Deps Pet 等工具进行优化,同时科大讯飞以及其他类似平台如 GPT-3 也采用类似的解决方案来应对这一挑战。

而在微调或具体应用任务中,比如运用 70 亿参数级别的模型进行指令生成任务时,DeepSpeed 可能更为常用。原因在于 DeepSpeed 目前集成了多种高效技术,例如 Hugging Face 的集成模块 night,以及国内一些类似于 Hugging Face 的平台功能,并且其对模型和平台的集成程度相当高。

然而,从代码质量和架构角度来看,Machin-Deps Pet 与 DeepSpeed 之间存在相互交叉和借鉴的现象,可以说是你中有我、我中有你,这并非贬低它们的意思,而是反映了这两种工具在发展过程中由于需求和技术迭代所形成的必然联系。

Q4: 自动并行策略的搜索如何进行?

A4: 这是一个颇具挑战性的问题。在自动并行领域中,搜索有效的并行方案虽是难题之一,但相较于模型结构搜索(如 NAS)而言,其难度尚不至那么突出。我认为关键在于如何合理地表示和处理 IR(中间表示),比如 DPT-PPP 这样的并行模式,以及如何描述硬件设备状态与动态信息,例如根据计算资源利用率、同步样本数量等动态调整参数。

随着计算任务需求的增长,尤其是当面临越来越多的计算资源时,资源复用和共享成为必然趋势,这会带来一系列新的问题。对于高性能 AI 容器的相关思路,我目前并不清楚提问的具体含义。

关于 Zero Stage 3 和 Tensor Parallelism 的区别:Zero Stage 3 优化涉及到将optimizer 的状态分片,但它并非作用于操作符级别。举例来说,在一个包含两层网络结构的例子中,第一层为 w0 乘以 x0,第二层为 w1 乘以 y0。在 Stage 3 中,时间步长的切分不会深入到权重 w0 内部。而 Tensor Parallelism 则是针对大规模权重矩阵(如千万级或亿级别的 w)进行切分,并分配到不同的硬件上进行并行计算。

Q5:Softmax 运算与其他操作之间是否存在并行的可能性?

A5: 在 Tensor 变形时,M 模型的实现涉及到 Softmax 操作。在进行分布式计算时,Softmax 层会被划分为多个设备处理,这会引入两次通信过程。首先,需要通过 All-Reduce Max 通信来确保每个设备知道全局的最大指数值,以便后续对所有设备上的指数进行平均化处理,这样可以防止因大规模密集计算导致溢出问题。例如,如果有 1 亿个数值都在 1998 或 999 附近,直接相加 1000 次确实容易溢出,但通过减去最大值并求和后再平均,最终结果将是等价的。

第一个通信步骤就是传递这个最大指数值,第二个通信则是整合各个设备上完成的部分计算结果,以实现最终输出的一致性。这里需要注意的是,我们不是按照 Stage 维度或者 Line 维度切分,而是从参数维度出发,将模型参数分成 n 份,每个设备负责其中的 1/n 部分,并在该设备上进行完整的前向和反向计算。这种情况下,即使是在流水线并行中,每个设备仅处理整个模型的 n 分之一,但仍然能保证数据并行,即模型分布在不同设备上,每个设备独立处理不同的数据样本,而在最后阶段通过通信整合结果。

这样的设计具有很高的工程挑战性,尤其是在处理只有 R、只有 1 和只有 2 这类细粒度差异时。对于对此感兴趣的人,建议查看 Deep Speed 的相关实现代码,它提供了一个巧妙的数据并行解决方案。

如何学习大模型 AI ?

由于新岗位的生产效率,要优于被取代岗位的生产效率,所以实际上整个社会的生产效率是提升的。

但是具体到个人,只能说是:

“最先掌握AI的人,将会比较晚掌握AI的人有竞争优势”。

这句话,放在计算机、互联网、移动互联网的开局时期,都是一样的道理。

我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑,所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限,很多互联网行业朋友无法获得正确的资料得到学习提升,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述

第一阶段(10天):初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识,对大模型 AI 的理解超过 95% 的人,可以在相关讨论时发表高级、不跟风、又接地气的见解,别人只会和 AI 聊天,而你能调教 AI,并能用代码将大模型和业务衔接。

  • 大模型 AI 能干什么?
  • 大模型是怎样获得「智能」的?
  • 用好 AI 的核心心法
  • 大模型应用业务架构
  • 大模型应用技术架构
  • 代码示例:向 GPT-3.5 灌入新知识
  • 提示工程的意义和核心思想
  • Prompt 典型构成
  • 指令调优方法论
  • 思维链和思维树
  • Prompt 攻击和防范
  • …

第二阶段(30天):高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习,学会构造私有知识库,扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架,抓住最新的技术进展,适合 Python 和 JavaScript 程序员。

  • 为什么要做 RAG
  • 搭建一个简单的 ChatPDF
  • 检索的基础概念
  • 什么是向量表示(Embeddings)
  • 向量数据库与向量检索
  • 基于向量检索的 RAG
  • 搭建 RAG 系统的扩展知识
  • 混合检索与 RAG-Fusion 简介
  • 向量模型本地部署
  • …

第三阶段(30天):模型训练

恭喜你,如果学到这里,你基本可以找到一份大模型 AI相关的工作,自己也能训练 GPT 了!通过微调,训练自己的垂直大模型,能独立训练开源多模态大模型,掌握更多技术方案。

到此为止,大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗?

  • 为什么要做 RAG
  • 什么是模型
  • 什么是模型训练
  • 求解器 & 损失函数简介
  • 小实验2:手写一个简单的神经网络并训练它
  • 什么是训练/预训练/微调/轻量化微调
  • Transformer结构简介
  • 轻量化微调
  • 实验数据集的构建
  • …

第四阶段(20天):商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知,可以在云端和本地等多种环境下部署大模型,找到适合自己的项目/创业方向,做一名被 AI 武装的产品经理。

  • 硬件选型
  • 带你了解全球大模型
  • 使用国产大模型服务
  • 搭建 OpenAI 代理
  • 热身:基于阿里云 PAI 部署 Stable Diffusion
  • 在本地计算机运行大模型
  • 大模型的私有化部署
  • 基于 vLLM 部署大模型
  • 案例:如何优雅地在阿里云私有部署开源大模型
  • 部署一套开源 LLM 项目
  • 内容安全
  • 互联网信息服务算法备案
  • …

学习是一个过程,只要学习就会有挑战。天道酬勤,你越努力,就会成为越优秀的自己。

如果你能在15天内完成所有的任务,那你堪称天才。然而,如果你能完成 60-70% 的内容,你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传优快云,朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】
大模型训练和推理 大模型训练moe是指混合专家(Mixture-of-experts,简称MoE)的,这是一种用于提高大型神经网络性能的技术,它可以将模型的一部分替换为多个专家,每个专家只负责处理一部分输入数据,从而增加模型的参数量和表达能力,同时减少计算量和训练时间。指令可以作为模型的输入的一部分,也可以作为模型的输出的一部分,具体取决于任务的类型。上下文扩展技术的,这是一种用于提高大型语言模型(LLM)对长文本的处理能力的技术,它可以让模型在不增加参数量的情况下,扩展其注意力范围,从而提高模型的语言理解和生成能力。 阅读详情

相关推荐

AI大模型训练实战:分布式与微调指南

为什么分布式?:大模型体量动辄数百 GB 的参数,需要多份资源协同才能完成训练;为什么微调?:复用已有大模型知识基底,只需少量场景数据就能让模型精通某个领域,极大降低成本;如何操作?:通常选择框架(DeepSpeed、Megatron-LM 等),结合数据并行、模型并行或 ZeRO 等先进策略;未来趋势**更高阶“轻量化微调”**技术:常见例如LoRA,显著减少参数更新量;多模态分布式训练:当文字、图像、语音融合时,分布式结构将更加复杂,也需要更灵活的并行策略;大模型实时微调。

hjy1821的博客 1493

大模型分布式训练进阶之路:数据并行、管道并行、张量并行、3D并行

系统化的学习大模型,除了知道大模型是什么,也得知道大模型是如何训练的,对大模型的实际应用有更加定量的认知,该文章也算是一篇分布式训练的学习过程总结,作为循序渐进学习分布式训练的总结。类似之前写过的LLM文章,本文也建议读者先定性有个宏观认知,然后再细化到某个概念定量了解,遇到不太清楚的概念深度递归去学习。

python123456_的博客 2537

大模型训练与优化:分布式训练、高效推理与部署在医学影像中的应用

本文深入探讨AI大模型在医学影像领域的训练、优化与部署技术,聚焦分布式训练(数据并行、模型并行、混合精度训练)、高效推理(模型量化、剪枝、蒸馏)以及部署(ONNX、TensorRT、Docker)等核心技术。结合医学影像分类任务(如肺结节检测、乳腺癌诊断、脑肿瘤分类),本文从理论原理到代码实现,全面讲解如何在大规模医学影像数据集上训练和优化Vision Transformer (ViT)模型,并通过云计算平台实现高效部署。本文特别关注医学影像的挑战,提出优化策略,并展望大模型在临床诊断中的前景。

编程技术探索者,分享C/C++、C#、Java、数据库等开发经验,聚焦实战技巧与AI兴趣,助力编程爱好者成长。 1821

大模型分布式系统

大模型训练,是工程和算法的合力作用。对于工程分布式计算系统是绕不过去的核心中的核心。这篇文章和大家分享分布式时候内存消耗在哪、zero策略、流水线策略、动态策略

liangwqi的博客 2664

大模型训练推理:分布式并行训练

大模型训练推理:分布式并行训练

天涯雨的博客 1232

大模型知识点汇总——分布式训练

本篇在宏观上介绍AIGC、LLM 训练过程中的模型加速相关概念和技术,不做数学推导和过于细节介绍,旨在快速有一个宏观认知,不拘泥在细节上。涉及:混合精度训练、数据并行、张量并行、流水线并行、模型并行、3D并行、混合并行、ZeRO 1、ZeRO 2、ZeRO 3、ZeRO-offload、Megatron、DeepSpeed、PFlash Attention、nvlink、nvswitch、Infiniband。

TigerZ*的博客 1790

算力焦虑的终极大杀器 —— 分布式训练大模型(一)

前言随着大模型越来越庞大,LLaMA 2 (70B), Guanaco-65B, BLOOM-176B,这些模型的训练要求以远远超过单机可承受的范围。本篇我们介绍一种新技术 「petals」,不同于之前的联邦学习或是传统分布式训练,它能将模型拆分到更小的颗粒度,每个节点仅下载一小片神经网络并行计算,大大加速了训练和推理速度,再也不用羡慕 H100*8 了。另外近期自从遭遇联想售后修坏了3090的主...

深度觉醒 1267

【时间序列预测算法】——Holt-Winters算法介绍及代码实现

背景 一阶二阶三阶指数平滑方法拟合效果均较好,通过结合数据自然属性,数据自身、趋势变化、季节性,提出了这三个角度的衡量量,可以说,理解起来更自然、更亲切。 公式 一阶: sts_tst​是t时刻对xtx_txt​的估计值,这里只有一个参数α,是数据本身的平滑属性的体现。 二阶: 引入了时间趋势变量btb_tbt​,优化了一下一阶的公式。同时还可以预测t+m时刻的值: 三阶: 又引入了季节性周期描述变量ctc_tct​,优化了一下二阶的公式。同时还可以预测t+m时刻的值: NOTE:ct

BlackValley的博客 1万+

从分布式训练到大模型训练

要了解大模型训练难,我们得先看看从传统的分布式训练,到大模型的出现,需要大规模分布式训练的原因。接着第二点去了解下大规模训练的挑战。常见的训练方式是单机单卡,也就是一台服务器配置1块AI芯片,这是最简单的训练方式。随着数据量的增加,希望加快模型的训练速度,于是出现了单机多卡,多块AI芯片并行,以一台机器上配置8块AI芯片为例,把数据切分成8份,分别在8块AI芯片上都跑一次BP算法,计算出梯度,然后所有AI芯片上计算出的梯度进行平均,更新模型参数。

2401_85378759的博客 1657

Keil MDK打开别人工程总报错?手把手教你修复‘找不到main.o’和‘未定义’的路径问题

本文详细解析Keil MDK工程移植时常见的'找不到main.o'和'未定义'编译错误,提供从路径修复到宏定义配置的完整解决方案。通过系统化的检查清单和预防措施,帮助开发者快速解决MDK工程迁移问题,提升嵌入式开发效率。

weixin_28724661的博客 401

技术文档的语言表达:简洁、准确与易懂的平衡艺术

技术文档的语言表达不仅要简洁、准确,还需要能够打破技术壁垒,使不同背景的读者都能理解。这是一项需要技巧和经验的工作,它要求技术作者既要具备扎实的专业知识,又要具备清晰的表达能力。通过不断打磨语言的简洁性、准确性和易懂性,我们能够创造出一份高质量的技术文档,让知识的传递不再受限于语言的障碍。

人心有反复,好在山水有重逢。 4679

GPU集群上分布式训练大模型

总结一下如何在超算系统上进行预训练大模型的分布式训练 / 微调,文中代码已上传至。

jkjgj的博客 2248

C++常见面试题总结

C++常见面试题总结

xu_fu_yong的专栏 8万+

大模型基础理论学习笔记——分布式训练

本文主要介绍了深度学习分布式训练,从大模型训练的角度出发,讨论了深度神经网络分布式训练的缘起,常见的分布式训练策略,具体包括数据分布式、模型分布式和混合分布式,以及各种分布式策略的适用范围和使用方式。同时,我们还对基于Pytorch的数据分布式训练模式进行了探索,一方面,介绍了其具体原理,另一方面,也通过对代码的研读展现了具体实现过程,为后续实际开展分布式训练奠定基础。

maximejia的博客 7826

Python爬虫实战:利用Playwright与异步技术高效抓取链家十万级二手房数据

在开始编写代码之前,我们首先需要为项目选择合适的技术栈。1. 传统方案:Requests + BeautifulSoup优点: 简单、轻量、学习成本低。直接发送HTTP请求获取HTML,然后解析。缺点: 对于大量由JavaScript动态渲染的内容无能为力。现代网站(包括链家)大量使用JS来加载数据和实现交互,简单的HTTP请求无法获取到完整的页面内容。此外,容易被基于IP或请求头特征的反爬机制拦截。2. 进阶方案:Selenium优点。

2201_76125261的博客 891

PMSM控制系列文章进阶-8.电流、角度采样及其同步

摘要:本文分析了高低压电机在电流和角度采样中的不同方案选择。高压电机采用霍尔传感器和旋变进行隔离采样,低压电机则使用shunt电阻和磁编码器以降低成本。重点讨论了采样时间补偿问题:电流采样需与PWM周期同步,角度采样需考虑传感器延迟;通过park变换和反park变换时需补偿采样与发波的时间差,提出了通过测试母线电流或Ud变化来验证补偿时间准确性的方法。文中还介绍了对传感器信号进行软解码处理的方法,包括消除直流偏置、增益误差和正交误差等参数的自学习过程。

weixin_41343701的博客 614

大模型分布式训练框架——DeepSpeed

本文的主要内容是阐述Deep Speed训练模块在跟进大模型技术中的作用,重点解析了RHF在其中的应用。文中深入探讨了模型训练的关键概念,如显存需求、优化器迭代和混合精度训练。针对大规模模型训练,介绍了模型并行和流水线并行等分布式训练方法,并讨论了如何在资源有限的情况下使用16位精度进行训练。

Whitney66的博客 3146

【SpringBoot 4.x 第2节】夯爆了,学习 Spring Boot 4.x 前,需要具备哪些 Java 基础?

🏆 本文收录于 《滚雪球学 Spring Boot 4.x》 专栏。 本专栏面向 有一点 Java 基础,但没有系统学过 Spring Boot 的读者,采用“滚雪球式学习法”:先跑通、再理解、再重构、再上线,最终带你从第一个 Hello API 一路完成一个可部署、可监控、可扩展的后端项目。

**My Coding Family** 4575

大模型训练之分布式训练

本文主要讲解了大模型分布式训练并行技术的数据并行,并以Pytorch为主线讲解了DP、DDP、FSDP三种不同的数据并行方案。单进程多线程模式,由于锁的机制导致线程间同步存在瓶颈。使用普通的All-Reduce机制,所有的卡需要将梯度同步给0号节点,并由0号节点平均梯度后反向传播,再分发给所有其他节点,意味着0号节点负载很重。由于第二点的原因,导致0号GPU通讯成本是随着GPU数量的上升而线性上升的。不支持多机多卡。目前,由于性能问题,DP基本不用了。

SQingL的博客 1999

用一套可追溯的闭环,把设备变成可管理的资产:SAP S/4HANA Asset Management 模块详解

摘要:SAP S/4HANA的资产管理模块(EAM)通过标准化流程管理企业资产全生命周期,解决资产状态、需求和资源的不确定性。系统将资产抽象为技术对象,支持纠正性和预防性维护流程,通过维护工单实现可执行的工作包,并与物料管理、财务、生产计划等模块集成形成管理闭环。该模块可帮助降低非计划停机时间,通过数据驱动决策优化维护策略,提升资产可用率和运营效率。(149字)

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 261

lwip-2.0.3

lwip是瑞典计算机科学院(SICS)的Adam Dunkels 开发的一个小型开源的TCP/IP协议栈。实现的重点是在保持TCP协议主要功能的基础上减少对RAM 的占用。

大模型并行训练、超大模型分布式训练

一个用于训练大型语言模型的开源项目。提供了对大规模模型进行并行训练的能力,支持模型并行和数据并行,并提供了一系列的优化策略和工具,以提高训练效率和性能。:适合模型大,数据少,需要对模型做切分,将模型参数划分为多个部分,放到不同的GPU上进行独立计算,再做聚合。如模型有 10000 层,10块GPU,GPU0 装载模型的前1000层,以此类推,GPU9 装载模型的最后 1000 层。适合模型大,数据少,需要对模型做切分,将模型参数划分为多个部分,放到不同的GPU上进行独立计算,再做聚合。

Debroon 4687

IDEA的使用指南

IDEA基于java的使用手册,可以最快速的上手,在使用中不断的丰富自己的使用技巧.

大模型LLM之分布式训练

分布式训练(Distributed Training)是指将机器学习或深度学习模型训练任务分解成多个子任务,并在多个计算设备上并行地进行训练。图1给出了单个计算设备和多个计算设备的示例,这里计算设备可以是中央处理器(Central Processing Unit,CPU)、图形处理器(Graphics Processing Unit,GPU)、张量处理器(Tensor Processing Unit,TPU)也可以是神经网络处理器(Neural network Processing Unit,NPU)。

s44359487yad的博客 1185

温度PID控制PLC程序

温度PID稳定控制程序,适用于欧姆龙PLC,对其他PLC也具有很大参考价值

深度学习工具包 DeepLearningToolbox

深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain's apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012",}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath('DeepLearnToolbox'));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand('state',0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W'); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand('state',0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = 'sigm';%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.10, 'Too big error');```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand('state',0)sae = saesetup([784 100]);sae.ae{1}.activation_function = 'sigm';sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)')% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = 'sigm';nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.16, 'Too big error');```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x',28,28,60000))/255;test_x = double(reshape(test_x',28,28,10000))/255;train_y = double(train_y');test_y = double(test_y');%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you'll get around 1.2% errorrand('state',0)cnn.layers = { struct('type', 'i') %input layer struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %sub sampling layer struct('type', 'c', 'outputmaps', 12, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er<0.12, 'Too big error');```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand('state',0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.08, 'Too big error');%% ex2 neural net with L2 weight decayrand('state',0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex3 neural net with dropoutrand('state',0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex4 neural net with sigmoid activation functionrand('state',0)nn = nnsetup([784 100 10]);nn.activation_function = 'sigm'; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex5 plotting functionalityrand('state',0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = 'softmax'; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand('state',0)nn = nnsetup([784 20 10]); nn.output = 'softmax'; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');```[![Bitdeli Badge](https://d2weczhvl823v0.cloudfront.net/rasmusbergpalm/deeplearntoolbox/trend.png)](https://bitdeli.com/free "Bitdeli Badge")

【大模型训练】分布式训练Allreduce算法

如图所示,当一台服务器计算完成自己部分的参数数据,但是因为有时候服务器上全部的参数数据过大,于是我们想要把这台服务器上的数据切分成几个同等大小的数据块(buffer),再按照序列(rank index)向其他服务器发送其中的一个数据块,这就叫做散射(Scatter)。如图所示,当所有服务器都做广播或散射的时候,我们作为接收方的服务器收到各服务器发来的数据,我们将这些收到的数据进行某种规约的操作(常见如求和,求最大值)后再存入自己服务器内存中,那么这就叫规约(Reduce)如图所示,当一台服务器。

王尚权 qq:2515162716 1967
上一篇: 大模型训练算法和在网计算,这一篇就够了
下一篇: 手把手家教你进行ChatGPT私有化部署
爱喝白开水a
博客等级 码龄3年 6793粉丝 763原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值