LLM大语言模型(GPT)的分布式预训练与微调及部署

LLM大语言模型(GPT)的分布式预训练与微调及部署

实现方案:设计并实现了一个大规模语言模型(GPT)的分布式预训练,结合RAG(文档、MySQL)、Agent、LLM连网等技术在基座上微调,以提高模型在特定领域任务上的性能和效率。

技术栈:PyTorch, CUDA, NCCL, DistributedDataParallel  (DDP), torch分布式训练init_process_group , Transformer,GPT

项目细节

使用NCCL作为后端,通过init_process_group初始化分布式环境,实现了模型的高效并行训练。;应用了余弦衰减(Cosine Decay),Warmup learning(预热学习)和梯度裁剪技术,优化了模型的稳定性和收敛速度;实现了模型的微调,通过加载预训练的权重,针对特定任务进行了进一步的训练和优化。

成就:成功预训练了一个具有1.24亿(124M)参数的GPT模型

将LLM微调为一个邮件分类器(classification finetuning)

实现方案:数据集>加载权重初始化模型>修改模型以适配分类任务>实现评估方法>微调训练>预测

我替换了GPT原始linear output layer(768维向量映射为50257个词汇改为映射成2个分类),冻结了其他参数,仅设置训练最后一个Transformer block和LayerNorm还有LinearLayer。使用crossEntropy作为Loss计算。

成就:准确率从48.75%提升到97.50%

将LLM微调为一个对话模型(instruction finetuning)

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值