LLM大语言模型(GPT)的分布式预训练与微调及部署

LLM大语言模型(GPT)的分布式预训练与微调及部署

实现方案：设计并实现了一个大规模语言模型（GPT）的分布式预训练，结合RAG(文档、MySQL)、Agent、LLM连网等技术在基座上微调，以提高模型在特定领域任务上的性能和效率。

技术栈：PyTorch, CUDA, NCCL, DistributedDataParallel  (DDP), torch分布式训练init_process_group , Transformer，GPT

项目细节

使用NCCL作为后端，通过init_process_group初始化分布式环境，实现了模型的高效并行训练。；应用了余弦衰减（Cosine Decay），Warmup learning(预热学习)和梯度裁剪技术，优化了模型的稳定性和收敛速度；实现了模型的微调，通过加载预训练的权重，针对特定任务进行了进一步的训练和优化。

成就：成功预训练了一个具有1.24亿（124M）参数的GPT模型

将LLM微调为一个邮件分类器（classification finetuning）

实现方案：数据集>加载权重初始化模型>修改模型以适配分类任务>实现评估方法>微调训练>预测

我替换了GPT原始linear output layer(768维向量映射为50257个词汇改为映射成2个分类)，冻结了其他参数，仅设置训练最后一个Transformer block和LayerNorm还有LinearLayer。使用crossEntropy作为Loss计算。

成就：准确率从48.75%提升到97.50%

将LLM微调为一个对话模型（instruction finetuning）