本文介绍了GLM-130B，一个开源的双语预训练模型，其1300亿参数版本在硬件性能上具有优势。文章详细讲解了模型的优化、微调方法，包括量化、非量化参数调整以及使用DeepSpeed平台。还探讨了评估指标如CrossEntropy和Perplexity在模型性能中的作用。
0. 前序背景
论文：GLM-130B: AN OPEN BILINGUAL PRE-TRAINED MODEL
目前GLM2-130B优于或相当GPT-3-175B的性能。
选择130B（1300亿参数）是从硬件性能考虑，可以在单张A100（40Gx8）上进行推理（高端A100 80Gx8），也可以进行INT4量化后在7GB的显存上运行。
GLM130B借鉴了FastTransformer同时使用C++实现，比采用Pytorch实现的BLOOM-176B快7-8倍。
非量化模型约微调0.1%的参数；
量化模型的微调需要借助P-tuning v2平台：P-tuning-v2
全模型参数的微调需要借助微软的DeepSpeed平台：<
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
