大模型训练与调优
文章平均质量分 76
FunHPC
超高算力、简单易用、高性价比的GPU租用服务
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
FunHPC乐算云:Fine-tuning Llama3.1-70B-Chinese-Chat model with Lora
本文展示了单机多卡和多机多卡的情况下,在FunHPC乐算云上完成基于Llama factory使用LoRA(Low-Rank Adaptation)技术对Llama3.1-70B-Chinese-Chat模型进行微调的过程。总体的推理效果不错。原创 2024-09-06 19:59:12 · 1661 阅读 · 0 评论 -
为什么说数据和算力一样,都是AI大模型的重要基座
以大语言模型为代表的人工智能迎来大爆发,称之为大模型狂潮也不为过。在这种浪潮下,海量的数据、超强的算力,以及持续迭代的算法,三者之间以类似“神经网络”的相互作用,产生了复杂的行为,催生出了一系列的明星AI模型。从这个意义上讲。“算力”和“数据”本来就是AI大模型中缺一不可的两大基石。原创 2024-04-24 21:24:17 · 658 阅读 · 0 评论 -
怎样用BitFit进行大模型高效微调——手把手DeepLn教程
参数高效微调是在对大型语言模型进行微调时的一种重要策略,它旨在改进模型性能的同时,尽量减少对额外参数的需求。通过冻结大部分参数,显存占用下降了5个G左右。训练时间由原来的50.53分钟降低到37.08分钟。原创 2024-04-23 15:17:20 · 2724 阅读 · 5 评论
分享