- 博客(3)
- 收藏
- 关注
RSS订阅原创 p-tuning v2 微调 chatGLM实战
注意，这里要求 transformers==4.30.2 但这个版本无法识别qwen2 模型，如果确认是qwen1版本，则不需要进行下面的修改。训练的checkpoint，应该是 output_dir 路径下的 最后一个checkpoin-？或者把 requirements.txt 中的transformers版本改成这 4.37.0。safe_serialization 改成 False。
2024-08-02 16:38:33
612
原创 通过fine-tuning 微调LLM模型实现传统NLP任务
大模型+指令微调的组合终究与追求精度提升的文本理解类任务不太契合。在足量的标注数据场景下，精度上难以匹敌传统的BERT式微调方法。但是大模型毕竟在参数量和学习的知识信息量级上要远超过往的BERT簇模型，所以从理论上来看，只要能够充分利用大模型庞大的知识量，其在文本理解能力上必然是超越BERT簇模型的。指令微调+Prompt工程的大模型生成式方法在文本理解类任务上并没有充分利用到大模型的丰富知识，那么能否参考BERT式的微调方法，将大模型的参数权重作为基座，去针对性适配下游任务呢？
2024-08-01 10:55:31
1714
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人