LLAMA-factory 自制数据质量低怎么办？

Wo丶好期待

已于 2024-07-10 17:57:09 修改

阅读量370

点赞数 8

文章标签： llama python 数据分析

于 2024-07-10 17:52:35 首次发布

本文链接：https://blog.youkuaiyun.com/qq_45136311/article/details/140330689

版权

我自己从课本按照格式提取8k条数据，但是训练时，sft的loss值平均在2以上，评估指标bleu-4只有20%左右，而且epoch增加评估指标还会越低。我的数据集部分如下图所示，有没有遇到相同问题的，参数应该没啥错。因为我微调自带的数据集都没啥问题所以我感觉是自己数据质量低导致，具体也不知什么原因，希望有佬指点迷津，感谢！