qq_45136311的博客

原创 LLAMA-factory 自制数据质量低怎么办？

我自己从课本按照格式提取8k条数据，但是训练时，sft的loss值平均在2以上，评估指标bleu-4只有20%左右，而且epoch增加评估指标还会越低。我的数据集部分如下图所示，有没有遇到相同问题的，参数应该没啥错。