在loss计算中,我们需要根据数据中的列进行计算,但发现这些列被移除了。解决方法如下:
dataset = dataset.map(
to_prompt,
num_proc=1,
remove_columns=["subject", "level", "unique_id"],
)
training_args.remove_unused_columns= False
这里可以移除不需要的列,保留需要的列
在loss计算中,我们需要根据数据中的列进行计算,但发现这些列被移除了。解决方法如下:
dataset = dataset.map(
to_prompt,
num_proc=1,
remove_columns=["subject", "level", "unique_id"],
)
training_args.remove_unused_columns= False
这里可以移除不需要的列,保留需要的列