现象:在训练的时候返回的第一个Loss就出现了NaN,因为之前已经筛选过数据集,中间进行了一次合并,所以就一直在其他方面找问题,结果就是因为合并过程中出现了空白数据,从而导致训练出现问题,特此写文警醒自己
凡处理完数据之后一定要用短短的几行代码检查一下,有时候就因为这几分钟时间耽误了好几天
print("NaN数量:", merged_data.isna().sum().sum())
nan_rows = merged_data[merged_data.isna().any(axis=1)]
print("包含NaN的行:")
print(nan_rows)
同时也要检查一下日期,很有可能表格中某个日期丢失从而在合并的时候出现NAN 光凭肉眼和搜索是搜索不出来的