NLP 工作中bug记录

小李飞刀李寻欢

已于 2023-01-11 11:08:26 修改

阅读量779

点赞数 2

CC 4.0 BY-SA版权

分类专栏： NLP与推荐算法文章标签：自然语言处理 bug

于 2023-01-09 14:09:37 首次发布

本文链接：https://blog.youkuaiyun.com/SPESEG/article/details/128482977

NLP与推荐算法专栏收录该内容

153 篇文章 ¥399.90 ¥499.90

订阅专栏

超级会员免费看

本文记录了NLP工作中的多个错误及解决办法，包括transformer微调时的nohup问题，sentence transformer模型的TypeError， wc -l与pandas行数不一致的解决，安装依赖库如syngec、wget的错误，以及torch、tensorflow和numpy等库的版本冲突和错误处理。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1，微调transformer中mlm任务中（多卡跑），nohup运行出现如下错误，经搜索说是nohup的bug

{'loss': 1.5461, 'learning_rate': 3.933343085625122e-05, 'epoch': 0.64} 21%|██▏ | 35000/164064 [2:03:12<7:30:17, 4.78it/s][INFO|trainer.py:2700] 2022-12-28 20:39:56,894 >> Saving model checkpoint to /data//models/myhugBert30w2/checkpoint-35000 [INFO|configuration_utils.py:447] 2022-12-28 20:39:56,895 >> Configuration saved in /data//models/myhugBert30w2/checkpoint-35000/config.json [INFO|modeling_utils.py:1702] 2022-12-28 20:39:57,345 >> Model weights saved in /data//models/myhugBert30w2/checkpoint-35000/pytorch_model.bin [INFO|tokenization_utils_base.py:2157] 2022-12-28 20:39:57,346 >> tokenizer config file saved in /data//models/myhugBert30w2/checkpoint-35000/tokenizer_config.json [INFO|tokeniz