【报错解决】main.py: error: the following arguments are required: --data_dir, --save_dir

本文讲述了在使用罗伯塔Tokenizer时遇到的错误,涉及merges_file路径问题。通过排查和实践,作者成功解决问题并分享了解决步骤。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

报错描述

我是在导入robert的tokenizer(即:运行代码:

tokenizer = RobertaTokenizer.from_pretrained(roberta_model)

# 其中,roberta_model是robert模型的路径

)时,报出了这一错误,

具体的报错信息如下所示:

Traceback (most recent call last):
  File "C:/Users/xxx/PycharmProjects/QDGAT-master/qdgat/main.py", line 280, in <module>
    main()
  File "C:/Users/xxx/PycharmProjects/QDGAT-master/qdgat/main.py", line 252, in main
    tokenizer = RobertaTokenizer.from_pretrained(roberta_model)
  File "D:\Anaconda3\envs\pytorch-gpu-1.2.0\lib\site-packages\transformers\tokenization_utils_base.py", line 1787, in from_pretrained
    **kwargs,
  File "D:\Anaconda3\envs\pytorch-gpu-1.2.0\lib\site-packages\transformers\tokenization_utils_base.py", line 1915, in _from_pretrained
    tokenizer = cls(*init_inputs, **init_kwargs)
  File "D:\Anaconda3\envs\pytorch-gpu-1.2.0\lib\site-packages\transformers\models\roberta\tokenization_roberta.py", line 228, in __init__
    with open(merges_file, encoding="utf-8") as merges_handle:
TypeError: expected str, bytes or os.PathLike object, not NoneType

报错原因分析及解决

首先,我以为是模型的路径写错了,结果在不断地尝试相对路径和绝对路径之后,我发现不是这一原因导致的报错。

然后我又查资料,感觉好像是模型下载过程中的问题,我又依稀记得之前下bert-base-uncased模型时好像直接从网页下载不行,必须要用lfs下,才能运行,然后我又再这一方面进行了不断地尝试,结果还是没能解决这一问题。

最后,我只好再看看这个报错信息,发现它提到了merges_file,同时我还发现完整的模型文件中好像有有关merges的文件,于是我就抱着试一试的心态把这个文件(merges.txt)下载下来,然后在运行,就成功了【惊喜!!!】

最后,附上我下载的所有模型文件的截图:


希望能够对大家有所帮助呀~~

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值