复现Zoom Out and Observe: News Environment Perception for Fake News Detection代码踩坑记录
注意事项
本文作者的环境配置的主要是运行中文数据集的配置,所以英文数据集作者可能疏忽了,很多地方都需要改,中文部分应该不需要改这么多,但有问题应该也差不多就是了…
数据获取
首先从github上下载代码,地址是https://github.com/ICTMCG/News-Environment-Perception/
这篇论文的数据是作者新整理的,使用需要提交表单获得作者授权,完事后作者会将数据发送到你填写的邮箱,地址是Application to Use the Datasets for News Environment Perceived Fake News Detection"这些都是readme中有的就不废话了。
处理数据
因为服务器装的是cuda11.1,支持不了1.6.0,重装cuda太慢了,所以我直接用的1.8,其他的和作者给的一样。
python==3.6.10
torch==1.8.0
transformers==4.0.0
运行Step1.1: Prepare the SimCSE model的时候,我遇到的问题
- 首先是系统可能会报错cannot import name ‘SAVE_STATE_WARNING’,这种情况是因为torch版本的问题,直接根据报错的文件找到报错行,将from *** import SAVE_STATE_WARNING注释掉,换成SAVE_STATE_WARNING=“”即可。
- 其次就是在获取预训练模型的时候会出问题,会报错如下:
requests.exceptions.HTTPError: 401 Client Error: Unauthorized for url: https://huggingface.co/PretrainedLM/bert-base-uncased/resolve/main/vocab.txt
或者:
Unauthorized for url: https://huggingface.co/PretrainedLM/bert-base-uncased/
经过查看BERT官方API文档,发现是因为调用参数和地址变了,官方如下所示:
将作者的代码部分改成这样就行,修改成如下所示: