复现Zoom Out and Observe: News Environment Perception for Fake News Detection代码踩坑记录

作者在复现ZoomOutandObserve方法检测假新闻的代码过程中遇到了数据获取、模型准备和运行时的多个问题,包括torch版本不兼容、预训练模型下载失败、环境配置错误等。通过调整代码和环境设置,如修改torch版本、处理HTTPError、解决服务器联网问题、调整transformers的使用方式,以及适应不同语言数据集的差异,作者逐步解决了这些问题并成功运行了模型训练。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

注意事项

本文作者的环境配置的主要是运行中文数据集的配置,所以英文数据集作者可能疏忽了,很多地方都需要改,中文部分应该不需要改这么多,但有问题应该也差不多就是了…

数据获取

首先从github上下载代码,地址是https://github.com/ICTMCG/News-Environment-Perception/
这篇论文的数据是作者新整理的,使用需要提交表单获得作者授权,完事后作者会将数据发送到你填写的邮箱,地址是Application to Use the Datasets for News Environment Perceived Fake News Detection"这些都是readme中有的就不废话了。

处理数据

因为服务器装的是cuda11.1,支持不了1.6.0,重装cuda太慢了,所以我直接用的1.8,其他的和作者给的一样。

python==3.6.10
torch==1.8.0
transformers==4.0.0

运行Step1.1: Prepare the SimCSE model的时候,我遇到的问题

  1. 首先是系统可能会报错cannot import name ‘SAVE_STATE_WARNING’,这种情况是因为torch版本的问题,直接根据报错的文件找到报错行,将from *** import SAVE_STATE_WARNING注释掉,换成SAVE_STATE_WARNING=“”即可。
  2. 其次就是在获取预训练模型的时候会出问题,会报错如下:
requests.exceptions.HTTPError: 401 Client Error: Unauthorized for url: https://huggingface.co/PretrainedLM/bert-base-uncased/resolve/main/vocab.txt

或者:

Unauthorized for url: https://huggingface.co/PretrainedLM/bert-base-uncased/

经过查看BERT官方API文档,发现是因为调用参数和地址变了,官方如下所示:
BERT
将作者的代码部分改成这样就行,修改成如下所示:

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值