复现Zoom Out and Observe: News Environment Perception for Fake News Detection代码踩坑记录_huggingface 401 client error: unauthorized for url-优快云博客

本文链接：https://blog.youkuaiyun.com/qingfengloser/article/details/129452017

作者在复现ZoomOutandObserve方法检测假新闻的代码过程中遇到了数据获取、模型准备和运行时的多个问题，包括torch版本不兼容、预训练模型下载失败、环境配置错误等。通过调整代码和环境设置，如修改torch版本、处理HTTPError、解决服务器联网问题、调整transformers的使用方式，以及适应不同语言数据集的差异，作者逐步解决了这些问题并成功运行了模型训练。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

复现Zoom Out and Observe: News Environment Perception for Fake News Detection代码踩坑记录

注意事项
数据获取
处理数据
训练模型

注意事项

本文作者的环境配置的主要是运行中文数据集的配置，所以英文数据集作者可能疏忽了，很多地方都需要改，中文部分应该不需要改这么多，但有问题应该也差不多就是了…

数据获取

首先从github上下载代码，地址是https://github.com/ICTMCG/News-Environment-Perception/
这篇论文的数据是作者新整理的，使用需要提交表单获得作者授权，完事后作者会将数据发送到你填写的邮箱，地址是Application to Use the Datasets for News Environment Perceived Fake News Detection"这些都是readme中有的就不废话了。

处理数据

因为服务器装的是cuda11.1，支持不了1.6.0，重装cuda太慢了，所以我直接用的1.8，其他的和作者给的一样。

python==3.6.10
torch==1.8.0
transformers==4.0.0

运行Step1.1: Prepare the SimCSE model的时候，我遇到的问题

首先是系统可能会报错cannot import name ‘SAVE_STATE_WARNING’，这种情况是因为torch版本的问题，直接根据报错的文件找到报错行，将from *** import SAVE_STATE_WARNING注释掉，换成SAVE_STATE_WARNING=“”即可。
其次就是在获取预训练模型的时候会出问题，会报错如下：

requests.exceptions.HTTPError: 401 Client Error: Unauthorized for url: https://huggingface.co/PretrainedLM/bert-base-uncased/resolve/main/vocab.txt

或者：

Unauthorized for url: https://huggingface.co/PretrainedLM/bert-base-uncased/

经过查看BERT官方API文档，发现是因为调用参数和地址变了，官方如下所示：
BERT
将作者的代码部分改成这样就行，修改成如下所示：