复现论文ChineseBERT(ONTONOTES数据集)

最新推荐文章于 2025-11-14 17:44:08 发布

原创

最新推荐文章于 2025-11-14 17:44:08 发布 · 1.5k 阅读

CC 4.0 BY-SA版权

文章标签：

作者详细记录了复现ChineseBERT论文过程中遇到的环境配置问题，包括CUDA版本、Pytorch版本、numpy版本的匹配，以及数据集下载、路径设置、脚本修改等步骤。在解决了一系列错误后，最终成功运行模型并得到测试结果。

记录一下自己复现论文《ChineseBERT: Chinese Pretraining Enhanced by Glyph and Pinyin Information》的过程，最近感觉老在调包，一天下来感觉什么也没干，就直播记录一下跑模型的过程吧

自己电脑环境如下：

首先使用Conda创建一下项目的虚拟环境

conda create -n ChineseBERT python=3.8

进入环境

 conda activate ChineseBERT

用Pycharm打开项目并切换到刚刚新建的环境

在这里插入图片描述

找到requirements.txt文件，在环境中一个一个安装

在这里插入图片描述

安装的时候，发现torch版本装不到这么低的

在这里插入图片描述

然后就装了项目简介中的版本，（发现自己要跑的OntoNotes 4.0数据集正好也需要装这个版本，nice）

在这里插入图片描述

pip install torch==1.7.1+cu101 torchvision==0.8.2+cu101 torchaudio==0.7.2 -f https://download.pytorch.org/whl/torch_stable.html

然后打开作者的文档OntoNotes NER task，下载对应的数据集

在这里插入图片描述

然后新建一个名为ONTONOTES_DATA_PATH的文件夹，把解压后的文件放进去

在这里插入图片描述

找到tasks/OntoNotes/OntoNotes_trainer.py文件，尝试第一次运行

在这里插入图片描述

果不其然会报错，好像是numpy版本不匹配的问题，搜一下

在这里插入图片描述

看了一眼自己装的numpy版本，果然高一点