【GPT入门】第45课 无梯子，linux/win下载huggingface模型方法

1.下载模型代码

from transformers import AutoModelForCausalLM, BertTokenizer, BertForSequenceClassification

model_dir = '/root/autodl-tmp/model_hf'

# 加载模型和分词器
model = BertForSequenceClassification.from_pretrained('bert-base-chinese', cache_dir=model_dir)

tokenizer = BertTokenizer.from_pretrained('bert-base-chinese',cache_dir=model_dir)

print(model)

2. linux 设置镜像与加速

设置国内镜像
export HF_ENDPOINT=https://hf-mirror.com
autodl的学术加速
source /etc/network_turbo

3.windows

按下 Win + R 键，输入 sysdm.cpl 并回车，打开 “系统属性” 窗口
切换到 “高级” 选项卡，点击 “环境变量” 按钮
在 “用户变量” 或 “系统变量” 区域（用户变量仅对当前用户有效，系统变量对所有用户有效）：
点击 “新建” 按钮
在 “变量名” 中输入：HF_ENDPOINT
在 “变量值” 中输入：https://hf-mirror.com
点击 “确定” 保存
关闭所有已打开的命令行窗口，重新打开后环境变量即可生效
设置完成后，可以在命令行中输入以下命令验证是否配置成功：