书生 共学 大模型实战训练营第四期 L0-G400 Huggingface基础知识

书生$\cdot$共学大模型实战营第四期

本系列为InterLM 闯关作业个人完成情况分享
欢迎加入书生大模型实战训练营，赢取A100算力，丰富实战经验，完成实际项目，解锁更多可能！

---

Reference: https://github.com/InternLM/Tutorial/tree/camp4/docs/L0/maas
Affiliation: University of Science & Technology of China
Organization: Shanghai Artificial Intelligence Laboratory
Contact: zhangsy2023@mail.ustc.edu.cn

---

闯关任务1 模型下载

任务描述：使用Hugging Face平台、魔搭社区平台（可选）和魔乐社区平台（可选）下载文档中提到的模型（至少需要下载config.json文件、model.safetensors.index.json文件），请在必要的步骤以及结果当中截图。

我们在Github提供的codespace平台上进行模型的下载和推理使用。在创建codespace环境时，会指定此次创建对应的代码仓库，这样，在进行编辑后，可以通过codespace平台的虚拟终端，直接push对应编辑内容并关联到Github平台上的对应项目。
创建后，首先安装依赖：

pip install transformers==4.38
pip install sentencepiece==0.1.99
pip install einops==0.8.0
pip install protobuf==5.27.2
pip install accelerate==0.33.0

这些依赖包和加载Transformer类模型、分词、调用预训练模型进行推理相关。
下载huggingface相关project中的文件时（例如相关的配置文件、词表vocab等），可以使用以下代码：

import os
from huggingface_hub import hf_hub_download

# 指定模型标识符
repo_id = "internlm/internlm2_5-7b"

# 指定要下载的文件列表
files_to_download = [
    {
   
   "filename": "config.json"},
    {
   
   "filename": "model.safetensors.index.json"}
]

# 创建一个目录来存放下载的文件
local_dir = f"{
     
     repo_id.split('/