L0G4000：玩转HF/魔搭/魔乐社区_huggingface和魔搭-优快云博客

本文链接：https://blog.youkuaiyun.com/cq99312254/article/details/143333780

一、课程内容

书生大模型实战营第四期新鲜出炉的“玩转Hugging Face/魔搭社区/魔乐社区”教程！此教程旨在帮助您学习当前火热的三大AI学习社区。将深入探索如何充分利用 Hugging Face、魔搭社区和魔乐社区的资源和工具，学习模型下载、上传以及创建您的专属Space，玩转三大平台。

1.1 HF 平台

1.1.1 注册Hugging Face 平台（需要魔法）

Hugging Face是一个拥有超过100,000个预训练模型和10,000个数据集的平台，被誉为机器学习界的GitHub。

这里需要进入Hugging Face的官网进行注册：

https://huggingface.co/

注册成功如图:

1 .1.2 InternLM模型下载

HF的Transformers库，作为HF最核心的项目，它可以：

直接使用预训练模型进行推理
提供了大量预训练模型可供使用
使用预训练模型进行迁移学习因此在使用HF前，我们需要下载Transformers等一些常用依赖库

这里我们以internlm2_5-1_8b举例，查看Hugging Face上该模型的地址

https://huggingface.co/internlm/internlm2_5-1_8b

1.1.3 GitHub CodeSpace的使用

Github CodeSpace是Github推出的线上代码平台，提供了一系列templates，我们这里选择Jupyter Notebook进行创建环境。创建好环境后，可以进入网页版VSCode的界面，这就是CodeSpace提供给我们的在线编程环境。

因为网络和磁盘有限的原因，强烈不建议在 InternStudio 运行，因此这里使用CodeSpace

https://github.com/codespaces

2.安装依赖

# 安装transformers
pip install transformers==4.38
pip install sentencepiece==0.1.99
pip install einops==0.8.0
pip install protobuf==5.27.2
pip install accelerate==0.33.0

1.1.3.1 下载internlm2_5-7b-chat的配置文件

考虑到个人GitHub CodeSpace硬盘空间有限（32GB可用），而7B的模型相对较大，这里我们先演示如何下载模型文件夹的特定文件。考虑到CodeSpace平台上默认的用户权限不是root权限，这里为方便演示直接在工作区创建文件，即 /workspaces/codespaces-jupyter 目录,为便于文件管理，建立一个文件夹testDownloadHF,在该文件下载模型的配置文件为例，先新建一个hf_download_josn.py 文件

touch hf_download_josn.py

import os
from huggingface_hub import hf_hub_download

# 指定模型标识符
repo_id = "internlm/internlm2_5-7b"

# 指定要下载的文件列表
files_to_download = [
    {"filename": "config.json"},
    {"filename": "model.safetensors.index.json"}
]

# 创建一个目录来存放下载的文件
local_dir = f"{repo_id.split('/')[1]}"
os.makedirs(local_dir, exist_ok=True)

# 遍历文件列表并下载每个文件
for file_info in files_to_download:
    file_path = hf_hub_download(
        repo_id=repo_id,
        filename=file_info["filename"],
        local_dir=local_dir
    )
    print(f"{file_info['filename']} file downloaded to: {file_path}")

python hf_download_josn.py

在实战营课程中，InternStudio平台的 /root/share 目录下已经提供了InterLM2.5系列的模型，可以找到它们作为model_name_or_path进行使用，如

/root/share/new_models/Shanghai_AI_Laboratory/internlm2_5-7b-chat

1.1.3.2 下载internlm2_5-chat-1_8b并打印示例输出

那么如果我们需想要下载一个完整的模型文件怎么办呢？创建一个python文件用于下载internlm2_5-1_8B模型并运行。下载速度跟网速和模型参数量大小相关联，如果网速较慢的小伙伴可以只尝试下载1.8b模型对应的config.json文件以及其他配置文件。

在相同的文件夹下建立下载文件

touch hf_download_1_8_demo.py

注意到在CodeSpace平台上是没有GPU资源的，因此我们Python代码中只使用CPU进行推理，我们需要修改跟CUDA有关的API，在hf_download_1_8_demo.py文件中粘贴以下内容：

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("internlm/internlm2_5-1_8b", trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained("internlm/internlm2_5-1_8b", torch_dtype=torch.float16, trust_remote_code=True)
model = model.eval()

inputs = tokenizer(["A beautiful flower"], return_tensors="pt")
gen_kwargs = {
    "max_length": 128,
    "top_p": 0.8,
    "temperature": 0.8,
    "do_sample": True,
    "repetition_penalty": 1.0
}

# 以下内容可选，如果解除注释等待一段时间后可以看到模型输出
# output = model.generate(**inputs, **gen_kwargs)
# output = tokenizer.decode(output[0].tolist(), skip_special_tokens=True)
# print(output)

1.1.4 Hugging Face Spaces的使用

Hugging Face Spaces 是一个允许我们轻松地托管、分享和发现基于机器学习模型的应用的平台。Spaces 使得开发者可以快速将我们的模型部署为可交互的 web 应用，且无需担心后端基础设施或部署的复杂性。首先访问以下链接，进入Spaces。在右上角点击Create new Space进行创建：在创建页面中，输入项目名为intern_cobuild，并选择Static应用进行创建

https://huggingface.co/spaces

创建好项目后，回到主页找到自己创建的项目intern_cobuild，接着clone项目。

cd /workspaces/codespaces-jupyter
# 请将<your_username>替换你自己的username
git clone https://huggingface.co/spaces/<your_username>/intern_cobuild
cd /workspaces/codespaces-jupyter/intern_cobuild

找到该目录文件夹下的index.html文件，修改我们的html代码

输入代码

<!doctype html>
<html>
<head>
  <meta charset="utf-8" />
  <meta name="viewport" content="width=device-width" />
  <title>My static Space</title>
  <style>
    html, body {
      margin: 0;
      padding: 0;
      height: 100%;
    }
    body {
      display: flex;
      justify-content: center;
      align-items: center;
    }
    iframe {
      width: 430px;
      height: 932px;
      border: none;
    }
  </style>
</head>
<body>
  <iframe src="https://colearn.intern-ai.org.cn/cobuild" title="description"></iframe>
</body>
</html>

提交

1.1.5 模型上传

在git环境下安装安装git lfs，对大文件系统支持。

使用huggingface-cli login命令进行登录，登录过程中需要输入用户的Access Tokens，获取时，需要先验证email

接着可以在CodeSpace里面，使用

git config --global credential.helper store
huggingface-cli login

箭头方向输入token，成功后出现如下结果

创建项目

cd /workspaces/codespaces-jupyter

#intern_study_L0_4就是model_name
huggingface-cli repo create intern_study_L0_4

# 克隆到本地 your_github_name 注意替换成你自己的
git clone https://huggingface.co/{your_github_name}/intern_study_L0_4

克隆好之后，刷新文件目录可以看到克隆好的intern_study_L0_4文件夹。

1.2 魔搭社区平台

ModelScope 是一个“模型即服务”(MaaS)平台，由阿里巴巴集团的达摩院推出和维护。它旨在汇集来自AI社区的最先进的机器学习模型，并简化在实际应用中使用AI模型的流程。通过ModelScope，用户可以轻松地探索、推理、微调和部署各种AI模型。

注册登录ModelScope平台，进入导航栏模型库，可以搜索internlm找到相关模型（但是这也包括非官方模型），在这里我们可以搜索 internlm2_5-chat-1_8b，下载1.8b的对话模型，也类似于hugging face 一样拥有具体的详情页。

1.2.1 创建开发机（省略）

1.2.2 环境配置

为ms_demo创建一个可用的conda虚拟环境，可以和其他环境区分开来

安装依赖

pip install modelscope 
pip install numpy==1.26.0 
pip install packaging

1.2.3 下载指定多个文件

internlm2_5-7b-chat 考虑到7B的模型文件比较大，这里我们先采用modelscope的cli工具（当然hugging face也有）来下载指定文件，在命令行输入以下命令

modelscope download \
    --model 'Shanghai_AI_Laboratory/internlm2_5-7b-chat' \
    tokenizer.json config.json model.safetensors.index.json \
    --local_dir '/root/ms_demo'

刷新一下文件目录，就能看到在ms_demo中下载了指定的json文件。

internlm2_5-1_8b-chat
```
modelscope download \
    --model 'Shanghai_AI_Laboratory/internlm2_5-1_8b-chat' \
    tokenizer.json config.json model.safetensors.index.json \
    --local_dir '/root/ms_demo'
```
1.2.4 上传模型

魔搭社区类似HF，也有一套创建模型的界面。不同的是，它具有审核机制，当符合它的社区规范时才会被公开。那么当上传正常的模型文件后，审核一般就会通过了。

上传文件的方法可以直接通过平台添加文件，也可以通过git下载模型后进行修改和上传文件

#Git模型下载
git clone https://www.modelscope.cn/<your_username>/<your_model>

1.3 魔乐社区平台

魔乐社区（Modelers）是一个提供多样化、开源模型的平台，旨在促进开发者和研究人员在最先进的模型和流行应用上进行协作。

1.3.1 下载internlm2_5-chat-1_8b模型

建立文件夹，存放模型

cd /
mkdir ml_demo
cd ml_demo

安装模型下载相关文件，并下载：

# 确保安装git-lfs 保证大文件的正常下载
apt-get install git-lfs
git lfs install
# clone 仓库
git clone https://modelers.cn/Intern/internlm2_5-1_8b-chat.git

刷新文件夹，可以看到新下载的文件：

在魔乐社区中，还推荐了一个新的深度学习开发套件openMind Library，除了常用的Transforms的API，也可以探索如何使用openMind来加载模型

1.3.2 安装openMind Library

（1）

基于PyTorch的openMind Library快速安装

conda create -n your_venv_name python=3.8
conda activate your_venv_name

#安装pytorch
conda install pytorch==2.1.2 torchvision==0.16.2 torchaudio==2.1.2 pytorch-cuda=12.1 -c pytorch -c nvidia

# 基于PyTorch和NPU安装openMind Library
pip install openmind[pt]

不安装框架，仅安装openMind Library，可体验魔乐社区上传和下载功能。
```
pip install openmind
```

安装openMind Library，并安装PyTorch框架及其依赖。

#aarch64环境下安装
pip install openmind[pt]

#x86环境下安装
pip install openmind[pt] --extra-index-url https://download.pytorch.org/whl/cpu

安装openMind Library，并安装MindSpore框架及其依赖。
```
pip install openmind[ms]
```