入门关卡-第4关：玩转「HF_魔搭_魔乐」平台

任务概述

任务链接：Tutorial/docs/L0/maas/task.md at camp4 · InternLM/Tutorial (github.com)

闯关任务

1 HF平台

1、注册Hugging Face 平台
平台链接：https://huggingface.co/

2、InternLM模型下载
模型链接：internlm (InternLM) (huggingface.co)


3、GitHub CodeSpace的使用
使用Codespaces (github.com)在线编程环境进行模型下载和使用

点击Jupyter Notebook中的Use this templates，进入网页版的VSCode开发环境

在界面下方的终端（terminal）安装以下依赖，便于模型运行

# 安装transformers
pip install transformers==4.38
pip install sentencepiece==0.1.99
pip install einops==0.8.0
pip install protobuf==5.27.2
pip install accelerate==0.33.0

4、新建一个名为hf_download_josn.py文件，粘贴如下代码进行下载internlm2_5-7b-chat的配置文件


5、下载internlm2_5-chat-1_8b并打印示例输出

可选任务

1 文件上传

将下载的config.json文件上传到魔搭社区概览 · 魔搭社区 (modelscope.cn)
在平台首页点击创建模型，自定义模型名称，点击上传config.json文件，再点击创建模型即可

2 Space上传

2.1 Hugging Face Spaces的使用

Hugging Face Spaces 是一个允许我们轻松地托管、分享和发现基于机器学习模型的应用的平台。Spaces 使得开发者可以快速将我们的模型部署为可交互的 web 应用，且无需担心后端基础设施或部署的复杂性。 首先访问以下链接，进入Spaces。Spaces - Hugging Face
在右上角点击Create new Space进行创建：

创建之前需要注册账号登录，注册过程中遇到了418报错，尝试多种方式无果，最后按照助教大大的意见，换了个节点就成功了😅

2、成功注册之后，重新点击Create new Space创建项目

依次点击Static、Blank、Create Space完成创建

创建成功后会自动跳转到一个默认的HTML页面


3、创建好项目后，回到我们的CodeSpace，接着clone项目；
并修改该目录文件夹下的index.html文件

cd /workspaces/codespaces-jupyter
# 请将<your_username>替换你自己的username
git clone https://huggingface.co/spaces/<your_username>/intern_cobuild
cd /workspaces/codespaces-jupyter/intern_cobuild
#修改完成之后进行推送
git add .
git commit -m "update: colearn page"
git push #此处报错

4、获取Access Tokens解决报错
回到HF平台界面，依次点击“头像->Settings->Access Tokens->Create new token”


创建一个类型为“Write”的token，并请复制好token后要存储在合适的地方


5、复制上述生成的token进行验证，完成验证之后再次推送即可

git remote set-url origin https://<user_name>:<token>@huggingface.co/<repo_path>
例如：
git remote set-url origin https://jack:hf_xxxxx@huggingface.co/spaces/jack/intern_cobuild/
然后再次git push即可

6、再次进入Space界面，就可以看到我们实战营的共建活动捏~

2.2 模型上传

通过CLI上传 Hugging Face同样是跟Git相关联，通常大模型的模型文件都比较大，因此我们需要安装git lfs，对大文件系统支持。

curl -s https://packagecloud.io/install/repositories/github/git-lfs/script.deb.sh | sudo bash
# sudo apt-get install git-lfs # CodeSpace里面可能会有aptkey冲突且没有足够权限
git lfs install # 直接在git环境下配置git LFS
pip install huggingface_hub

接着可以在CodeSpace里面，使用如下命令进行登录，登录时还需要输入刚刚的token

git config --global credential.helper store
huggingface-cli login

创建项目

cd /workspaces/codespaces-jupyter

#intern_study_L0_4就是model_name
huggingface-cli repo create intern_study_L0_4

# 克隆到本地 your_github_name 注意替换成你自己的
git clone https://huggingface.co/{your_github_name}/intern_study_L0_4

在“intern_study_L0_4”项目中新建“README.md” 文件，并使用git提交到远程仓库
注意，如果git push 报错，可能是第一次上传时需要验证，请使用以下命令，注意替换<>里面的内容，然后再次git push一下就可以了

git remote set-url origin https://<user_name>:<token>@huggingface.co/<repo_path>
# 如 git remote set-url origin https://blank:hf_xxxxxxxxxxx@huggingface.co/blank/intern_study_L0_4
# 这里blank和hf_xxxxxxxxxxxx只是示例 请替换为你的username和之前申请的access token

git pull origin

现在可以在Hugging Face的个人profile里面看到这个model
链接： MA-YuS/intern_study_L0_4 · Hugging Face