2.1 HF 平台
2.1.1 注册Hugging Face 平台 （需要魔法上网，懂得都懂）
Hugging Face 最初专注于开发聊天机器人服务。尽管他们的聊天机器人项目并未取得预期的成功，但他们在GitHub上开源的Transformers库却意外地在机器学习领域引起了巨大轰动。如今，Hugging Face已经发展成为一个拥有超过100,000个预训练模型和10,000个数据集的平台，被誉为机器学习界的GitHub。
这里需要进入Hugging Face的官网进行注册：
https://huggingface.co/
2.1.2 InternLM模型下载
在正式下载之前，我们先要介绍一下HF的Transformers库，作为HF最核心的项目，它可以：
- 直接使用预训练模型进行推理
- 提供了大量预训练模型可供使用
- 使用预训练模型进行迁移学习 因此在使用HF前，我们需要下载Transformers等一些常用依赖库
这里我们以internlm2_5-1_8b举例，查看Hugging Face上该模型的地址
https://huggingface.co/internlm/internlm2_5-1_8b
2.1.3 GitHub CodeSpace的使用（没有GPU）
因为网络和磁盘有限的原因，强烈不建议在 InternStudio 运行，因此这里使用CodeSpace
https://github.com/codespaces
注意：在这里需要科学上网 否则就会出现下图的问题
尤其是在 VS code上安装扩展GitHub codespace的时候 一定要科学上网
下图看连接上了已经，但是问题是在VS code软件中不能打开终端，应该如下图所示 右机在浏览器打开 这样就在浏览器中就可以看见终端打开了（或者是你在GitHub codespace进VS code会跳出来一个新的窗口，在新的窗口中也可以打开终端）
Github CodeSpace是Github推出的线上代码平台，提供了一系列templates，我们这里选择Jupyter Notebook进行创建环境。创建好环境后，可以进入网页版VSCode的界面，这就是CodeSpace提供给我们的在线编程环境。
在界面下方的终端（terminal）安装以下依赖，便于模型运行。
# 安装transformers pip install transformers==4.38 pip install sentencepiece==0.1.99 pip install einops==0.8.0 pip install protobuf==5.27.2 pip install accelerate==0.33.0
2.1.3.1 下载internlm2_5-7b-chat的配置文件
考虑到个人GitHub CodeSpace硬盘空间有限（32GB可用），而7B的模型相对较大，这里我们先演示如何下载模型文件夹的特定文件。 考虑到CodeSpace平台上默认的用户权限不是root权限，这里为方便演示直接在工作区创建文件，即 /workspaces/codespaces-jupyter 目录
以下载模型的配置文件为例，先新建一个hf_download_josn.py 文件
touch hf_download_josn.py
在这个文件中，粘贴以下代码
import os
from huggingface_hub import hf_hub_download
# 指定模型标识符
repo_id = "internlm/internlm2_5-7b"
# 指定要下载的文件列表
files_to_download = [
{"filename": "config.json"},
{"filename": "model.safetensors.index.json"}
]
# 创建一个目录来存放下载的文件
local_dir = f"{repo_id.split('/')[1]}"
os.makedirs(local_dir, exist_ok=True)
# 遍历文件列表并下载每个文件
for file_info in files_to_download:
file_path = hf_hub_download(
repo_id=repo_id,
filename=file_info["filename"],
local_dir=local_dir
)
print(f"{file_info['filename']} file downloaded to: {file_path}")
运行该文件（注意文件目录请在该文件所在目录下运行该文件）
python hf_download_josn.py
可以看到，已经从Hugging Face上下载了相应配置文件
虽然在这里我们没有完全下载internlm2_5-7b-chat模型，但是在实战营课程中，我们的InternStudio平台 的 /root/share 目录下已经提供了InterLM2.5系列的模型，可以找到它们作为model_name_or_path进行使用，如
/root/share/new_models/Shanghai_AI_Laboratory/internlm2_5-7b-chat
2.1.3.2 下载internlm2_5-chat-1_8b并打印示例输出
那么如果我们需想要下载一个完整的模型文件怎么办呢？创建一个python文件用于下载internlm2_5-1_8B模型并运行。下载速度跟网速和模型参数量大小相关联，如果网速较慢的小伙伴可以只尝试下载1.8b模型对应的config.json文件以及其他配置文件。
touch hf_download_1_8_demo.py
注意到在CodeSpace平台上是没有GPU资源的，因此我们Python代码中只使用CPU进行推理，我们需要修改跟CUDA有关的API，在hf_download_1_8_demo.py文件中粘贴以下内容：
import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
tokenizer = AutoTokenizer.from_pretrained("internlm/internlm2_5-1_8b", trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained("internlm/internlm2_5-1_8b", torch_dtype=torch.float16, trust_remote_code=True)
model = model.eval()
inputs = tokenizer(["A beautiful flower"], return_tensors="pt")
gen_kwargs = {
"max_length": 128,
"top_p": 0.8,
"temperature": 0.8,
"do_sample": True,
"repetition_penalty": 1.0
}
# 以下内容可选，如果解除注释等待一段时间后可以看到模型输出
# output = model.generate(**inputs, **gen_kwargs)
# output = tokenizer.decode(output[0].tolist(), skip_special_tokens=True)
# print(output)
等待几分钟后，会在控制台返回模型生成的结果（解除注释后）
 |
注意：我的并没有运行出很好的结果 因为我们没有装torch 装一下就可以了
输出结果：这里以“A beautiful flower”开头，模型对其进行“续写”，InternLM的模型拥有强大的数学方面的能力。这边它输出的文本似乎是关于一个数学问题，具体是关于一个花朵的花瓣数量。
2.1.4 Hugging Face Spaces的使用
Hugging Face Spaces 是一个允许我们轻松地托管、分享和发现基于机器学习模型的应用的平台。Spaces 使得开发者可以快速将我们的模型部署为可交互的 web 应用，且无需担心后端基础设施或部署的复杂性。 首先访问以下链接，进入Spaces。在右上角点击Create new Space进行创建：
https://huggingface.co/spaces
在创建页面中，输入项目名为intern_cobuild，并选择Static应用进行创建
创建成功后会自动跳转到一个默认的HTML页面。创建好项目后，回到我们的CodeSpace，接着clone项目。
注意这里请替换你自己的username
cd /workspaces/codespaces-jupyter # 请将<your_username>替换你自己的username git clone https://huggingface.co/spaces/<your_username>/intern_cobuild cd /workspaces/codespaces-jupyter/intern_cobuild
找到该目录文件夹下的index.html文件，修改我们的html代码
<!doctype html>
<html>
<head>
<meta charset="utf-8" />
<meta name="viewport" content="width=device-width" />
<title>My static Space</title>
<style>
html, body {
margin: 0;
padding: 0;
height: 100%;
}
body {
display: flex;
justify-content: center;
align-items: center;
}
iframe {
width: 430px;
height: 932px;
border: none;
}
</style>
</head>
<body>
<iframe src="https://colearn.intern-ai.org.cn/cobuild" title="description"></iframe>
</body>
</html>
保存后就可以push到远程仓库上了，它会自动更新页面。
git add . git commit -m "update: colearn page" git push
如果报错：remote: Password authentication in git is no longer supported. You must use a user access token or an SSH key instead.
请再次设置这个项目的验证，这个地方需要用户的Access Tokens（具体获取方式见下文 "2.1.5 模型上传"）
git remote set-url origin https://<user_name>:<token>@huggingface.co/<repo_path>
例如：
git remote set-url origin https://jack:hf_xxxxx@huggingface.co/spaces/jack/intern_cobuild/
然后再次git push即可
再次进入Space界面，就可以看到我们实战营的共建活动捏~
spaces/wangjjjj/intern_cobuild是我的<repo_path>，注意这个的形式是怎么来的
最终的页面我还是没有生成出来，不知道问题出在哪里，知道问题在哪里的评论告知我一下
2.1.5 模型上传
- 通过CLI上传 Hugging Face同样是跟Git相关联，通常大模型的模型文件都比较大，因此我们需要安装git lfs，对大文件系统支持。
curl -s https://packagecloud.io/install/repositories/github/git-lfs/script.deb.sh | sudo bash # sudo apt-get install git-lfs # CodeSpace里面可能会有aptkey冲突且没有足够权限 git lfs install # 直接在git环境下配置git LFS pip install huggingface_hub
这条子命令的作用是将从 curl 下载的脚本内容传递给 bash 执行。
curl：这是一个用于从网络上下载或上传数据的命令行工具。-s：表示静默模式（silent mode），即不显示进度条或其他输出信息。https://packagecloud.io/install/repositories/github/git-lfs/script.deb.sh：这是 Git LFS 提供的一个脚本文件的 URL。该脚本会自动配置系统的软件源（repositories），以便安装 Git LFS。|：管道符号，将前一个命令的输出作为后一个命令的输入。sudo：以超级用户权限运行后续命令。bash：解释并执行传入的 Shell 脚本。
使用huggingface-cli login命令进行登录，登录过程中需要输入用户的Access Tokens，获取时
完成验证后，点击create new token，创建一个类型为“Write”的token，并请复制好token后要存储在合适的地方
接着可以在CodeSpace里面，使用
git config --global credential.helper store huggingface-cli login
1. git config --global credential.helper store
功能：
这条命令配置了 Git 的凭据助手（Credential Helper），使其将你的用户名和密码（或 Access Token）以纯文本形式存储在本地文件中。
具体作用：
git config：用于配置 Git 的全局或本地设置。--global：表示这是一个全局配置，适用于当前用户的所有 Git 仓库。credential.helper：指定 Git 凭据助手的行为。store- 告诉 Git 将凭据存储在磁盘上的一个文件中，并且不会过期。
-
huggingface-cli login功能：
这条命令用于登录 Hugging Face 平台，并生成一个 Access Token，以便你在本地使用 Hugging Face 的工具（如
git-lfs或模型上传功能）时进行身份验证。具体作用：
huggingface-cli：这是 Hugging Face 提供的命令行工具，用于管理模型、数据集等资源。login：触发登录流程。
命令进行登录，这时需要输入刚刚的token
创建项目
cd /workspaces/codespaces-jupyter
#纯纯多余，进文件的时候注意看一下文件本身的位置在哪里，已经进来了就不要再进了
#intern_study_L0_4就是model_name
huggingface-cli repo create intern_study_L0_4
# 克隆到本地 your_huggingface_name 注意替换成你自己的
git clone https://huggingface.co/{your_huggingface_name}/intern_study_L0_4
1. huggingface-cli repo create intern_study_L0_4
功能：
这条命令用于在 Hugging Face 上创建一个新的仓库（repository）。
具体作用：
huggingface-cli：这是 Hugging Face 提供的命令行工具，用于管理模型、数据集等资源。- #在这就是模型（看最后生成的位置在models）
repo create：指定要执行的操作是创建一个新仓库。intern_study_L0_4：这是你为新仓库指定的名称（即model_name）。你可以根据需要替换为其他名称
克隆好之后，刷新文件目录可以看到克隆好的intern_study_L0_4文件夹。
我们可以把训练好的模型保存进里面，这里考虑到网速问题，只上传我们刚刚下载好的config.json，把它复制粘贴进这个文件夹里面，还可以写一个README.md文件，比如可以粘贴以下内容：
# 书生浦语大模型实战营camp4
- hugging face模型上传测试
- 更多内容请访问 https://github.com/InternLM/Tutorial/tree/camp4
现在可以用git提交到远程仓库
cd intern_study_L0_4 git add . git commit -m "add:intern_study_L0_4" git push
注意，如果git push 报错，可能是第一次上传时需要验证，请使用以下命令，注意替换<>里面的内容，然后再次git push一下就可以了
git remote set-url origin https://<user_name>:<token>@huggingface.co/<repo_path> # 如 git remote set-url origin https://blank:hf_xxxxxxxxxxx@huggingface.co/blank/intern_study_L0_4 # 这里blank和hf_xxxxxxxxxxxx只是示例 请替换为你的username和之前申请的access token git pull origin
现在可以在Hugging Face的个人profile里面看到这个model，也可以直接将下面的Url输入到浏览器网址栏上
https://huggingface.co/<user_name>/intern_study_L0_4
扫一扫
1713
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
