使用Hugging Face平台下载模型&在HF平台上使用Spaces部署intern_cobuild&模型上传

最新推荐文章于 2025-10-06 07:12:07 发布

原创

最新推荐文章于 2025-10-06 07:12:07 发布 · 2k 阅读

31 ·

CC 4.0 BY-SA版权

文章标签：

#python

上篇链接如下：

在 GitHub 上创建一个 Pull Request&创建并提交一个项目

在 GitHub 上创建一个 Pull Request&创建并提交一个项目-优快云博客https://blog.youkuaiyun.com/quentinrt/article/details/143835857

今天的内容链接：

Tutorial/docs/L0/maas/readme.md at camp4 · InternLM/Tutorialhttps://github.com/InternLM/Tutorial/blob/camp4/docs/L0/maas/readme.md使用Hugging Face平台下载模型

1.打开github页面，进入codespace，选择jupyter Notebook 界面。Sign in to GitHub · GitHubGitHub is where people build software. More than 100 million people use GitHub to discover, fork, and contribute to over 420 million projects.https://github.com/codespaces

2.在终端安装transformers

# 安装transformers
pip install transformers==4.38
pip install sentencepiece==0.1.99
pip install einops==0.8.0
pip install protobuf==5.27.2
pip install accelerate==0.33.0

3.下载internlm2_5-7b-chat的配置文件

以下载模型的配置文件为例，先新建一个hf_download_josn.py 文件

touch hf_download_josn.py

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

quentinrt665

关注关注

38
点赞
踩
31

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

huggingface使用git上传model或者Dataset到HF,当然也可以上传代码，以及大文件，很哇塞！！！

人工智能

04-04

2836

huggingface使用git上传model或者Dataset到HF,当然也可以上传代码，以及大文件，很哇塞！！！第一次使用时，需要使用设置系统全局的huggingface token，这。点击huggingface首页右上角的头像 → settings → access tokens，创建一个write权限的token，名字可以随便取。

Hugging Face系列1：详细剖析Hugging Face网站资源——models/datasets/spaces

shao918516的博客

05-15

4921

本篇主要介绍Hugging Face。它的核心产品是Hugging Face Hub，这是一个基于Git进行版本管理的存储库，已托管大量模型、数据集及Spaces应用。另外，Hugging Face还开源了一系列的机器学习库和界面演示工具Gradio。Hugging Face设计开发了很多学习资源，比如与NLP、扩散模型及深度强化学习等。本篇还介绍了大量Spaces应用，如IDM-VTON、IC-Light、LLM Leaderboard及stable-diffusion-xl-base/refiner等。

参与评论您还未登录，请先登录后发表或查看评论

使用 Gradio 在 huggingface 创建应用 Space

木尧大兄弟

08-04

7477

之前内部用 swagger + flask（flasgger）来演示模型功能，感觉 flasgger 做出来太丑了，而且配置起来麻烦，所以寻找替代方案。streamlit和gradio。gradio 跟 huggingface 仿佛有某种交易，两边官方文档商业互吹，所以感觉部署到 huggingface 时适配起来应该更顺滑。于是学习一下 gradio，并把要演示的几个模型使用 gradio 做成 app 的形式。...

ViViD推理结果分享平台：Hugging Face Spaces部署教程

gitblog_00684的博客

10-06

289

你是否曾为虚拟试衣模型的推理结果分享而烦恼？本文将带你一步步在Hugging Face Spaces上部署ViViD推理结果分享平台，让你的虚拟试衣效果轻松展示给更多人。读完本文，你将掌握环境配置、代码调整、界面设计和部署上线的全过程。 ## 环境准备首先，我们需要准备部署所需的环境。ViViD项目的依赖项在[requirements.txt](https://link.gitcode.co...

Hugging Face Transformers 萌新完全指南

Hugging Face

04-16

1303

欢迎阅读《Hugging Face Transformers 萌新完全指南》，本指南面向那些意欲了解有关如何使用开源 ML 的基本知识的人群。我们的目标是揭开 Hugging Face Transformers 的神秘面纱及其工作原理，这么做不是为了把读者变成机器学习从业者，而是让为了让读者更好地理解 transformers 从而能够更好地利用它。同时，我们深知实战永远是最好的学习方法，因此，我...

Mass闯关

m0_62414527的博客

11-06

775

'/'1'filename'运行该文件可以看到，已经从Hugging Face上下载了相应配置文件运行该文件我这里由于已经运行过了，所以需要再强制安装下（为了演示）至此，模型就被我们下载下来了。

Intern大模型训练营（四）：使用Hugging Face下载模型

kjnsdg的博客

11-07

1622

通过CLI上传 Hugging Face同样是跟Git相关联，通常大模型的模型文件都比较大，因此我们需要安装git lfs，对大文件系统支持。在 intern_study_L0_4 上传之前下载好的config.json，然后新建一个README.md，粘贴以下内容。创建项目，注意这里不要在之前的intern_build仓库里面创建，本人在这里踩了坑，没注意父文件夹。运行该文件，可以看到，已经从Hugging Face上下载了相应配置文件。进行创建，在创建页面中，输入项目名为。

模型和数据集的平台之在Hugging Face上进行模型下载、上传以及创建专属Space

qq_33382118的博客

02-26

753

步骤：注册Hugging Face平台新建一个hf_download_josn.py 文件编写hf_download_josn.py文件运行模型下载从Hugging Face上看下载了相应配置文件。

(新年快乐) 在HuggingFace部署大模型，魔搭上传模型——L0G4

weixin_57253447的博客

01-30

1748

文档详细介绍了如何在Hugging Face和魔搭社区平台上进行大模型的上传与部署。首先，通过Hugging Face下载大模型internlm2_5的配置文件，并使用Git工作流进行项目管理和上传。接着，使用Hugging Face的Space平台将模型部署为可交互的Web应用。文档还介绍了如何在魔搭社区平台上进行模型的下载和上传，并提供了相关的命令行操作步骤。整个过程涵盖了从模型下载、配置、上传到部署的完整流程，适合需要在机器学习平台上进行模型管理和部署的用户参考。

大模型实战入门（四）：4. 玩转Hugging Face/魔搭/魔乐平台（熟悉模型下载上传及应用上传）

Hyu_1998的博客

12-15

1226

目标：从0开始学习LLM平台：InternStudio开发机教程：书生大模型实战营提示：以下是基于书生大模型实战营（第四期）——入门岛：玩转Hugging Face/魔搭/魔乐平台（熟悉模型下载上传及应用上传）的学习内容Hugging Face 是一家专注于自然语言处理和机器学习的公司，以其开源的Transformers库而闻名该平台提供了丰富的预训练模型，支持多种语言任务，如文本生成、翻译和情感分析。HuggingFace 还致力于推动A!的民主化，鼓励开发者和研究人员共享和合作。

【Hugging Face】Hugging Face Space空间的基本使用方式

zww学习笔记

07-20

868

前面我们对Hugging Face的主要功能以及Hugging Face Hub有了基本了解，这次我们开始探索Hugging Face另一个重要的板块Space空间，这相当于一个可无限部署应用的平台。

huggingface cli 下载space内对应的项目

CherryXieのblog

01-16

573

repo_id>：Space 项目的 ID，格式为 username/space_name。通过这些步骤，你可以轻松下载 Hugging Face Space 内的项目。–local-dir=<local_directory>：指定本地保存目录。确保有访问权限，私有项目需要登录 Hugging Face 账户。–revision=main：指定分支或版本，默认为 main。–repo-type=space：指定下载类型为 Space。下载完成后，检查指定目录是否包含项目文件。

AI大模型01_Hugging Face平台介绍

https://github.com/foxpup11?tab=repositories

05-28

1246

它不仅提供了丰富的预训练模型库、高效的数据处理工具，还通过开源社区和开放API推动了AI技术的普及与创新。从快速推理到复杂微调，从研究探索到生产部署，Hugging Face提供了全方位的支持。随着技术的不断演进，Hugging Face将继续推动AI的普及与创新。它以其强大的预训练模型、易用的API和活跃的社区著称，为开发者和研究人员提供了从研究到工业级应用的完整解决方案。是Hugging Face的核心项目，支持加载和使用数千种预训练模型（如BERT、Llama、Stable Diffusion等）。

Hugging Face space 快速部署 Argilla

zwhszdx的博客

04-25

847

在部署AutoPrompt项目时我发现需要配置一个名为Argilla的注释方法项目，提供用户界面让人类注释者可以审查和修改模型的输出。Argilla是一个开源的、以数据为中心的 NLP 平台，可以用于数据标注、机器学习运维和反馈循环，旨在增强小型和大型语言模型（LLM）的开发。使用Argilla，每个人都可以使用人工和机器反馈，通过更快的数据管理来构建强大的语言模型，为 MLOps 周期中的每个步骤提供支持，从数据标记到模型监控。

Hugging Face 每周速递：Spaces 支持 Docker 和自动休眠功能

Hugging Face

12-23

887

每一周，我们的同事都会向社区的成员们发布一些关于 Hugging Face 相关的更新，包括我们的产品和平台更新、社区活动、学习资源和内容更新、开源库和模型更新等，我们将其称之为「Hugging News」。下面是本期的 Hugging News 内容：HF Spaces 正式支持 Docker现在可以在你的 Spaces 里面用上添加任意的系统依赖啦～HF Spaces 支持自动休眠功能HF S...

重磅更新！FastDatasets 现已上线 Hugging Face Spaces，零门槛体验数据集生成神器

Mumu's Blogs

08-30

558

宝子们，你们要的来了！现在可以在上免费使用了！🚀 再也不用为了体验一个数据集工具而配置复杂的环境，点击链接就能立即上手！

玩转Hugging Face/魔搭/魔乐平台

2301_81547032的博客

11-19

3696

4.Hugging Face Spaces的使用。3. GitHub CodeSpace的使用。1.注册Hugging Face 平台。2. InternLM模型下载。

Hugging Face 给普通用户提供了一个 2 vCPU 16GB 的免费空间

caoyongsheng的博客

12-08

2635

Hugging Face 给普通用户提供了一个 2 vCPU 16GB 的免费空间，并且支持部署 Gradio 构建的应用程序，非常方便，下面我们进入。

Hugging Face 离线下载模型，并使用vllm 部署

最新发布

10-22

<think>我们需要完成两个主要步骤： 1. 离线下载 Hugging Face 模型。 2. 使用 vLLM 部署下载好的模型。 ### 步骤1: 离线下载 Hugging Face 模型我们可以使用 `huggingface_hub` 库中的 `snapshot_download` 函数来下载模型。此外，也可以使用 `git-lfs` 和 `git` 命令，但使用 `snapshot_download` 更为简便。首先，安装必要的库： ```bash pip install huggingface-hub ``` 然后，编写一个Python脚本来下载模型。例如，我们要下载模型 "meta-llama/Llama-2-7b-chat-hf"（注意：需要获得授权）。 ### 步骤2: 使用 vLLM 部署模型 vLLM 是一个快速且易于使用的库，用于LLM推理和服务。安装 vLLM： ```bash pip install vllm ``` 然后，我们可以使用 vLLM 提供的 OpenAI 兼容的 API 服务来部署模型。下面是详细的步骤和代码： #### 1. 离线下载模型 ```python from huggingface_hub import snapshot_download # 设置模型名称，这里以 Llama-2 为例（需要先登录huggingface-cli，并且有权限） model_id = "meta-llama/Llama-2-7b-chat-hf" # 下载模型到本地目录 local_model_path = snapshot_download( repo_id=model_id, revision="main", # 分支或tag cache_dir="./models", # 缓存目录，也可以不指定，默认在~/.cache/huggingface/hub local_dir="./models/Llama-2-7b-chat-hf", # 指定本地目录，将模型文件复制到这里（如果指定，则会在下载后复制一份） local_dir_use_symlinks=False, # 如果不使用符号链接，则直接复制文件 ) print(f"模型已下载至: {local_model_path}") ``` 注意：如果模型需要认证，请先使用 `huggingface-cli login` 登录。 #### 2. 使用 vLLM 部署模型 vLLM 提供了命令行工具 `vllm.entrypoints.openai.api_server` 来启动一个 OpenAI 兼容的 API 服务器。我们可以指定我们下载的模型路径。 ```bash python -m vllm.entrypoints.openai.api_server \ --model ./models/Llama-2-7b-chat-hf \ --trust-remote-code \ # 如果模型需要运行自定义代码，则加上此参数 --port 8000 ``` 或者，我们可以编写一个Python脚本来启动服务器： ```python from vllm.entrypoints.openai import api_server api_server.serve( model="./models/Llama-2-7b-chat-hf", trust_remote_code=True, port=8000 ) ``` 但是，注意：vLLM 的 API 服务器通常通过命令行启动，因为它需要设置一些环境变量和参数。所以推荐使用命令行启动。 #### 3. 测试部署的模型我们可以使用 curl 或者 Python 请求来测试部署的模型。 ```bash curl http://localhost:8000/v1/completions \ -H "Content-Type: application/json" \ -d '{ "model": "./models/Llama-2-7b-chat-hf", "prompt": "San Francisco is a", "max_tokens": 7, "temperature": 0 }' ``` 或者使用 Python 代码： ```python from openai import OpenAI # 注意：这里使用OpenAI库，需要安装 openai 包（pip install openai） # 但vLLM的API服务器是兼容OpenAI API的，所以我们可以这样调用 client = OpenAI( base_url="http://localhost:8000/v1", # vLLM服务器的地址 api_key="token-abc123" # 如果服务器设置了api_key，否则可以随意填写 ) completion = client.completions.create( model="./models/Llama-2-7b-chat-hf", # 这里填写模型路径，但注意在vLLM服务器启动时已经指定了模型，所以这里其实可以忽略，或者保持一致 prompt="San Francisco is a", max_tokens=7, temperature=0 ) print(completion.choices[0].text) ``` ### 完整流程 1. 下载模型（离线环境需要先在有网络的环境中下载好，然后移动到离线环境）。 2. 使用 vLLM 部署模型（在离线环境中，确保已经安装好 vLLM 和所有依赖）。 3. 测试 API。注意：vLLM 要求 CUDA 环境，并且需要安装与 CUDA 版本匹配的 PyTorch。 ### 相关问题根据要求，我们提出以下相关问题： §§相关问题§§: 1. 如何在没有互联网的环境中下载 Hugging Face 模型？ 2. vLLM 支持哪些模型？是否支持所有 Hugging Face 模型？ 3. 使用 vLLM 部署模型时，如何启用多GPU推理？ 4. 如何监控 vLLM 服务器的性能和资源使用情况？ </think>### Hugging Face 离线下载模型并使用 vLLM 部署 #### 1. 离线下载 Hugging Face 模型使用 `snapshot_download` 方法下载模型到本地目录： ```python from huggingface_hub import snapshot_download # 下载模型（以 Meta-Llama-3-8B-Instruct 为例） snapshot_download( repo_id="meta-llama/Meta-Llama-3-8B-Instruct", local_dir="./llama-3-8b-instruct", # 本地保存路径 revision="main", # 模型版本分支 local_dir_use_symlinks="auto", # 自动处理符号链接 token="your_hf_token", # Hugging Face 访问令牌 ignore_patterns=["*.h5", "*.ot"], # 忽略非必要文件 max_workers=4 # 多线程下载 ) ``` **代码说明**： - `repo_id`: Hugging Face 模型仓库 ID - `local_dir`: 本地存储目录（建议至少 20GB 空间） - `token`: 从 [Hugging Face 设置页面](https://huggingface.co/settings/tokens) 获取 - `ignore_patterns`: 过滤非必需文件，减少下载量 - 下载完成后，目录结构包含： ``` llama-3-8b-instruct/ ├── config.json ├── model-00001-of-00002.safetensors ├── model.safetensors.index.json └── tokenizer.json ``` #### 2. 使用 vLLM 部署模型安装 vLLM（需要 CUDA 环境）： ```bash pip install vllm # 需要 Python 3.8+ 和 CUDA 11.8+ ``` 启动 API 服务器： ```bash python -m vllm.entrypoints.openai.api_server \ --model ./llama-3-8b-instruct \ # 模型路径 --tensor-parallel-size 2 \ # GPU 并行数量 --max-model-len 4096 \ # 最大上下文长度 --port 8000 \ # 服务端口 --trust-remote-code # 信任自定义代码 ``` #### 3. 测试部署服务使用 OpenAI 兼容 API 发送请求： ```python from openai import OpenAI client = OpenAI( base_url="http://localhost:8000/v1", # vLLM 服务地址 api_key="no-key-required" ) response = client.completions.create( model="./llama-3-8b-instruct", # 与启动参数一致 prompt="Explain quantum physics in simple terms:", max_tokens=256, temperature=0.7 ) print(response.choices[0].text) ``` #### 关键注意事项： 1. **硬件要求**： - GPU：推荐 A100/A10 等显存 ≥ 24GB - 显存估算：模型参数量（GB）≈ 参数量 × 2（FP16） 2. **常见问题解决**： - 显存不足：添加 `--quantization awq` 使用 4-bit 量化 - 加载失败：检查模型目录是否包含 `config.json` - 权限问题：对模型目录执行 `chmod -R 755 ./llama-3-8b-instruct` 3. **生产建议**： - 使用 Docker 容器化部署 - 添加 `--api-key YOUR_SECRET_KEY` 启用认证 - 使用 Nginx 反向代理和 SSL 加密