人工智能 | Hugging Face 的应用

大纲

Hugging-Face 介绍

• Hugging-Face 大语言模型 LLM 管理

• Transformers 机器学习框架

• 文本生成推理 (TGI)

Hugging Face

Hugging-Face -- 大语言模型界的 Github

Hugging Face 专门开发用于构建机器学习应用的工具。该公司的代表产品是其为自然语言处理应用构建的 transformers 库，以及允许用户共享机器学习模型和数据集的平台

大模型平台 hugging face

国内对标 -- 百度千帆

百度智能云千帆大模型平台（以下简称千帆或千帆大模型平台）是面向企业开发者的一站式大模型开发及服务运行平台。千帆不仅提供了包括文心一言底层模型和第三方开源大模型，还提供了各种 AI 开发工具和整套开发环境，方便客户轻松使用和开发大模型应用。支持数据管理、自动化模型 SFT 以及推理服务云端部署的一站式大模型定制服务，助力各行业的生成式 AI 应用需求落地。

 百度千帆

国内对标 -- 魔搭社区

ModelScope 社区成立于 2022 年 6 月，是一个模型开源社区及创新平台，由阿里巴巴通义实验室（Institute for Intelligent Computing），联合 CCF 开源发展委员会，共同作为项目发起方。社区联合国内 AI 领域合作伙伴与高校机构， 致力于通过开放的社区合作，构建深度学习相关的模型开源社区，并开放相关模型创新技术，推动基于“模型即服务”（Model-as-a-Service）理念的模型应用生态的繁荣发展。

Hugging Face 是行业风向标

• 开发者仓库 Hub

• 机器学习模型 Hub

• 数据集 Hub

• 机器学习算法库与封装工具

• 解决方案

• 文档

大语言模型管理

通过 Git 下载大模型

git lfs install#模型会下载到本地目录，并不在hugging face的标准管理目录里，可能会导致后续Transformers库重新下载git clone https://huggingface.co/google/owlv2-base-patch16-ensemble

客户端工具 huggingface_hub​​​​​​​

python -m pip install huggingface_hub# 需要开启代理huggingface-cli login

高速下载​​​​​​​

python -m pip install huggingface_hub[hf_transfer]
#缺点：目前还不支持代理，导致下载大文件可能有时候更慢。export HF_HUB_ENABLE_HF_TRANSFER=1
huggingface-cli download gpt2 config.json

huggingface-cli 用法​​​​​​​

(base) hogwarts: llama