利用HuggingFace一键模型部署功能，快速构建语音助手

1-Click Models（即一键模型部署功能）是由DigitalOcean与Hugging Face联合推出的新方案，旨在通过云端最强大的GPU轻松调用顶尖开源大语言模型（LLMs）。用户无需复杂配置即可直接使用最佳模型。

本教程将指导您开发一个支持语音功能的个人助手应用，该应用基于Gradio框架并集成FastAPI。您将学习如何：

• 调用1-Click Model GPU Droplet
• 使用语音识别与合成技术实现语音交互
• 通过API扩展功能

1-Click HuggingFace模型与GPU Droplets

可用模型列表

当前1-Click Models提供以下LLM选项（按应用场景分类）：

• Meta系列：Llama-3.1系列（8B/70B/405B参数）
• Qwen系列：Qwen2.5-7B-Instruct
• Gemma系列：Gemma-2-9b/27b-it
• Mixtral系列：8x7B/8x22B-Instruct
• Hermes系列：Llama-3.1-8B/70B/405B及Mixtral-8x7B-DPO

部署步骤

1. 按照官方文档或我们往期博客创建GPU Droplet实例
2. 可在Bilibili搜索“如何使用DigitalOcean GPU Droplets的一键部署Huggingface模型”观看配套视频教程，获取完整操作指引，同时通过DigitalOcean后台资源页面确认最新的模型列表及费用。
3. 如果你的团队用量较大，或计划长时间使用GPU Droplet云服务器，还可签订优惠价格，具​体可咨询DigitalOcean中国区独家战略合作伙伴卓普云。​

GPU Droplet 实例启动后，进入下一步交互配置。

与一键模型部署进行交互

如果我们想在同一台机器上与其进行交互，连接到一键模型部署是非常简单的。“当连接到 HUGS Droplet 时，初始的 SSH 消息将显示一个 Bearer Token（持有者令牌），该令牌是向已部署的 HUGS Droplet 公共 IP 发送请求所必需的。然后你可以通过 localhost（如果你在 HUGS Droplet 内部连接）或其公共 IP 向消息 API 发送请求。”（来源）。因此，如果我们要从其他机器访问 Droplet，则需要获取这个 Bearer Token。使用 SSH 连接到你的机器以获取该令牌的副本，并将其保存以备后用。

如果我们只是想从我们的 GPU Droplet 向推理端点发送请求，事情就变得相当简单了。该变量已经保存到了环境变量中。

一旦我们在我们选择使用的机器上设置了 Bearer Token 变量，我们就可以开始对模型进行推理了。目前有两种方式进行操作：cURL 和 Python。端点将自动运行于端口 8080，因此我们可以默认向我们的机器发送请求。如果我们使用的是不同的机器，请将下面的 localhost 值更改为 IPv4 地址。

cURL

curl http://localhost:8080/v1/