【免费下载链接】Hy3
Hy3 (295B A21B), a leading reasoning and agent model in its size, with great cost efficiency.
本文介绍如何用 SGLang 部署 Hy3 大模型：涵盖环境准备、8 卡显存规划、MTP 推测解码参数与推理调优，帮助新手快速搭建稳定高效的生产级推理服务。
一、Hy3 模型简介：为什么值得部署？
Hy3 是腾讯混元团队开源的快慢思考融合 MoE 大模型：总参数量 295B、激活参数仅 21B，另带 3.8B 的 MTP（Multi-Token Prediction）层参数。它支持 256K 上下文，在编码、智能体、长文本等生产力任务上比肩参数规模为它 2～5 倍的旗舰模型，且推理成本显著更低。
| 核心属性 | 值 |
|---|---|
| 架构 | 混合专家（MoE），192 专家、top-8 激活 |
| 总参 / 激活参数量 | 295B / 21B |
| MTP 层 | 1 层（3.8B 参数） |
| 上下文长度 | 256K |
| 支持精度 | BF16（另有官方 FP8 权重 Hy3-FP8） |
💡 官方同时开源了 Hy3（Instruct）与 Hy3-FP8（FP8 量化）两个版本，生产环境可按显存预算二选一。
二、硬件要求与显存规划
- Hy3 总参数 295B，BF16 权重约需 600GB 级显存，官方建议 8 张 H20-3e 或显存更大的 GPU。
- 显存紧张？直接改用官方 Hy3-FP8 权重，显存占用近乎减半，效果损失极小，是性价比最高的方案。
- 长上下文（256K）会显著放大 KV Cache 占用，上线前请预估你的最大并发与上下文长度。
三、SGLang 安装与服务启动命令
按照 SGLang 官方文档从源码安装后（注意需要 transformers>=5.6.0），执行以下命令即可启动 Hy3 推理服务：
python3 -m sglang.launch_server \
--model tencent/Hy3 \
--tp-size 8 \
--tool-call-parser hunyuan \
--reasoning-parser hunyuan \
--speculative-num-steps 2 \
--speculative-eagle-topk 1 \
--speculative-num-draft-tokens 3 \
--speculative-algorithm EAGLE \
--port 8000 \
--served-model-name hy3
关键参数速查：
| 参数 | 作用 |
|---|---|
--tp-size 8 | 8 路张量并行，权重切分到 8 张卡 |
--tool-call-parser hunyuan | 解析 Hy3 的工具调用（Function Call）输出 |
--reasoning-parser hunyuan | 分离思考链与正文，兼容 OpenAI 风格推理接口 |
--speculative-algorithm EAGLE | 启用 EAGLE 推测解码，复用 Hy3 自带 MTP 层 |
--speculative-num-steps / topk / num-draft-tokens | 推测解码步数、候选数与草稿 token 数 |
--served-model-name hy3 | API 中的模型名 |
四、MTP 推测解码调优要点 ⚡
Hy3 最大的部署红利是 MTP 层：它让模型在每步额外"预写"后续 token，SGLang 通过 EAGLE 算法将其转化为推测解码，实测可显著提升 MoE 模型的出字速度。调优建议：
- 默认参数先跑通：官方推荐的
num-steps=2、topk=1、num-draft-tokens=3是验证过的均衡配置。 - 显存有富余：可适当上调
--speculative-num-steps，换取更高接受率与吞吐。 - 接受率偏低：说明草稿质量不足，调小
--speculative-num-draft-tokens反而更快。 - 多机部署：TP 扩展到 16/32 卡时，配合流水线并行（PP）参数，优先保证单卡 KV Cache 空间。
五、OpenAI 兼容 API 调用与推理参数调优
服务启动后，任意 OpenAI SDK 客户端改一下 base_url 即可接入：
from openai import OpenAI
client = OpenAI(base_url="http://127.0.0.1:8000/v1", api_key="EMPTY")
response = client.chat.completions.create(
model="hy3",
messages=[{"role": "user", "content": "你好！请简单介绍一下你自己。"}],
temperature=0.9,
top_p=1.0,
extra_body={"chat_template_kwargs": {"reasoning_effort": "no_think"}},
)
print(response.choices[0].message.content)
采样与思考模式推荐参数：
| 参数 | 推荐值 | 说明 |
|---|---|---|
temperature | 0.9 | 官方推荐采样温度 |
top_p | 1.0 | 官方推荐核采样 |
reasoning_effort | no_think / low / high | 快思考直接回复；数学、编程、复杂推理用 high 开启深度思考链 |
六、生产环境上线检查清单 ✅
| 检查项 | 建议 |
|---|---|
| 工具调用 | 确认 --tool-call-parser hunyuan 已开启，Agent 场景必配 |
| 思考链解析 | 确认 --reasoning-parser hunyuan，避免思考内容混入正文 |
| 显存余量 | BF16 显存不足时切换 Hy3-FP8 权重 |
| 长上下文 | 按业务峰值设置最大上下文，预留 KV Cache 空间 |
| 服务探活 | 定期请求健康检查接口，纳入监控告警 |
| 模型名 | --served-model-name hy3 与客户端 model 字段保持一致 |
七、延伸阅读：微调、强化学习与量化
部署之外，仓库还内置了完整的训练生态，方便你在 Hy3 基础上做私有化定制：
- 模型微调：支持 DeepSpeed / LLaMA-Factory / ms-swift 三条路线，详见 finetune/README_CN.md，训练数据样例可参考 finetune/data/example_data.jsonl
- 强化学习：基于 verl 的 GRPO 训练流程，见 rl/README_CN.md
- 权重格式转换：finetune/tools/convert_ckpt_to_outer.py 可将原始 checkpoint 融合为标准格式，加速加载
- 完整部署命令与说明：README_CN.md
总结
用 SGLang 部署 Hy3 的核心就三件事：8 卡大显存（或 FP8 权重）、MTP 推测解码三参数、hunyuan 双 parser。按本文清单配置，你就能在生产环境中稳定运行这个 295B 高性价比 MoE 模型，并通过 reasoning_effort 灵活切换快慢思考模式，兼顾响应速度与推理深度。
【免费下载链接】Hy3
Hy3 (295B A21B), a leading reasoning and agent model in its size, with great cost efficiency.
创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
