Orthrus：双视图扩散实现内存高效并行令牌生成，推理加速最高达 7.8 倍！

IT界那些事儿

墨衍会员 · AI 创作全网分发码龄6年

关注

转载 2026-05-16 17:07:35 68 阅读 AI 写同款· GEO 优化 ›

VLOOKUP_fixed.py 立即下载

导航菜单

切换导航登录外观设置

平台

AI 代码创作

开发者工作流

应用程序安全

探索

查看所有功能

解决方案

按公司规模划分

按用例划分

按行业划分

查看所有解决方案

资源

按主题探索

按类型探索

支持与服务

查看所有资源

开源

社区

GitHub Sponsors：资助开源开发者

项目

仓库

企业

企业解决方案

企业平台：由 AI 驱动的开发者平台

可用附加组件

[定价]

定价

搜索或跳转至...

搜索代码、仓库、用户、问题、拉取请求... 搜索清除搜索语法提示

提供反馈

我们会阅读每一条反馈，并认真对待您的意见。包含我的电子邮件地址，以便与我联系取消提交反馈

保存的搜索

使用保存的搜索可以更快地筛选结果名称查询要查看所有可用的限定符，请参阅我们的文档。取消创建保存的搜索登录注册外观设置重置焦点您在另一个标签页或窗口中登录。重新加载以刷新您的会话。您在另一个标签页或窗口中注销。重新加载以刷新您的会话。您在另一个标签页或窗口中切换了账户。重新加载以刷新您的会话。关闭提醒 {{ message }} chiennv2000 / orthrus 公开

其他导航选项

chiennv2000/orthrus

主分支分支标签转到文件代码打开更多操作菜单

文件夹和文件

名称	名称	最后提交消息	最后提交日期

仓库文件导航

- README - MIT 许可证

Orthrus：通过双视图扩散实现内存高效的并行令牌生成

Orthrus 是一个双架构框架，它将自回归大语言模型（LLM）的精确生成保真度与扩散模型的高速并行令牌生成能力相结合，这里是其官方实现和模型检查点。 demo_orthrus.mp4

模型库

所有模型均使用 Qwen3 骨干网络，并保证 严格无损生成。

模型	基础模型	HuggingFace	平均加速比
Orthrus-Qwen3-1.7B	Qwen3-1.7B	🤗 HuggingFace	4.25×
Orthrus-Qwen3-4B	Qwen3-4.0B	🤗 HuggingFace	5.20×
Orthrus-Qwen3-8B	Qwen3-8.0B	🤗 HuggingFace	5.36×

安装

uv pip install -e .uv pip install ninja packaginguv pip install flash-attn --no-build-isolation # 如果您的设备支持，也可以使用：pip install "flash-attn-4[cu13]"

> 我们推荐使用 [`uv`] 进行快速依赖解析。

快速开始

import torchfrom transformers import AutoModelForCausalLM, AutoTokenizer, TextStreamer model = AutoModelForCausalLM.from_pretrained(    "chiennv/Orthrus-Qwen3-8B",    dtype=torch.bfloat16, device_map="cuda",    attn_implementation="flash_attention_2",  # 如果您的系统支持，也可以使用 flash_attention_4    trust_remote_code=True,).eval()tokenizer = AutoTokenizer.from_pretrained("chiennv/Orthrus-Qwen3-8B") prompt = "编写一个程序来统计段落中每个单词的出现频率。"messages = [{"role": "system", "content": ""}, {"role": "user", "content": prompt}]input_ids = tokenizer.apply_chat_template(messages, return_tensors="pt", add_generation_prompt=True, enable_thinking=False).input_ids output_ids = model.generate(    input_ids=input_ids.to(model.device),     max_new_tokens=2048,    use_diffusion_mode=True,     streamer=TextStreamer(tokenizer, skip_prompt=True) # 启用流式生成)

> 即将推出：与 [vLLM] 和 [SGLang] 的原生集成即将推出，敬请期待！

主要优势

显著的推理加速：打破了标准自回归解码的顺序瓶颈，在生成任务上实现高达 7.8 倍的加速。
严格无损生成：采用精确的模型内共识机制，确保输出与原始基础模型的精确预测分布相匹配。
零冗余内存开销：自回归和扩散视图都原生地关注完全相同的高保真键值（KV）缓存，仅产生 $O(1)$ 的内存缓存开销。
参数高效：通过仅微调 16% 的模型总参数，同时保持基础 LLM 严格冻结，注入并行生成能力。

性能比较：Orthrus 与推测解码

Orthrus 优于 EAGLE-3、DFlash 等推测解码方法。通过在双视图中原生共享完全相同的 KV 缓存，Orthrus 避免了草稿模型的冗余内存开销，从而显著提高了令牌接受率和推理速度，尤其是在上下文长度增加时。 左图：与 EAGLE-3 和 DFlash 相比，每次前向传播的平均验证令牌数。右图：与 DFlash 相比，在不同上下文长度下的模拟生成时间。

与最先进的扩散模型比较

尽管近期的扩散语言模型（dLLM）提供了并行解码功能，但它们在复杂推理任务上往往会出现显著的条件漂移和严重的精度下降。Orthrus 通过将并行生成与顺序约束解耦，为并行生成保真度树立了新的标杆。 MATH-500 上的吞吐量与准确率。Orthrus 比 Qwen3-8B 基线实现了约 6 倍的加速，且性能严格无损，而 Fast-dLLM-v2 等改编模型则出现了显著的准确率下降。

引用

如果您在工作中发现此模型或架构有用，请引用我们的[论文]：

@misc{vannguyen2026orthrusmemoryefficientparalleltoken,    title={Orthrus: Memory-Efficient Parallel Token Generation via Dual-View Diffusion},     author={Chien Van Nguyen and Chaitra Hegde and Van Cuong Pham and Ryan A. Rossi and Franck Dernoncourt and Thien Huu Nguyen},    year={2026},    eprint={2605.12825},    archivePrefix={arXiv},    primaryClass={cs.LG},    url={https://arxiv.org/abs/2605.12825}, }