Xorbits AI Inference 中的连续批处理技术解析

Xorbits AI Inference 中的连续批处理技术解析

inference Replace OpenAI GPT with another LLM in your app by changing a single line of code. Xinference gives you the freedom to use any LLM you need. With Xinference, you're empowered to run inference with any open-source language models, speech recognition models, and multimodal models, whether in the cloud, on-premises, or even on your laptop. 项目地址: https://gitcode.com/gh_mirrors/in/inference

什么是连续批处理

连续批处理(Continuous Batching)是一种在模型推理服务中提高吞吐量的优化技术。与传统的静态批处理不同，连续批处理能够动态地将多个请求组合在一起进行处理，显著提升硬件资源利用率。

在Xorbits AI Inference项目中，这项技术已经被集成到transformers引擎中，为用户提供更高效的模型推理体验。

技术优势

1. 动态请求合并：能够实时将新到达的请求加入正在处理的批次中
2. 资源高效利用：最大化GPU/CPU的计算能力，减少空闲等待
3. 低延迟高吞吐：在保持较低延迟的同时显著提高系统吞吐量

启用方法

对于LLM模型

从0.16.0版本开始，连续批处理功能默认启用，无需额外配置。如需手动控制，可通过以下方式启动：

xinference-local --log-level debug

启动模型时指定transformers引擎：

from xinference.client import Client
client = Client("http://127.0.0.1:9997")
model_uid = client.launch_model(
    model_engine="transformers",
    model_name="qwen1.5-chat",
    model_format="pytorch",
    model_size_in_billions=4,
    quantization="none"
)

对于图像模型

目前仅支持FLUX.1系列模型的text_to_image接口。启用时需要设置环境变量指定生成图像尺寸：

XINFERENCE_TEXT_TO_IMAGE_BATCHING_SIZE=1024*1024 xinference-local --log-level debug

请求中断功能

连续批处理模式下支持中断正在处理的请求：

1. 首先在生成配置中添加request_id：

model.chat(
    [{"role": "user", "content": "你的问题"}],
    generate_config={"request_id": "unique_id_123"}
)

2. 然后使用该request_id中断请求：

client.abort_request("<model_uid>", "unique_id_123")

注意：已完成处理的请求无法被中断。

当前支持范围

语言模型支持

• 文本生成(generate)
• 对话(chat)
• 工具调用(tool call)
• 视觉任务(vision)

视觉模型支持

• 目前仅支持FLUX.1系列的文生图(text_to_image)任务

视觉任务模型支持

• qwen2-vl-instruct
• qwen2.5-vl-instruct
• QvQ-72B-Preview
• glm-4v
• MiniCPM-V-2.6(仅图像任务)

性能注意事项

1. GPU内存消耗：连续批处理会占用更多GPU内存，请根据硬件配置合理调整并发请求数
2. 并发控制：可通过launch_model接口的max_num_seqs参数调整并发级别，默认值为16
3. 模型兼容性：不同模型对批处理的优化效果可能有所差异

最佳实践建议

1. 对于高并发场景，建议逐步增加并发数并监控资源使用情况
2. 针对特定模型，可通过实验找到最优的max_num_seqs值
3. 对于长时间运行的推理任务，合理使用请求中断功能可以节省计算资源

Xorbits AI Inference的连续批处理技术为大规模模型部署提供了高效的解决方案，开发者可以根据实际需求灵活配置，在资源利用率和响应延迟之间取得最佳平衡。

inference Replace OpenAI GPT with another LLM in your app by changing a single line of code. Xinference gives you the freedom to use any LLM you need. With Xinference, you're empowered to run inference with any open-source language models, speech recognition models, and multimodal models, whether in the cloud, on-premises, or even on your laptop. 项目地址: https://gitcode.com/gh_mirrors/in/inference