DeepSparse调度器：优化推理性能的核心技术解析

DeepSparse调度器：优化推理性能的核心技术解析

deepsparse Sparsity-aware deep learning inference runtime for CPUs 项目地址: https://gitcode.com/gh_mirrors/de/deepsparse

引言

在深度学习推理领域，如何高效利用计算资源是提升性能的关键。DeepSparse项目通过创新的调度器设计，为CPU环境下的模型推理提供了强大的性能优化能力。本文将深入解析DeepSparse中的调度器技术，帮助开发者根据实际场景选择最优的调度策略。

调度器基础概念

调度器是计算机系统中负责任务分配的核心组件，在并行计算中尤为重要。DeepSparse的调度器主要解决以下核心问题：

1. 如何将推理任务合理分配到各个CPU核心
2. 如何避免计算资源闲置
3. 如何平衡延迟与吞吐量

DeepSparse提供了两种主要的调度策略：单流调度（Single Stream）和多流调度（Multi-Stream），各有其适用场景和优化目标。

单流调度器（Single Stream）

基本特性

单流调度器是DeepSparse的默认选项，其设计目标是：

• 最小化单个请求的延迟
• 最大化单个请求的资源利用率
• 自动将大batch请求的工作负载分配到所有可用核心

工作原理

当请求到达时，单流调度器会：

1. 获取当前所有可用计算资源
2. 将请求的计算图分解为可并行执行的任务
3. 动态调度这些任务到各个CPU核心

适用场景

单流调度器最适合以下情况：

• 对单个请求的响应时间敏感的应用
• 批处理大小较大的推理任务
• 计算图本身具有较高并行度的模型

性能特点

请求1 ────完整占用所有核心────> 
请求2 ────完整占用所有核心────>
请求3 ────完整占用所有核心────>

多流调度器（Multi-Stream）

基本特性

多流调度器针对不同的优化目标设计：

• 提高系统整体吞吐量
• 处理并行度较低的推理任务
• 支持多个请求同时处理

工作原理

多流调度器将计算资源划分为多个独立的"流"（Stream），每个流包含一组连续的核心。当多个请求同时到达时：

1. 每个请求被分配到一个独立的流
2. 各流并行处理各自的请求
3. 流内部使用分配的核心资源处理请求

关键参数：num_streams

num_streams参数控制资源划分方式，开发者需要注意：

1. 默认值会根据系统的L3缓存结构自动优化
2. 手动设置时应考虑CPU的物理拓扑结构
3. 理想情况下num_streams应能整除核心数

适用场景

多流调度器最适合以下情况：

• 模型本身的并行度较低
• 需要同时处理多个独立请求
• 构建模型服务器等并发场景

性能特点

请求1 ──流1(核心0-3)──> 
请求2 ──流2(核心4-7)──> 
请求3 ──流3(核心8-11)─>

调度器选择指南

何时选择单流调度

1. 追求最低单请求延迟
2. 处理大batch size请求
3. 计算图具有高并行度
4. 请求到达模式为串行

何时选择多流调度

1. 需要提高系统整体吞吐量
2. 模型并行度较低
3. 需要处理并发请求
4. 请求到达模式为异步

性能诊断技巧

1. 增加核心数但延迟未降低 → 考虑多流调度
2. 系统资源利用率不足 → 尝试多流调度
3. 单请求延迟过高 → 使用单流调度

实践示例

基础使用

# 使用单流调度器
engine = compile_model(model_path, scheduler="single_stream")

# 使用多流调度器(自动配置)
engine = compile_model(model_path, scheduler="multi_stream")

# 使用多流调度器(手动配置4个流)
engine = compile_model(
    model_path, 
    scheduler="multi_stream",
    num_streams=4
)

高级配置建议

1. 在NUMA架构系统中，确保每个流完全位于一个NUMA节点内
2. 监控L3缓存命中率，调整流数量以避免缓存争用
3. 对于超线程CPU，考虑显式控制是否使用超线程核心

底层原理深入

资源划分机制

DeepSparse的多流调度器采用以下策略划分资源：

1. 首先识别CPU的物理拓扑结构（socket、core、thread）
2. 根据num_streams参数创建资源分区
3. 确保每个分区内的核心具有紧密的物理连接

性能优化点

1. 数据局部性：尽量使计算访问的数据位于同一NUMA节点
2. 缓存友好：流划分考虑L3缓存共享域
3. 负载均衡：动态调整各流的负载

总结

DeepSparse的调度器技术为CPU推理提供了精细化的资源控制能力。理解单流和多流调度器的特点，结合实际应用场景做出合理选择，可以显著提升模型的推理性能。对于大多数追求低延迟的场景，默认的单流调度器是最佳选择；而在需要处理并发请求或模型并行度较低时，多流调度器能更好地利用系统资源。

deepsparse Sparsity-aware deep learning inference runtime for CPUs 项目地址: https://gitcode.com/gh_mirrors/de/deepsparse