Inter-Operator Scheduler (IOS) 使用教程-优快云博客

本文链接：https://blog.youkuaiyun.com/gitblog_01115/article/details/147346459

Inter-Operator Scheduler (IOS) 使用教程

inter-operator-scheduler [MLSys 2021] IOS: Inter-Operator Scheduler for CNN Acceleration 项目地址: https://gitcode.com/gh_mirrors/in/inter-operator-scheduler

1. 项目介绍

Inter-Operator Scheduler（IOS）是一个用于CNN加速的调度器，它专注于优化算子间的并行执行。现有的深度学习框架主要关注于算子内并行化，但在高性能硬件快速发展的背景下，单个算子已无法完全利用可用的并行性。IOS通过动态规划技术，自动调度多个算子的并行执行，从而提高CNN推理的性能。实验结果显示，IOS在各种现代CNN基准测试中，比现有先进库（如TensorRT）性能提高了1.1到1.5倍。

2. 项目快速启动

2.1 环境准备

在开始之前，请确保您的系统已安装以下依赖：

CMake 3.10 或更高版本
CUDA Toolkit 10.0 或更高版本
cuDNN 7.6.5 或更高版本

2.2 构建IOS运行时

首先，从GitHub克隆IOS源代码：

git clone https://github.com/mit-han-lab/inter-operator-scheduler.git ios
cd ios

然后构建IOS运行时：

mkdir build
cd build
cmake ..
make -j4
cd ..

2.3 安装IOS Python包

IOS运行时构建完成后，运行以下命令安装IOS Python包：

cd python
python setup.py install --user

2.4 使用示例

以下是一个简单的示例，展示了如何定义计算图、优化执行调度，并在IOS运行时上执行网络：

import numpy as np
import ios

def sample_network():
    v = ios.placeholder(output_shape=(375, 15, 15))
    block = ios.Block(enter_node=v.node)
    v1 = ios.conv2d(block, inputs=[[v]], out_channels=375, kernel=(3, 3), stride=(1, 1), padding=(1, 1), act='relu')
    v2 = ios.conv2d(block, inputs=[[v]], out_channels=750, kernel=(3, 3), stride=(1, 1), padding=(1, 1), act='relu')
    v3 = ios.conv2d(block, inputs=[[v]], out_channels=375, kernel=(3, 3), stride=(1, 1), padding=(1, 1), act='relu')
    v1 = ios.conv2d(block, inputs=[[v1]], out_channels=750, kernel=(3, 3), stride=(1, 1), padding=(1, 1), act='relu')
    out = ios.identity(block, inputs=[[v1], [v2], [v3]], is_exit=True)
    graph = ios.Graph(name="demo", input=v.node, blocks=[block])
    graph.init_weights()
    return graph

# 定义计算图
graph = sample_network()

# 优化执行调度
optimized_graph = ios.optimize(graph, batch_size=1, opt_type='dp_parallel', compute_weight=True)

# 测量延迟
graph.sequential_schedule()
seq_latency, stage_latency = ios.ios_runtime.graph_latency(graph, batch_size=1, repeat=6, profile_stage=True)
print(f'Sequential schedule: {np.mean(seq_latency):.3f} ms')
print(f'      Stage latency: {np.mean(np.array(stage_latency).reshape(6, -1), axis=0)}\n')

opt_latency, stage_latency = ios.ios_runtime.graph_latency(optimized_graph, batch_size=1, repeat=6, profile_stage=True)
print(f'Optimized schedule: {np.mean(opt_latency):.3f} ms')
print(f'     Stage latency: {np.mean(np.array(stage_latency).reshape(6, -1), axis=0)}')

# 在IOS运行时上进行推理
dummy_inputs = np.random.randn(1, 375, 15, 15)
output = ios.ios_runtime.graph_inference(optimized_graph, batch_size=1, input=dummy_inputs)