【tvm官网教程】AutoSchedule:无模板的自动调度

本文介绍了无模板自动调度器在GPU卷积层和x86 CPU上的应用。自动调度器无需手动设计搜索空间,用户只需编写计算声明。在GPU上,调度器无需模板但需指定调度参数;而在CPU上,网络被切分成子图,每个子图单独优化。通过任务调度器分配时间资源并预测端到端执行时间,以提高性能。建议使用NHWC布局以获得最佳性能。

【tvm官网教程】AutoSchedule:无模板的自动调度

目的

autotvm是基于模板的调优,效果依赖于手动设计的搜索空间。
auto-scheduler不再基于模板,用户只需要编写计算声明,而无需任何调度命令或模板。auto-scheduler可以自动生成一个较大的搜索空间,并在该空间中找到良好的调度。

1. 自动调度GPU的卷积层

不需要定义搜索空间,但是还是要指定一些调度参数,知道在搜索过程中如何进行测量。

定义计算:

@auto_scheduler.register_workload
def conv2d_layer(N, H, W, CO, CI, KH, KW, stride, padding):
    #### 计算声明
    return [data, kernel, bias, out]

创建搜索任务:

target = tvm.target.Target("cuda")
N, H, W, CO, CI, KH, KW, strides, padding = 1, 7, 7, 512, 512, 3, 3, (1, 1), (1, 1)
task = auto_scheduler
E40021: Failed to compile Op [/model.25/SWS/att/Pow_3/Square/SquareSumV2,[/model.25/SWS/att/ReduceSum_3,/model.25/SWS/att/ReduceSum_3,/model.25/SWS/att/Pow_3]]. (oppath: [Compile /usr/local/Ascend/ascend-toolkit/7.0.RC1/opp/built-in/op_impl/ai_core/tbe/impl/square_sum_v2.py failed with errormsg/stack: File "/usr/local/Ascend/ascend-toolkit/7.0.RC1/python/site-packages/tbe/tvm/_ffi/_ctypes/packed_func.py", line 239, in __call__ raise get_last_ffi_error() tvm._ffi.base.TVMError: {'errClass': 'EmitInsn Error', 'errCode': '[EB4000]', 'message': 'Traceback (most recent call last): 13: TVMFuncCall 12: 0x0000e7ffc4fd24f3 11: ascend_tvm::LowerSchedule(ascend_tvm::te::Schedule, ascend_tvm::runtime::Array<ascend_tvm::runtime::ObjectRef, void> const&, std::string const&, std::unordered_map<ascend_tvm::te::Tensor, ascend_tvm::tir::Buffer, std::hash<ascend_tvm::te::Tensor>, std::equal_to<ascend_tvm::te::Tensor>, std::allocator<std::pair<ascend_tvm::te::Tensor const, ascend_tvm::tir::Buffer> > > const&, ascend_tvm::PrimExpr, bool) 10: ascend_tvm::LowerWithPassList(ascend_tvm::IRModule, ascend_tvm::runtime::Array<ascend_tvm::transform::Pass, void>) 9: ascend_tvm::transform::Pass::operator()(ascend_tvm::IRModule) const 8: ascend_tvm::transform::Pass::operator()(ascend_tvm::IRModule, ascend_tvm::transform::PassContext const&) const 7: ascend_tvm::transform::SequentialNode::operator()(ascend_tvm::IRModule, ascend_tvm::transform::PassContext const&) const 6: ascend_tvm::transform::Pass::operator()(ascend_tvm::IRModule, ascend_tvm::transform::PassContext const&) const 5: ascend_tvm::tir::transform::PrimFuncPassNode::operator()(ascend_tvm::IRModule, ascend_tvm::transform::PassContext const&) const 4: 0x0000e7ffc758a91f 3: ascend_tvm::tir::ReuseBuf(ascend_tvm::tir::Stmt) File "reuse_buf.cc", line 126
07-15
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值