92、评估代码生成操作带来的性能提升

本文评估了通过代码生成操作对模型性能的提升。虽然在某些情况下提升不明显,主要原因是编译器的高级优化以及生成代码与原有逻辑相似。然而,代码生成技术在TVM、MLIR等推理框架中被广泛应用,特别是在AI加速器硬件上,能够显著提高性能。推荐对TVM或MLIR感兴趣的人深入研究,以了解更多的优化可能性。

本节评估一下,通过代码生成操作之后,对于模型的性能提升。

评估下性能

在相同的环境下,分别运行 4th_no_malloc 和 5th_codegen 下的 compile.sh 脚本进行代码编译,然后运行编译后生成的可执行文件 ./resnet。

可以分别获取到权值预加载前后的性能指标。

注意:不同电脑机器不同环境下测出来的性能会有差异,大家只需要比对性能提升的相对值即可。

可以看到和之前的几个优化相比,性能有点提升但不是很明显。

这是因为以下几个原因。

1 之前的代码和 codegen 生成的代码,在利用 g++ 进行编译时都开启了 -Ofast 优化,优化等级很高。编译器已经把很多无用的中间临时变量,分支预测和跳转给优化的很好了,所以 codegen 对于这些地方带来的优化提升并不明显。

2 细心的同学可能发现了,生成的代码和原来的逻辑是一样的,区别最大的地方就在于把原来的一些函数,比如co

评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

董董灿是个攻城狮

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值