本节评估一下,通过删除字符串拼接操作和移除所有内存的动态申请操作之后,对于模型的性能提升。
评估下性能
在相同的环境下,分别运行 3rd_preload 和 4th_no_malloc 下的 compile.sh 脚本进行代码编译,然后运行编译后生成的可执行文件 ./resnet。
可以分别获取到权值预加载前后的性能指标。
可以看到性能提升非常明显:优化前平均推理延时为 875ms,优化后为 742 ms,性能提升了大概 15%,还是很不错的。
注意:不同电脑机器不同环境下测出来的性能会有差异,大家只需要比对性能提升的相对值即可。