68、python - 第一版手写代码性能评估

上一节介绍了吞吐和延时这两个评价神经网络模型性能的指标。

这一节利用这两个参数，来实际评测一下我们自己手写的模型的性能到底如何？

注：因为代码是跑在自己的电脑上，大家基本也都是CPU环境，即使是相同的代码，在不同的电脑上运行得出的性能指标也会有较大差异。差异主要来源于电脑配置以及运行负载。建议自己测试性能时，将其他无关程序都关闭，最大程度上保证自己性能测试的环境一致性。

吞吐和延时的计算公式

延时 Latency：预测一张图片花费的时间，单位（ms）,因此，延时计算公式为：

Latency = total_time / N

其中， N 为预测的图片张数，total_time 为预测 N 张图片的总时间，单位为 ms。

吞吐 Throughput: 单位时间内（1秒钟）可以处理的图片数。因此，吞吐的计算公式为：

Throughput = (1000 / Latency)

注：吞吐和延时的详细关系，查看上一节内容，在我们的这个推理的例子里，两者可以利用上面的公式来计算。

预测下我们手写的模型性能

我在 python/infer.py 文件中，增加了计算吞吐和延时的逻辑，如下图红框标注所示。