12、模型优化：知识蒸馏与超参数调优

模型优化：知识蒸馏与超参数调优

1. 模型性能基准测试

在进行模型优化之前，我们需要对模型的性能进行基准测试，以便后续对比不同优化方法的效果。我们可以使用 perf_counter 来测量模型的延迟。以下是具体代码：

from time import perf_counter 

for _ in range(3): 
    start_time = perf_counter() 
    _ = pipe(query) 
    latency = perf_counter() - start_time 
    print(f"Latency (ms) - {1000 * latency:.3f}")

运行上述代码后，我们可能会得到类似如下的结果：

Latency (ms) - 64.923 
Latency (ms) - 47.636 
Latency (ms) - 47.344

可以看到，单次运行的延迟结果波动较大。为了更准确地评估模型的延迟，我们可以多次运行并计算平均值和标准差。以下是实现该功能的代码：

import numpy as np 

def time_pipeline(self, query="What is the pin number for my account?"): 
    latencies = [] 
    # Warmup