如何评定 Ollama 本地部署 DeepSeek-R1-Distill-Qwen-1.5B 模型的运行速度和稳定性的方法

前提概要：

需要在无网络的情况下，本地部署LLM。在出具可行性方案之前，需要对LLM的速度和稳定性有量化的评价指标。

评定本地运行速度的方法

1. 使用 Ollama 自带的性能测试工具

• Ollama 提供了性能测试工具，可以在模型运行时自动收集性能数据，包括推理速度、延迟等指标。通过这些数据可以评估模型的运行速度。例如，在部署模型后，可以使用 Ollama 的命令行界面输入相关命令来启动性能测试工具，获取模型的性能报告。

2. 记录推理时间

• 在模型运行过程中，记录从输入请求到获得输出结果所花费的时间，即推理时间。可以通过编写脚本或使用日志记录工具来实现。例如，在模型处理每个请求时，记录开始时间和结束时间，计算两者之间的差值作为推理时间。这种方法可以直观地反映模型的运行速度。

3. 使用吞吐量指标

• 吞吐量是指模型在单位时间内能够处理的请求数量。可以通过在一定时间内发送大量请求，并记录模型成功处理的请求数量来计算吞吐量。例如，在一分钟内发送 1000 个请求，记录模型成功处理的请求数量，从而计算出吞吐量。吞吐量越高，说明模型的运行速度越快。

评定本地运行稳定性的方法

1. 运行长时间的压力测试

• 通过模拟大量用户同时访问模型，持续运行一段时间（如 24 小时或更长时间），观察模型是否会出现崩溃、报错或性能下降等问题。例如，使用压力测试工具（如 JMeter&#