15、AI 助手准确性测试全解析

AI 助手准确性测试全解析

1. 单语句与多语句测试

在评估 AI 助手的准确性时，首先可以从单语句测试入手。具体步骤如下：
- 提取预测意图，将其与预期意图进行比较。
- 输出四个参数：语句、预期意图、预测意图以及预测意图的正确性。

示例输出格式如下表所示：
| Utterance | Actual intent | Predicted intent | Prediction assessment |
| — | — | — | — |
| What time do you open? | #store_hours | #store_hours | Correct |

单语句测试虽然不是可扩展的解决方案，但它是实现准确性测试目标的重要一步，有助于自动化准确性测试。

为了发现错误模式，需要进行多语句测试。可以通过修改 classify.sh 脚本，在其中插入 for 循环来实现同时测试多个语句。该脚本的伪代码步骤如下：
1. 接收一个输入：一个包含两列的逗号分隔值（CSV）文件，每行包含一个语句及其预期意图。
2. 初始化与 AI 助手的连接。
3. 对于 CSV 文件中的每一行，调用助手的分类 API 对语句进行分类；提取预测意图并将其与预期意图进行比较；输出语句、预期意图、预测意图以及预测意图的正确性。

通过这个新脚本，可以同时对整个电子表格的数据进行准确性测试。例如，第一次多语句测试使用了一个包含四行的输入文件，每行包含一个语句及其意图，测试结果如下表所示：
| Utterance |