16、评估人工智能助手准确性的方法与指标

评估人工智能助手准确性的方法与指标

在评估人工智能助手的准确性时，有多种方法和指标可供选择，每种都有其独特的优势和适用场景。

1. 盲测与k折交叉验证测试

盲测是评估助手准确性的最佳方式，尤其是当测试集使用生产数据时。然而，如果没有足够的生产数据进行盲测，例如某些尚未投入生产的情况，可以采用k折交叉验证测试。

1.1 盲测

盲测的价值在于使用来自实际使用助手的用户数据，这样能让我们最准确地了解助手在面对真实用户输入时的表现。若使用虚构的用户话语进行盲测，很可能是浪费时间，因为虚构话语难以反映生产环境中实际话语的分布情况。

1.2 k折交叉验证测试

k折交叉验证测试是模拟助手在生产环境中表现的另一种方法。它将所有训练数据打乱并分成k个独立的部分，每个训练数据会出现在一个测试集和k - 1个训练集中。对于每一折，会留出一个不同的部分作为测试数据集，其余k - 1个部分用于训练临时助手，然后对临时助手进行盲测，最终k折的结果是k次盲测结果的汇总。

例如，以k = 3的k折测试为例，有六个话语和两个预期意图。在每一折中，助手用四个话语进行训练，用两个话语进行测试。测试结果显示存在很多错误，总k折得分仅为33.3%，其中#reset_password得分是0。具体错误原因如下：
| 错误情况 | 原因 |
| — | — |
| Fold 0 | #reset_password只有一个示例，而#employment_inquiry有三个示例 |
| Fold 2 | #employment_inquiry只有一个示例，而#reset_password有三个示例 |