22、分析分类器以预测未来的对话处理问题

分析分类器以预测未来的对话处理问题

1. 分析分类器的重要性

在与用户的对话中，虽然对话看似结束，但这并不意味着助手正确识别了用户的意图。如果助手识别错了意图，即便对话看似被“处理”，用户也可能并不满意。这种情况会导致用户未来不再使用该助手，从而减少成功处理的对话总量，对业务造成负面影响，比如用户可能选择更昂贵的解决方案（如联系人工客服），甚至不再成为客户。

为了避免这种情况，需要对助手的分类进行分析，主要有两种分析方式：
- 代表性基线分析 ：随机抽取话语样本，查看其分类情况，以准确评估助手的性能。
- 查找训练数据中的差距 ：收集助手预测错误（尤其是高置信度错误）以及正确但低置信度的话语，用于改进系统。

2. 代表性基线分析

2.1 收集生产数据进行盲测

在对分类器进行更改之前，需要了解其当前的工作效果。现在助手已投入生产，有了实际的生产数据，可用于进行盲测，以获得更改前助手准确性的基线。

基线需要包含具有代表性的各种数据，最简单的方法是随机抽取所有用于开启对话的话语。可以使用这些数据构建盲测集，盲测集是一个包含两列的电子表格，分别为用户话语和这些话语的实际意图。

2.2 构建盲测集的方法

可以采用以下三种方法将示例表格转换为盲测集：
- 完全无辅助方式
- 操作步骤：将示例表格中的话语复制到一个新的单列电子表格中，让主题专家（SME）在第二列中填写每个话语的实际意图。理想情况下，SME 应拥有意图列表及其定义，但