12、构建成功的AI助手：从指标评估到数据训练

构建成功的AI助手：从指标评估到数据训练

1. 事件分类器成功指标

在使用事件分类器时，交接次数的SMART目标取决于分类器使用前的平均交接次数。80/20规则是一个不错的指导原则，即目标是让使用分类器的80%的案例不再有额外的交接。

交接次数和解决时间密切相关，对这两个指标进行跟踪是很有价值的。以下是交接次数作为分类器成功指标的优缺点：
| 优点 | 缺点 |
| — | — |
| 与用户价值一致 | 跟踪交接次数可能需要特殊的报告逻辑 |
| 与底线目标一致 | |

除了交接次数和解决时间，还有其他客户满意度指标也可用于评估分类器，如净推荐值（NPS）、客户留存率等。不过，使用这些指标评估分类器存在挑战，因为用户可能不会直接与分类器交互。例如，NPS对于对话式代理有意义，因为用户可能会花几分钟与它交流，从而形成对助手的评价。但对于分类器，用户的交互短暂或不可见，用户可能只关注响应时间和问题是否得到正确处理。

以下是使用客户满意度指标评估分类器的优缺点：
| 优点 | 缺点 |
| — | — |
| 与用户价值和底线目标一致 | 应与其他成功指标结合使用 |
| 难以造假 | |
| 评估的是整个流程，而非仅分类器 | |

2. 对分类器进行监测

分类器通常嵌入在其他工具或流程中，因此监测工作往往在分类器外部进行。需要对流程添加以下时间戳：
- 收到用户输入的时间
- 每次用户输入被路由的时间
- 用户请求得到解决的时间

如果在基于电子邮件的流程中使用分类器，这些信息通常存