11、构建成功的AI助手：指标与策略解析

构建成功的AI助手：指标与策略解析

1. 会话式AI的指标测量

在构建AI助手时，测量其性能指标至关重要。有些指标，AI平台会自动收集，而有些则需要我们通过编写代码来辅助测量。

1.1 可控性（Containment）测量

许多AI平台可以通用地测量可控性，特别是那些提供内置升级渠道集成的平台。转移或升级场景通常由单个对话节点处理，可控性可以通过计算访问该对话节点的次数除以总对话次数来衡量。

手动测量可控性的步骤如下：
1. 在代码中设置一个变量，表明对话不可控。
2. 正常响应用户，用户不会察觉该上下文变量。

通过这种方式，我们可以有效地测量会话式AI的可控性。

1.2 常见成功指标的测量方法

测量会话式AI的常见成功指标，通常只需要采取以下一种行动，也可根据平台进行组合：
- 记录哪些对话节点或对话响应与成功指标一致。
- 向对话中添加与事件相关的变量。
- 添加代码以向报告工具发送事件。

以下是常见会话式AI成功指标的测量方法：
| 指标 | 常见测量技术 |
| — | — |
| 可控性 | 定义转移或升级节点；设置可控状态变量；发送“对话开始”和“对话转移”事件。 |
| 解决时间 | 定义哪些对话节点等同于解决；计算对话开始到访问解决节点的时间；发送“对话开始”和“对话解决”事件。 |
| 净推荐值（NPS） | 设置数值调查结果的变量；发送带有NPS响应的事件。 |
| 覆盖率 | 定义回退或默认对话响应；发送“覆盖失败”和“覆盖成功”事件。 | <