44、对话可解释性：提升机器学习系统信任度的新途径

对话可解释性：提升机器学习系统信任度的新途径

1. 引言

机器学习在改善产品、流程和研究方面具有巨大潜力，但计算机通常不解释其预测，这成为机器学习广泛应用的障碍。解释被广泛认为是科学进步的重要组成部分，而许多人工智能系统像黑盒一样运行，引发了严重担忧。尽管机器学习模型被广泛采用，但大多仍难以解释。理解预测背后的原因对于评估信任至关重要，这在基于预测采取行动或决定是否部署新模型时尤为关键。

信任在机器学习中有两个不同的组成部分：
- 信任单个预测，即用户是否足够信任某个预测并基于其采取行动。
- 信任模型，即用户是否相信模型在部署后会合理运行。这两者都直接受到用户对模型行为理解程度的影响。

为提高用户对机器学习决策的信任，本文以对话形式为抽象机器学习系统的决策提供解释。对话式解释相对于静态报告解释的主要价值在于，它能根据用户需求提供尽可能多的细节，且不会用用户不感兴趣的细节使他们负担过重。对话还允许用户深入探究决策时确定的关键因素。因此，对话式解释是增加用户对特定决策和整体机器学习模型信任的有效方式。

此外，单一指标（如分类准确率）不能完全描述大多数现实世界的机器学习任务，所以可解释性不仅能支持用户信任，也是衡量机器学习系统自身性能的指标。许多可解释性应用领域选择自由形式的自然语言解释，原因如下：
- 自然语言易于终端用户理解，便于他们评估模型的可靠性。
- 人类使用自然语言提供自由形式的表达最为轻松，无需额外学习形式语言。
- 自然语言的理由可能从现有的大规模自由形式文本中挖掘得到。本文在此基础上，进一步从自由形式的自然语言报告转向对话模式。

对话式解释结合了两者的优点以实现信任：对话模式允