30、深度学习事后解释的用户测试与技术

深度学习事后解释的用户测试与技术

1. 引言

近年来，随着深度学习取得重大突破，人工智能（AI）界开始关注可解释人工智能（XAI）问题。这主要是因为公众日益担忧这些技术在日常生活、工作和休闲中的应用。研究界也担心可解释性、信任和道德使用等问题会限制或阻碍这些AI技术的部署。为此，DARPA XAI项目特别针对XAI研究，强调用户测试以克服这些障碍。同时，政府也意识到需要对此进行监管，例如欧盟委员会成立了人工智能高级专家组，为欧盟的可信AI制定指南。在欧盟，《通用数据保护条例》（GDPR）要求对自动化决策进行解释。围绕可解释性和XAI的这股热潮也催生了新的研究子领域，如支持用户扭转算法决策的XAI方法——所谓的算法追索权，已成为一个活跃的研究课题。

在XAI中，“解释”的概念尚未明确定义，哲学和心理学领域仍在对此进行辩论。一种应对方法是使用“可解释性”“透明度”和“可模拟性”等术语，但这并不能解决“解释”这一难以定义的根本问题。不过，哲学上有一个被广泛接受的区分，即“真正的解释”和“作为正当理由的解释”。前者解释系统如何得出答案（透明度），后者解释系统为何给出特定答案（事后正当理由）。

XAI研究主要有两种解释类型：事前解释和事后解释。事前解释旨在直接解释深度学习模型，让用户了解整个模型的工作原理。然而，文献中这类解决方案的例子并不多，而且许多声称是事前“透明机器学习”的解决方案实际上是事后解决方案。相比之下，事后解释为深度学习模型的行为提供事后正当理由，通过参考其他信息来解释模型如何做出决策。事后解释领域主要有四种方法：代理模型、基于示例的解释、自然语言描述和可视化。

2. 事后解释的四种方法

• 代理模型解