17、阈值运算符可解释性评估

阈值运算符可解释性评估

1. 引言

基于机器学习和深度学习技术的预测模型在众多决策场景中已十分普遍。尽管这些模型通常性能出色，但它们如同黑匣子，缺乏透明度，可能导致不公平和歧视性的结果。因此，能够解释黑匣子模型的方法受到了广泛关注，这有助于增加所有用户对决策原因和方式的信任。

可解释人工智能（XAI）被视为开发可信人工智能系统的关键因素。为人工智能系统配备解释能力，不仅有助于诊断和防止偏差、不公平和歧视，还涉及用户权利和接受度。XAI致力于开发既能解释黑匣子模型，又不牺牲系统性能的方法。常见的方法包括提取局部或全局的事后解释，通过可解释的代理来近似黑匣子模型的行为。

符号知识在创建可理解的解释中起着关键作用。将描述逻辑（DL）本体集成到解释创建中，可以增强人类用户对事后解释的可解释性感知。此外，将解释与形式背景知识相联系，不仅能丰富解释的语义信息，还能支持根据特定用户配置文件定制解释的特异性和一般性水平。

传统上，析取范式（DNF）被认为是基于逻辑的知识表示在表达能力和可解释性方面的基准。然而，先前的研究提出了疑问：DNF是否总是最具可解释性的表示形式，以及其他表示形式是否能实现更好的可解释性。在本文中，我们旨在比较DNF和阈值运算符的可解释性。

加权阈值运算符是一种n元运算符，它计算其参数的加权和，并验证是否达到某个阈值。这些运算符在电路复杂性理论领域得到了广泛研究，在神经网络社区中也被称为感知机。在知识表示中，通过添加一个新的概念构造器——“Tooth”运算符（∇∇），阈值运算符被引入到标准描述逻辑（DL）语言中。

Tooth表达式可以为可解释人工智能背景下的黑匣子分类器提供强大而自然的局部解释工具。在本文中，我们展