简介: 准确性与可解释性是不能同时达到的吗?来自 IEEE 研究员 Cuntai Guan 这样认为:“许多机器决策仍然没有得到很好的理解”。大多数论文甚至提出在准确性和可解释性之间进行严格区分。
准确性与可解释性是不能同时达到的吗?来自 IEEE 研究员 Cuntai Guan 这样认为:“许多机器决策仍然没有得到很好的理解”。大多数论文甚至提出在准确性和可解释性之间进行严格区分。
神经网络是准确的,但无法解释;在计算机视觉中,决策树是可解释的,但不准确。可解释性 AI(XAI) 试图弥合这一分歧,但正如下面所解释的那样,“XAI 在不直接解释模型的情况下证明了决策的合理性”。
这意味着金融和医学等应用领域的从业者被迫陷入两难境地:选择一个无法解释的、准确的模型,还是一个不准确的、可解释的模型。
什么是“可解释的”?
定义计算机视觉的可解释性是一项挑战:解释像图像这样的高维输入的分类意味着什么?正如下面讨论的,两种流行的定义都涉及到显著图和决策树,但是这两种定义都有缺点。
可解释性 AI 不能解释什么
显著图:
许多 XAI 方法产生的热图被称为显著图,突出显示影响预测的重要输入像素。然而,显著图映射只关注输入,而忽略了解释模型如何决策。

拍摄原始图像

使用一种称为 Grad-CAM 的方法的显著图

介绍神经支持决策树(NBDT),一种融合神经网络与决策树优势的模型,实现高精度与可解释性的统一,尤其适用于医疗与金融领域。
最低0.47元/天 解锁文章
4029

被折叠的 条评论
为什么被折叠?



