24、自然语言处理中可解释人工智能（XAI）解释方法的比较

自然语言处理中可解释人工智能（XAI）解释方法的比较

1. 基于IOU的解释方法排名

在对LEGO DE数据集的分析中，根据不同解释类别，基于交并比（IOU）对解释方法进行了排名，具体排名如下表所示：
| 解释类别 | 第一名 | 第二名 | 第三名 |
| ---- | ---- | ---- | ---- |
| 空解释 | Attention 0.5 | Attention 0.15 | Anchor |
| 简单解释 | Attention 0.15 | Anchor | Attention 0.5 |
| 复杂解释 | Anchor | Attention 0.15 | Attention 0.5 |

这里，真实标签（Ground truth）作为计算IOU的参考，未在排名中体现。对于空的真实标签解释，由于IOU与空的真实标签计算时只能为0或1，当方法给出任何词语作为解释时，IOU为0；当方法不给出解释时，IOU为1。而Anchor和Attention方法很少不给出解释，所以与空的真实标签相比，它们的IOU非常低。在简单解释情况下，Attention 0.15和Anchor方法有较好的表现；对于复杂情况，Anchor方法的IOU相对稳定。

2. 用户偏好分析

通过收集领域专家的点对点偏好，以及进行心理测量用户实验，得到用户的偏好矩阵。设偏好矩阵为 (A = (a_{ij}) {m×m})，其中每个系数 (a {ij}) 表示刺激 (S_i) 比刺激 (S_j) 更受偏好的次数，矩阵对角线为0。比较次数 (n_{ij} = a_{ij} + a_{ji})，(S_i) 比 (S