10、深度神经网络可解释性方法评估与Quixo游戏求解

深度神经网络可解释性方法评估与Quixo游戏求解

深度神经网络可解释性方法评估

在游戏代理中对深度神经网络（DNN）的可解释性方法进行评估时，研究人员采用了多种算法。

首先，针对Shapley Value Sampling（SVS）和LIME这两种与模型无关的算法开展了类似实验。这两种算法通过扰动模型输入参数来确定归因，其方式更为精细，有可能检测到非平凡的输入交互。实验结果显示，这两种方法得出的结果几乎相同，且大部分与遮挡法的结果一致。不过，对于防守方黑方而言，b4位置的棋子重要性显著增加，因为若没有这一防守棋子，白方会有更多立即获胜的途径。

接着，研究人员还尝试了一些特定于模型的方法。他们研究了几种以不同方式利用模型梯度来检测归因的方法，以及一种非基于梯度的方法Deeplift。结果表明，像Integrated Gradient、GradientShap和Deeplift这类更复杂的方法得出的结果在直觉上更合理，而直接基于梯度的方法则显得较为犹豫不决。

在定量评估显著性方法时，定性评估虽能提供有价值的见解，但不足以确定不同显著性图算法的相对有效性，因此需要采用定量方法。研究人员从自我对弈中随机选取游戏进行到10 - 30步时的10,000个游戏位置，针对每个基于显著性的方法，从每个位置开始进行两场游戏：一场不进行干预，另一场移除由相应显著性方法判定的对当前行动玩家最重要的棋子。预期是，更可靠的最重要棋子指示方法会使获胜游戏的比例下降得更明显。

方法	重要性	获胜游戏比例（未删除）	获胜游戏比例（删除最