22、自然语言处理中可解释人工智能（XAI）解释方法的比较

自然语言处理中可解释人工智能（XAI）解释方法的比较

1. 引言

近年来，人工智能尤其是机器学习发展迅猛，深度学习在图像处理、目标识别和自然语言处理等诸多任务中展现出强大能力。然而，与线性模型等方法不同，深度学习模型通常被视为黑盒，其处理过程不透明，解释深度学习算法的结果颇具挑战。

为评估解释方法，本文提出两个与上下文相关的实验。第一个实验在没有终端用户的情况下进行初步评估，开展较早且所需前提条件较少；第二个实验基于终端用户偏好进行评估，但收集用户数据耗时较长，成本较高。

以法国就业中心Pôle emploi的文本分类实际案例“LEGO”（“Légalité des Offres”）为例，该任务旨在利用机器学习检测不合规的招聘信息。例如，“We seek to hire a woman to take care of our children”这句话因存在性别歧视而违法，标签为“illegal: discriminative over gender”，解释可以是“woman”这个词的存在。当前科学界正在研究可解释人工智能（XAI）的“为什么”和“如何实现”，但所提出的解决方案尚未得到系统评估，因此为特定AI项目选择最佳解释方法并非易事。

2. 数学符号

定义模型 $f: X \to \hat{Y}$，其中 $x \in X$ 是模型的输入集，$y \in Y$ 是期望输出（即真实标签），这些 $X$ 和 $Y$ 用于训练集、验证集和测试集。当模型用于推理时，$\hat{y} \in \hat{Y}$ 是其输出集。模型 $f$ 是对每个实例 $x \in X$ 都能使 $f(x) = \hat{y} \approx y$ 的最优函数（线性