37、深度学习中的数学模型、理论及相关资源概述

深度学习中的数学模型、理论及相关资源概述

1. 数学模型与理论

1.1 引导显著性图（Guided Saliency maps）

引导显著性图通过屏蔽信号、前向传播（反向传播）中负信号的重要性以及自顶向下（反卷积）的负重建信号值，来生成显著性特征图。

1.2 詹森 - 香农散度（Jensen - Shanon Divergence）

詹森 - 香农（JS）散度用于衡量两个概率分布 $p_1$ 和 $p_2$ 之间的相似性，其定义如下：
[JS(p_1||p_2) = \frac{1}{2} (KL(p_1(x)||p_0(x)) + KL(p_2(x)||p_0(x)))]
其中，$p_0 = 0.5(p_1 + p_2)$。该散度具有以下性质：
1. 关于 $p_1$ 和 $p_2$ 对称。
2. 函数值范围为 $0 \leq JS(p_1||p_2) \leq \log2$，使用以 2 为底的对数时，范围为 $[0, 1]$。
3. 其平方根可作为一种合适的度量。
4. 有时也被称为信息半径或平均的总散度。

1.3 库尔贝克 - 莱布勒散度（Kullback - Leibler Divergence）

库尔贝克 - 莱布勒（KL）散度考虑两个概率分布 $p_1$ 和 $p_2$，并估计一个分布偏离另一个分布的程度。对于连续分布函数，其数学表达式为：
[KL(p_1||p_2) = \int p_1(x)\log \frac{p_1(x)}{q(x)} dx]
当 $p_1 = p_2$ 时，$KL (p_1||p_2)$ 为零。一般来说，KL 散度是非对称的，即 $KL (p_1||p_2) \neq KL (p_2||p_1)$。

1.4 投影梯度下降（Projected Gradient Descent）

投影梯度下降（PGD）是对原始图像进行一定的扰动 $\delta$，并通过迭代创建图像以最大化网络损失。每次迭代后，将 $\delta$ 投影到一个范数球（这里使用 $L_2$ 或 $L_{\infty}$ 球）。$\delta$ 初始赋值为零，避免随机初始化以防止过度优化。$\delta$ 被裁剪在 $[-\epsilon, +\epsilon]$ 之间以保留视觉语义。算法的最终目标是欺骗已训练好的模型，通过基于梯度下降的优化训练来提高对真实类别的预测。其优化目标为：
[\max_{\delta\in\Delta} l(h_{\theta}(x + \delta), y)]
其中，$\tilde{x} = x + \delta$ 表示对抗样本，$h_{\theta}$ 是模型或假设函数，$x \in X$ 是输入，$y \in Z$ 是真实类别，$l(h_{\theta},y)$ 表示损失，$\delta (||\delta|| \leq \epsilon)$ 表示允许的扰动集合。

1.5 毕达哥拉斯模糊数（Pythagorean Fuzzy Number）

毕达哥拉斯模糊集是直觉模糊集（IFS）的扩展，其隶属度的平方和范围为 0 到 1，数学定义为：
[p = {< x, P(\mu_p(x), v_p(x)) > |s \in S}]
其中，$\mu_p(x) : S \to [0, 1]$ 和 $v_p(x) : S \to [0, 1]$ 分别是隶属度和非隶属度，满足 $\mu_p(x)^2 + v_p(x)^2 \leq 1$。元素 $x$ 的犹豫度定义为：
[\pi_p(x) = \sqrt{1 - \mu_p(x)^2 - v_p(x)^2}]
如果 $\beta = P(\mu_{\beta}, v_{\beta})$ 是一个毕达哥拉斯模糊数（PFN），则 $\mu_{\beta}, v_{\beta} \in [0, 1]$ 且 $\mu_{\beta}^2 + v_{\beta}^2 \leq 1$。基于此，定义了两个用于对 PFN 进行排序的度量：得分函数和准确度函数，分别为：
[s(\beta) = \mu_{\beta}^2 - v_{\beta}^2]
[h(\beta) = \mu_{\beta}^2 + v_{\beta}^2]
对于两个 PFN $\beta_1 = P(\mu_{\beta_1}, v_{\beta_1})$ 和 $\beta_2 = P(\mu_{\beta_2}, v_{\beta_2})$，排序规则如下：
1. 如果 $s(\beta_1) < s(\beta_2)$，则 $\beta_1 < \beta_2$。
2. 如果 $s(\beta_1) = s(\beta_2)$：
- 如果 $h(\beta_1) < h(\beta_2)$，则 $\beta_1 < \beta_2$。
- 如果 $h(\beta_1) = h(\beta_2)$，则 $\beta_1 = \beta_2$。

1.6 目标对抗攻击（Targeted Adversarial Attack）

与投影梯度下降类似，目标对抗攻击是对原始图像进行一定的扰动 $\delta$，并进行额外的损失优化。在迭代过程中，它试图最大化真实类别的损失，同时最小化目标类别的损失。这种有针对性的梯度下降方法在提高真实类别预测的同时，降低了目标类别的预测。其优化目标为：
[\max_{\delta\in\Delta} (l(h_{\theta}(x + \delta), y) - l(h_{\theta}(x + \delta), \tilde{y}))]
其中，符号含义与投影梯度下降相同，除了 $\tilde{y}$ 表示目标类别。

1.7 平移不变性（Translation Invariance Property）

图像被建模为一个函数 $x \in L^2([0, 1]^2)$，其中 $T_vx(u) = x(u - v)$ 是对图像进行的平移操作，平移向量 $v \in [0, 1]^2$，图像分类函数 $f : L^2([0, 1]^2) \to {1, 2, ...., L}$，则图像平移定义为：
[f(T_vx) = f(x), \forall x, v]

1.8 通用逼近定理（Universal Approximation Theorem）

设 $\xi$ 是一个非恒定的有界且单调递增的连续激活函数，$f : [0, 1]^d \to R$ 是连续函数，$\epsilon > 0$。则存在 $n$ 和参数 $a, b \in R^n$，$W \in R^{n\times d}$，使得：
[\left|\sum_{i = 1}^{n} a_i\xi(w_i^T x + b_i) - f(x)\right| < \epsilon, \forall x \in [0, 1]^d]

2. 数字资源与示例

2.1 流行的视角可解释性方法

聚类	方法
分解显著性	CAM（Class Activation Map）、Grad - CAM、Guided Grad - CAM 和特征遮挡、Score - weighted class activation mapping、Smoothgrad、Multi - layer CAM、LRP、LRP on CNN 和 on BoW（bag of words）/SVM、BiLRP、SDeepLIFT、Slot activation vectors、PRM（Peak Response Mapping）
敏感性显著性	显著性图（Saliency maps）、LIME（Local Interpretable Model - agnostic Explanations）、Guideline based Additive eXplanation optimizes complexity
其他显著性	带自动聚焦卷积层的注意力图（Attention map with autofocus convolutional layer）
信号反转	反卷积网络（Deconvolutional network）、反转图像表示（Inverted image representations）、使用 CNN 进行反转（Inversion using CNN）、引导反向传播（Guided backpropagation）
信号优化	激活最大化（Activation maximization）、语义字典（Semantic dictionary）
其他信号	网络剖析（Network dissection）
语言可解释性	决策树（Decision trees）、命题逻辑（Propositional logic）、基于规则的方法、稀疏决策列表（Sparse decision list）、合理化神经预测（Rationalizing neural predictions）、MUSE（Model Understanding through Subspace Explanations）

2.2 数学可解释性方法

聚类	方法
预定义模型	线性探针（Linear Probe）、CNN 回归（CNN Regression）、GDM（Generative Discriminative Models）、GAM，GA2M（Generative Additive Model）、ProtoAttend、基于组的强化学习（Group - driven RL）、基于模型的强化学习（Model - based RL）、TS 逼近（TS Approximation）、深度张量神经网络（Deep Tensor NN）
数学特征提取	PCA（Principle Components Analysis）、CCA（Canonical Correlation Analysis）、主特征可视化（Principal Feature Visualization）、基于主成分的 Eigen - CAM、基于 GAN 的多阶段 PCA、基于深度特征嵌入估计概率密度、t - SNE（t - Distributed Stochastic Neighbour Embedding）、深度生成模型的拉普拉斯特征映射可视化、基于随机游走图嵌入的基于组的可解释神经网络
数学敏感性	ST - DBSCAN、TCAV（Testing with Concept Activation Vector）、ACE（Automatic Concept - based Explanations）、影响函数（Influence function）、SocRat（Structured - output Causual Rationalizer）、元预测器（Meta - predictors）

以下是一个简单的 mermaid 流程图，展示了投影梯度下降的基本流程：

graph TD;
    A[初始化 δ = 0] --> B[计算损失 l(hθ(x + δ), y)];
    B --> C[计算梯度 ∇δl];
    C --> D[更新 δ];
    D --> E[将 δ 投影到范数球];
    E --> F[裁剪 δ 到 [−ϵ, +ϵ]];
    F --> G{是否达到最大迭代次数};
    G -- 否 --> B;
    G -- 是 --> H[输出对抗样本 x + δ];

深度学习中的数学模型、理论及相关资源概述（续）

2. 数字资源与示例（续）

2.3 流行的机器学习可解释性方法

聚类	方法
可解释的机器学习模型	线性回归、逻辑回归、决策树、GLMS（广义线性模型）、GAMs（广义可加模型）、朴素贝叶斯、RuleFit、KNNs（K 近邻算法）
全局模型无关方法	部分依赖图（Partial dependence plot）、排列特征重要性（Permuted feature importance）、累积局部效应图（Accumulated local effect plot）、原型和批评（Prototypes and criticisms）、全局替代模型（Global surrogate models）
局部模型无关方法	ICE（Individual Conditional Expectation）、LIME、SHAP（Shapley Additive exPlanations）、锚点（Anchors）、反事实解释（Counterfactual explanations）、Shapley 值
其他	ELI5、Yellowbrick、MLXTEND

2.4 软件资源

资源	描述	链接
SHAP	SHapley Additive exPlanations	github.com/slundberg/shap
DeepExplain	用于深度神经网络可解释性的基于扰动和梯度的归因方法	marcoancona/DeepExplain
iNNvestigate	用于研究神经网络预测的工具包	github.com/albermax/innvestigate
ELI5	用于调试/检查机器学习分类器并解释其预测的库	github.com/TeamHGMemex/eli5
Skater	用于模型解释的 Python 库	github.com/datascienceinc/Skater
Yellowbrick	用于促进机器学习模型选择的可视化分析和诊断工具	github.com/DistrictDataLabs/yellowbrick
Lucid	用于神经网络可解释性研究的基础设施和工具集合	github.com/tensorflow/lucid
SeFa	GAN 中潜在空间的闭式分解	genforce.github.io/sefa
PAIR SALIENCY	最先进的显著性方法的框架无关实现	pair - code.github.io/saliency/home
深度图库	用于图深度学习的框架无关、可扩展的 Python 包	github.com/dmlc/dgl/
Probing ViTs	用于不同视觉变换器家族的自注意力可视化工具	github.com/sayakpaul/probing - vits
DeepEyes	由 Pezzotti 等人（2017）提出的用于设计深度神经网络的渐进式可视化分析	-
GANViz	由 Wang 等人（2018）提出的通过可视化分析理解对抗博弈	-
DGTracker	由 Liu 等人（2017）提出的分析深度生成模型训练过程	-
GAN Lab	由 Kahng 等人（2018）提出的使用交互式可视化实验理解复杂深度生成模型	-

2.5 可解释性调查论文

年份	出版物	目标
2007	Saad 等人（2007）	使用反转提供神经网络解释，并部分解决阻碍从业者获得可解释性的商业障碍和数据不确定性
2017	Chakraborty 等人（2017）	提供不同程度可解释性的深入视角，但仅提供 49 篇参考文献支持
2018	Adadi 和 Berrada（2018）	不局限于神经网络，而是涵盖现有的黑盒机器学习模型
2018	Ching 等人（2018）	结合深度学习方法在生物医学问题中的应用，理解其改变医学和生物学多个领域的潜力，并讨论可解释性的本质
2018	Giplin 等人（2018）	对神经网络的工作流程和表示进行分类理解
2018	Guidotti 等人（2018）	涵盖现有的黑盒机器学习模型，而非专注于神经网络
2018	Lipton 等人（2018）	讨论机器学习中的神话和可解释性概念
2018	Melis 等人（2018）	对流行方法的不足进行简短调查，并指出基于明确性、忠实性和稳定性的自解释模型的方向
2018	Zhang 等人（2018）	主要关注深度学习的视觉可解释性和网络可解释性的评估指标
2019	Du 等人（2019）	涵盖 40 项研究，分为全局和局部解释、粗粒度事后和临时解释等类别
2019	Mittelstadt 等人（2019）	从哲学、社会学和人机交互的角度提供解释人工智能的简短总结
2019	Tjoa 等人（2020）	收集关于视角和数学可解释性的期刊文章，并将相同的分类应用于医学研究
2020	Arrieta 等人（2020）	提供关键思想和分类法的详细解释，并强调可解释人工智能（XAI）发展的现有障碍
2020	Huang 等人（2020）	广泛讨论深度学习的验证、测试、对抗攻击和可解释性技术，涉及 202 篇论文，大部分发表于 2017 年后
2020	Samek 等人（2021）	对活跃的新兴领域进行广泛及时的综述，并通过理论测试和广泛模拟对可解释性算法进行评估
2020	Vilone 等人（2020）	将 XAI 概念广泛聚类为不同的分类法、理论和评估方法，收集 361 篇论文并详细分类人工智能的可解释性
2021	Fan 等人（2021）	根据可解释性对神经网络进行分类，讨论医学应用，并将其与模糊逻辑和神经科学联系起来
2021	Mishra 等人（2021）	对分析两类局部解释（特征重要性和反事实解释）鲁棒性的工作进行调查，并讨论一些有趣的结果
2021	Mohseni 等人（2021）	对不同 XAI 用户群体的设计目标与其评估方法之间的映射进行分类，并为 XAI 研究的不同目标提供总结性的即用型表格和建议
2021	Vilone 和 Longo（2021）	通过分层系统对所有科学研究进行聚类，对与可解释性概念相关的理论和概念以及 XAI 方法的评估方法进行分类，并通过批判性讨论这些差距和局限性得出结论
2021	Zhang 等人（2021）	从被动和主动方法、解释类型以及局部与全局可解释性三个维度为神经网络建立可解释性分类法

2.6 按任务筛选的常用数据集

任务	数据集	备注
问答	GLUE	GLUE 基准是基于既定数据集构建的 9 个自然语言理解任务的集合，但任务格式限于句子和句子对分类
	SQuAD	SQuAD 有超过 100 万个问题。弱学习器在分布内和对抗集上的性能都较低。PoE 训练在牺牲一些分布内性能的情况下提高了对抗性能。多损失优化缩小了差距，甚至提高了对抗鲁棒性
	ConceptNet	表示理解语言所涉及的一般知识，可改进自然语言处理应用。但它对许多目标群体存在负面和正面感知的有害过度概括，在职业和性别等人口统计类别目标上存在严重差异
语义分割	Cityscapes	包含从 50 个不同城市的街道记录的大量、多样的立体视频序列，涉及密集的城市交通、宽阔的道路和大型十字路口
	KITTI	大多数 KITTI 图像是在白天的道路上拍摄的。除了在有趣图像位置的低地面真实覆盖率外，另一个主要缺陷是图像的低动态范围和亮度分辨率
	ShapeNet	一个大规模的 3D CAD 模型存储库，包含超过 3 亿个模型，其中 220 万个被分类为 3135 个类别，使用 WordNet 上下位关系排列。其中有限的类别数量阻碍了少样本学习
目标检测	COCO	一个广泛使用的图像字幕基准数据集，严重偏向浅肤色和男性个体，手动字幕中存在种族术语
	Visual Genome	包含超过 108,000 张图像，每张图像平均有 35 个对象、26 个属性和 21 对对象之间的关系。由于没有过滤过程，它存在性别或种族刻板印象
	Nuscene	它有 1000 个场景的 3D 边界框，收集于波士顿和新加坡，包含 28,130 个训练图像和 6,019 个验证图像
语音识别	LibriSpeech	一个包含近 1000 小时有声读物的集合。LibriSpeech 没有口音统计信息，但它明确偏向美国英语，并且略微偏向男性
	Speech Commands	它是为一类简单语音识别任务创建标准训练和评估数据集的尝试
	MuST - C	用于语音翻译的最大免费多语言语料库，由从 TED 演讲数据中提取的（音频、转录、翻译）三元组组成，男女演讲者的性别比例约为 2:1
图像分类	CIFAR - 10	用于超过 210 个模型，包括视觉变换器，包含属于动物和车辆的图像。主要有四个类别属于车辆，六个属于动物群
	ImageNet	计算机视觉中最流行的数据集，倾向于偏向动物群而不是植物群。它是一个不平衡的数据集，偏向于狗、鸟和鱼。一个受批评的限制是对象倾向于在图像中居中，这不能反映“自然”图像的外观
	MNIST	最流行的深度学习图像分类数据集之一，测试数据集中的一些图像几乎无法读取，可能无法达到 0% 的测试错误率。引入彩色 MNIST 利用了数字颜色处理的直觉和颜色表示的可能数据集偏差
文本分类	IMDb Movie Reviews	包含 50,000 条高度两极分化的电影评论，均匀分为 25,000 条正面评论和 25,000 条负面评论，还有额外的未标记数据可供使用
	DBpedia	目前提供关于超过 195 万个“事物”的信息，旨在从维基百科项目创建的信息中提取结构化内容
	AG News	它是 AG 新闻文章语料库的一个子数据集，每个 4 个类别包含 30,000 个训练样本和 1,900 个测试样本
域适应	SVHN	包含 600 万个 32×32 RGB 印刷数字图像，数字位于中心。它有更多自然场景图像，但训练数据集和测试数据集在每个类别上存在极端重叠，并且对某些类别存在偏斜、过采样和欠采样
	HMDB51	由 51 个动作类别的 6849 个视频剪辑组成，该数据集中存在表示偏差，背景场景特征的帮助较小
	Office - Home	包含 15,588 张图像，来自四个领域：艺术、剪贴画、产品和现实世界，分为 65 个类别
信息检索	MS MARCO	一个专注于搜索中的深度学习的数据集集合，显示出幸存者偏差的趋势，并且是系统绝对性能的不良估计器
	CORD - 19	一个免费资源，包含数万个关于 COVID - 19、SARS - CoV - 2 和相关冠状病毒的学术文章。CORD - 19 的创建存在采样和观察误差，但在较大的数据集中会被平均化
	BioASQ	一个问答数据集，实例由问题（Q）、人工注释答案（A）和相关上下文（C）（也称为片段）组成
人脸识别	LFW	人脸识别的黄金标准基准，估计 77.5% 为男性，83.5% 为白人。许多群体没有得到很好的代表，如儿童、没有婴儿、80 岁以上的人很少，女性和少数族裔的比例相对较小。此外，诸如光线不足、极端姿势、强烈遮挡、低分辨率等重要因素在 LFW 中不占主要部分
	CASIA - WebFace	注释有 10,500 个独特人物和 490 万张图像，需要进行一些过滤以提高质量
	MS - Celeb - 1M	该数据集有 100 万个名人姓名和约 1000 万张带标签的人脸图像，但已被撤回使用

以下是一个 mermaid 流程图，展示了目标对抗攻击的基本流程：

graph TD;
    A[初始化 δ = 0] --> B[计算 l(hθ(x + δ), y) - l(hθ(x + δ), ỹ)];
    B --> C[计算梯度 ∇δ(l(hθ(x + δ), y) - l(hθ(x + δ), ỹ))];
    C --> D[更新 δ];
    D --> E[将 δ 投影到范数球];
    E --> F[裁剪 δ 到 [−ϵ, +ϵ]];
    F --> G{是否达到最大迭代次数};
    G -- 否 --> B;
    G -- 是 --> H[输出对抗样本 x + δ];

综上所述，深度学习中的可解释性涵盖了多种数学模型、理论以及丰富的数字资源和数据集。这些内容为研究人员和从业者提供了理解和解释深度学习模型的重要工具和方法，有助于推动深度学习技术在各个领域的可靠应用。